Redes neurais profundas são um tipo de inteligência artificial (IA) que imita como os cérebros humanos processam informações, mas entender como essas redes "pensam" tem sido um desafio há muito tempo. Agora, pesquisadores da Universidade de Kyushu desenvolveram um novo método para entender como redes neurais profundas interpretam informações e as classificam em grupos.

Publicado no IEEE Transactions on Neural Networks and Learning Systems , o estudo aborda a importante necessidade de garantir que os sistemas de IA sejam precisos e robustos e possam atender aos padrões exigidos para uso seguro.

Redes neurais profundas processam informações em muitas camadas, similarmente a humanos resolvendo um quebra-cabeça passo a passo. A primeira camada, conhecida como camada de entrada, traz os dados brutos . As camadas subsequentes, chamadas camadas ocultas, analisam as informações. As primeiras camadas ocultas focam em recursos básicos, como detectar bordas ou texturas — como examinar peças individuais de quebra-cabeça.

Camadas ocultas mais profundas combinam esses recursos para reconhecer padrões mais complexos , como identificar um gato ou um cachorro, semelhante a conectar peças de um quebra-cabeça para revelar o quadro geral.

"No entanto, essas camadas ocultas são como uma caixa preta trancada: vemos a entrada e a saída, mas o que está acontecendo lá dentro não está claro", diz Danilo Vasconcellos Vargas, professor associado da Faculdade de Ciência da Informação e Engenharia Elétrica da Universidade de Kyushu.

"Essa falta de transparência se torna um problema sério quando a IA comete erros, às vezes desencadeados por algo tão pequeno quanto a alteração de um único pixel. A IA pode parecer inteligente, mas entender como ela toma suas decisões é essencial para garantir que ela seja confiável."

Atualmente, os métodos para visualizar como a IA organiza informações dependem da simplificação de dados de alta dimensão em representações 2D ou 3D. Esses métodos permitem que os pesquisadores observem como a IA categoriza pontos de dados — por exemplo, agrupando imagens de gatos perto de outros gatos enquanto os separa de cães. No entanto, essa simplificação vem com limitações críticas.

"Quando simplificamos informações de alta dimensão em menos dimensões, é como achatar um objeto 3D em 2D — perdemos detalhes importantes e não conseguimos ver a imagem inteira. Além disso, esse método de visualizar como os dados são agrupados dificulta a comparação entre diferentes redes neurais ou classes de dados", explica Vargas.

Neste estudo, os pesquisadores desenvolveram um novo método, chamado método de distribuição k*, que visualiza e avalia com mais clareza o quão bem as redes neurais profundas categorizam itens relacionados.

O modelo funciona atribuindo a cada ponto de dados inserido um "valor k*" que indica a distância até o ponto de dados não relacionado mais próximo. Um valor k* alto significa que o ponto de dados está bem separado (por exemplo, um gato longe de qualquer cachorro), enquanto um valor k* baixo sugere sobreposição potencial (por exemplo, um cachorro mais perto de um gato do que de outros gatos). Ao olhar para todos os pontos de dados dentro de uma classe, como gatos, essa abordagem produz uma distribuição de valores k* que fornece uma imagem detalhada de como os dados são organizados.

"Nosso método retém o espaço dimensional mais alto, então nenhuma informação é perdida. É o primeiro e único modelo que pode dar uma visão precisa da 'vizinhança local' ao redor de cada ponto de dados", enfatiza Vargas.

Usando seu método, os pesquisadores revelaram que redes neurais profundas classificam dados em arranjos agrupados, fraturados ou sobrepostos. Em um arranjo agrupado, itens semelhantes (por exemplo, gatos) são agrupados bem próximos, enquanto itens não relacionados (por exemplo, cães) são claramente separados, o que significa que a IA é capaz de classificar bem os dados.

No entanto, arranjos fragmentados indicam que itens semelhantes estão espalhados por um espaço amplo, enquanto distribuições sobrepostas ocorrem quando itens não relacionados estão no mesmo espaço, com ambos os arranjos tornando os erros de classificação mais prováveis.

Vargas compara isso a um sistema de depósito: "Em um depósito bem organizado, itens similares são armazenados juntos, tornando a recuperação fácil e eficiente. Se os itens forem misturados, eles se tornam mais difíceis de encontrar, aumentando o risco de selecionar o item errado."

A IA é cada vez mais usada em sistemas críticos como veículos autônomos e diagnósticos médicos, onde precisão e confiabilidade são essenciais. O método de distribuição k* ajuda pesquisadores, e até mesmo legisladores, a avaliar como a IA organiza e classifica informações, identificando potenciais fraquezas ou erros.

Isso não apenas dá suporte aos processos de legalização necessários para integrar a IA com segurança à vida cotidiana, mas também oferece insights valiosos sobre como a IA "pensa". Ao identificar as causas raiz dos erros, os pesquisadores podem refinar os sistemas de IA para torná-los não apenas precisos, mas também robustos — capazes de lidar com dados confusos ou incompletos e se adaptar a condições inesperadas.

"Nosso objetivo final é criar sistemas de IA que mantenham precisão e confiabilidade, mesmo diante dos desafios de cenários do mundo real", conclui Vargas.