A ferramenta busca em dados de treinamento padrões sutis que possam levar modelos de IA a conclusões incorretas, comprometendo potencialmente o atendimento ao paciente. O objetivo do trabalho é auxiliar pesquisadores e órgãos reguladores a tornar a inteligência artificial mais confiável e segura para uso clínico no mundo real.

"Os modelos que impulsionam a medicina de precisão aprendem a inferir resultados clínicos a partir dos dados com os quais são treinados. Em muitos casos, isso funciona muito bem, mas também pode levar a falhas interessantes que não são imediatamente aparentes", disse o autor sênior Mathias Unberath , especialista em medicina assistida por IA na Universidade Johns Hopkins. "A ferramenta que desenvolvemos oferece uma compreensão clara de quais elementos dos metadados representam os maiores riscos de o seu modelo captar um viés."

O trabalho, uma colaboração entre a Johns Hopkins e a Administração de Alimentos e Medicamentos dos EUA (FDA), foi publicado recentemente na revista npj Digital Medicine .

O "Fenômeno do Inteligente Hans" refere-se a um cavalo chamado Hans que, no início do século XX, ficou famoso por ser capaz de fazer cálculos matemáticos, indicando as respostas corretas com um casco. Acontece que Hans não era bom em matemática, mas tinha uma grande habilidade para interpretar a linguagem corporal de seu dono, o que inadvertidamente revelava como ele deveria reagir.

Unberath afirmou que os modelos de IA médica podem ser muito parecidos com Hans, chegando a conclusões ao interpretar sinais errados.

"Os modelos também usam os mesmos atalhos", disse ele, apontando para uma IA treinada para prever com precisão o sexo de uma pessoa apenas olhando para os olhos. Descobriu-se que o modelo estava se baseando na presença de rímel, e não em características biológicas.

"Treinamos modelos para serem os mais preditivos possíveis, mas não temos nenhum controle sobre o que o modelo usa para fazer a previsão."

A ferramenta da equipe detecta o potencial para tais associações falhas.

Enquanto outros desenvolveram mecanismos de proteção com base no desempenho de um modelo de IA, esta nova ferramenta, chamada Teste de Viés Induzido por Utilidade e Detectabilidade de Atributos Generalizados (G-AUDIT), examina os próprios dados de treinamento em busca de sinais de que um modelo possa aprender com pistas não intencionais em vez de sinais clinicamente significativos.

"O mais empolgante é como isso representa uma mudança na forma como trabalhamos", disse o coautor Mitchell Pavlak, estudante de doutorado no laboratório de Unberath na Johns Hopkins. "Não estamos mais verificando nosso trabalho depois que ele já foi concluído. Analisamos os dados para descobrir o que provavelmente é um problema."

O G-AUDIT identifica e classifica os atributos nos dados que provavelmente levarão a IA a tirar conclusões potencialmente incorretas.

Os pesquisadores testaram o método em uma variedade de dados médicos, incluindo imagens, textos e planilhas. Ele revelou falhas ocultas na coleta de dados, nas condições de imagem e em outros elementos que provavelmente levariam a conclusões errôneas sobre a saúde de um paciente.

Por exemplo, um conjunto de dados sobre câncer de pele incluía imagens de uma clínica oncológica que atendia uma população de alto risco e imagens de uma clínica de dermatologia geral que lidava com menos casos de câncer. Como os sistemas de imagem das clínicas variavam em qualidade, uma IA treinada com esse conjunto de dados poderia deduzir erroneamente que a qualidade da câmera é um fator preditivo importante para o câncer. Ou até mesmo que a presença de réguas nas imagens prevê câncer porque a clínica oncológica tendia a incluir réguas nas imagens para acompanhar o tamanho das lesões ao longo do tempo.

"Imagine levar esse algoritmo para o mundo real com a câmera de um smartphone", disse Unberath. "Não há régua. A qualidade da câmera é completamente irrelevante. Mas o modelo aprendeu a associar 'régua' e 'câmera'. Você acabou de criar uma disparidade na saúde."

A equipe planeja continuar a desenvolver e expandir a ferramenta, que, segundo eles, pode ser adaptada para uso além da área da saúde.

"A principal conclusão é que, atualmente, as pessoas estão auditando modelos, mas não sabem realmente o que auditar. Estamos mudando isso", disse Unberath. "Se você auditar apenas o que lhe vem à mente primeiro, provavelmente estará deixando passar muita coisa que pode levar a correlações espúrias."

Entre os autores estão Nathan Drenkow, pesquisador científico sênior do Laboratório de Física Aplicada da Johns Hopkins; Keith Harrigian, ex-aluno de doutorado da Johns Hopkins; Ayah Zirikly, professora assistente da Universidade George Washington e professora assistente adjunta da Johns Hopkins; e Adarsh Subbaswamy, Mohammad Mehdi Farhangi e Nicholas Petrick, do Centro de Dispositivos e Saúde Radiológica da FDA.

O trabalho foi financiado pelo Programa de Participação em Pesquisa da FDA, no Centro de Dispositivos e Saúde Radiológica.