A inteligência artificial promete ajudar os médicos a diagnosticar pacientes e personalizar as opções de tratamento. No entanto, um grupo internacional de cientistas liderado pelo MIT alerta que os sistemas de IA, da forma como estão atualmente concebidos, correm o risco de levar os médicos a tomar decisões erradas, pois podem fazê-los confiar demais no erro.

Uma forma de evitar esses erros é programar os sistemas de IA para serem mais "humildes", segundo os pesquisadores. Tais sistemas revelariam quando não têm certeza de seus diagnósticos ou recomendações e incentivariam os usuários a buscar informações adicionais quando o diagnóstico for incerto.

“Atualmente, usamos a IA como um oráculo, mas podemos usá-la como um treinador. Poderíamos usá-la como um verdadeiro copiloto. Isso não apenas aumentaria nossa capacidade de obter informações, mas também nossa autonomia para conectar os pontos”, afirma Leo Anthony Celi, pesquisador sênior do Instituto de Engenharia Médica e Ciência do MIT, médico do Beth Israel Deaconess Medical Center e professor associado da Faculdade de Medicina de Harvard.

Celi e seus colegas criaram uma estrutura que, segundo eles, pode orientar os desenvolvedores de IA na criação de sistemas que demonstrem curiosidade e humildade. Essa nova abordagem poderia permitir que médicos e sistemas de IA trabalhassem em parceria, afirmam os pesquisadores, e ajudar a evitar que a IA exerça muita influência sobre as decisões médicas.

Celi é a autora principal do estudo, publicado hoje no BMJ Health and Care Informatics . O autor principal do artigo é Sebastián Andrés Cajas Ordoñez, pesquisador do MIT Critical Data, um consórcio global liderado pelo Laboratório de Fisiologia Computacional do Instituto de Engenharia Médica e Ciência do MIT.

Segundo a equipe do MIT, sistemas de IA excessivamente confiantes podem levar a erros em ambientes médicos. Estudos anteriores constataram que médicos de UTI tendem a acatar sistemas de IA que consideram confiáveis, mesmo quando sua própria intuição contradiz a sugestão da IA. Tanto médicos quanto pacientes são mais propensos a aceitar recomendações incorretas da IA ??quando estas são percebidas como autoridades no assunto.

Em vez de sistemas que oferecem conselhos excessivamente confiantes, mas potencialmente incorretos, as unidades de saúde deveriam ter acesso a sistemas de IA que trabalhem de forma mais colaborativa com os médicos, afirmam os pesquisadores.

“Estamos tentando incluir humanos nesses sistemas de IA que envolvem humanos, para que possamos facilitar a reflexão e a reinvenção coletivas, em vez de termos agentes de IA isolados que fazem tudo. Queremos que os humanos se tornem mais criativos por meio do uso da IA”, diz Cajas Ordoñez.

Para criar um sistema desse tipo, o consórcio projetou uma estrutura que inclui diversos módulos computacionais que podem ser incorporados a sistemas de IA já existentes. O primeiro desses módulos exige que um modelo de IA avalie sua própria certeza ao fazer previsões diagnósticas. Desenvolvido pelos membros do consórcio Janan Arslan e Kurt Benke, da Universidade de Melbourne, o Epistemic Virtue Score funciona como uma verificação de autoconsciência, garantindo que a confiança do sistema seja adequadamente equilibrada pela incerteza e complexidade inerentes a cada cenário clínico.

Com essa autoconsciência, o modelo pode adaptar sua resposta à situação. Se o sistema detectar que sua confiança excede o que as evidências disponíveis suportam, ele pode pausar e sinalizar a discrepância, solicitando exames ou histórico específicos que resolvam a incerteza, ou recomendando a consulta a um especialista. O objetivo é uma IA que não apenas forneça respostas, mas também indique quando essas respostas devem ser tratadas com cautela.

“É como ter um copiloto que lhe diria que você precisa de uma nova perspectiva para entender melhor esse paciente complexo”, diz Celi.

Celi e seus colegas já desenvolveram bancos de dados em larga escala que podem ser usados para treinar sistemas de IA, incluindo o banco de dados Medical Information Mart for Intensive Care (MIMIC) do Beth Israel Deaconess Medical Center. Sua equipe agora está trabalhando na implementação da nova estrutura em sistemas de IA baseados no MIMIC e na sua apresentação aos médicos do sistema Beth Israel Lahey Health.

Essa abordagem também poderia ser implementada em sistemas de IA usados para analisar imagens de raios X ou para determinar as melhores opções de tratamento para pacientes no pronto-socorro, entre outras aplicações, afirmam os pesquisadores.

Este estudo faz parte de um esforço maior de Celi e seus colegas para criar sistemas de IA projetados por e para as pessoas que serão, em última análise, mais impactadas por essas ferramentas. Muitos modelos de IA, como o MIMIC, são treinados com dados disponíveis publicamente nos Estados Unidos, o que pode levar à introdução de vieses em relação a uma determinada maneira de pensar sobre questões médicas e à exclusão de outras.

Incorporar mais pontos de vista é fundamental para superar esses potenciais vieses, afirma Celi, enfatizando que cada membro do consórcio global traz uma perspectiva distinta para uma compreensão coletiva mais ampla.

Outro problema com os sistemas de IA existentes usados para diagnóstico é que eles geralmente são treinados com registros eletrônicos de saúde, que não foram originalmente concebidos para esse fim. Isso significa que os dados carecem de grande parte do contexto que seria útil para fazer diagnósticos e recomendações de tratamento. Além disso, muitos pacientes nunca são incluídos nesses conjuntos de dados por falta de acesso, como pessoas que vivem em áreas rurais.

Em workshops de dados promovidos pelo  MIT Critical Data , grupos de cientistas de dados, profissionais de saúde, cientistas sociais, pacientes e outros trabalham juntos no desenvolvimento de novos sistemas de IA. Antes de começar, todos são incentivados a refletir se os dados que estão utilizando capturam todos os fatores determinantes daquilo que pretendem prever, garantindo que não incluam inadvertidamente desigualdades estruturais existentes em seus modelos.

A pesquisa foi financiada pelo Projeto de Pesquisa Inovadora Boston-Coreia, por meio do Instituto Coreano de Desenvolvimento da Indústria da Saúde.