Os modelos de inteligência artificial que identificam padrões em imagens muitas vezes conseguem fazê-lo melhor do que os olhos humanos – mas nem sempre. Se um radiologista estiver usando um modelo de IA para ajudá-lo a determinar se as radiografias de um paciente mostram sinais de pneumonia, quando ele deverá confiar no conselho do modelo e quando deverá ignorá-lo?

Um processo de integração personalizado poderia ajudar esse radiologista a responder a essa pergunta, de acordo com pesquisadores do MIT e do MIT-IBM Watson AI Lab. Eles projetaram um sistema que ensina ao usuário quando colaborar com um assistente de IA.

Neste caso, o método de treinamento pode encontrar situações em que o radiologista confia no conselho do modelo – exceto que não deveria, porque o modelo está errado. O sistema aprende automaticamente regras sobre como ela deve colaborar com a IA e as descreve em linguagem natural.

Durante a integração, o radiologista pratica a colaboração com a IA usando exercícios de treinamento baseados nessas regras, recebendo feedback sobre seu desempenho e o desempenho da IA.

Os pesquisadores descobriram que esse procedimento de integração levou a uma melhoria de cerca de 5% na precisão quando humanos e IA colaboraram em uma tarefa de previsão de imagens. Os resultados também mostram que apenas dizer ao usuário quando confiar na IA, sem treinamento, levou a um pior desempenho.

É importante ressaltar que o sistema dos pesquisadores é totalmente automatizado, por isso aprende a criar o processo de integração com base em dados humanos e de IA que executam uma tarefa específica. Ele também pode se adaptar a diferentes tarefas, de modo que pode ser ampliado e usado em muitas situações em que humanos e modelos de IA trabalham juntos, como na moderação de conteúdo de mídia social, redação e programação.

“Muitas vezes, as pessoas recebem essas ferramentas de IA para usar sem qualquer treinamento, para ajudá-las a descobrir quando elas serão úteis. Isso não é o que fazemos com quase todas as outras ferramentas que as pessoas usam – quase sempre há algum tipo de tutorial que vem com ela. Mas para a IA, isso parece estar faltando. Estamos tentando resolver esse problema de uma perspectiva metodológica e comportamental”, diz Hussein Mozannar, estudante de pós-graduação do programa de doutorado em Sistemas Sociais e de Engenharia do Instituto de Dados, Sistemas e Sociedade (IDSS) e autor principal de um artigo sobre esse processo de treinamento .

Os investigadores preveem que essa integração será uma parte crucial da formação dos profissionais médicos.

“Poderíamos imaginar, por exemplo, que os médicos que tomam decisões de tratamento com a ajuda da IA terão primeiro que fazer um treinamento semelhante ao que propomos. Talvez precisemos repensar tudo, desde a educação médica continuada até a forma como os ensaios clínicos são projetados”, diz o autor sênior David Sontag, professor do EECS, membro do MIT-IBM Watson AI Lab e da MIT Jameel Clinic, e líder do o Grupo Clínico de Aprendizado de Máquina do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL).

Mozannar, que também é pesquisador do Clinical Machine Learning Group, é acompanhado no artigo por Jimin J. Lee, estudante de graduação em engenharia elétrica e ciência da computação; Dennis Wei, cientista pesquisador sênior da IBM Research; e Prasanna Sattigeri e Subhro Das, membros da equipe de pesquisa do MIT-IBM Watson AI Lab. O artigo será apresentado na Conferência sobre Sistemas de Processamento de Informação Neural.

Os métodos de integração existentes para colaboração entre humanos e IA são frequentemente compostos por materiais de treinamento produzidos por especialistas humanos para casos de uso específicos, dificultando sua expansão. Algumas técnicas relacionadas baseiam-se em explicações, onde a IA diz ao utilizador a sua confiança em cada decisão, mas a investigação mostrou que as explicações raramente são úteis, diz Mozannar.

“As capacidades do modelo de IA estão em constante evolução, por isso os casos de utilização onde o ser humano poderia potencialmente beneficiar dele estão a crescer ao longo do tempo. Ao mesmo tempo, a percepção do modelo pelo usuário continua mudando. Então, precisamos de um procedimento de treinamento que também evolua com o tempo”, acrescenta.

Para conseguir isso, seu método de integração é aprendido automaticamente a partir dos dados. Ele é construído a partir de um conjunto de dados que contém muitas instâncias de uma tarefa, como detectar a presença de um semáforo a partir de uma imagem borrada.

A primeira etapa do sistema é coletar dados sobre o ser humano e a IA que executam essa tarefa. Nesse caso, o humano tentaria prever, com a ajuda da IA, se as imagens borradas contêm semáforos.

O sistema incorpora esses pontos de dados em um espaço latente, que é uma representação de dados em que pontos de dados semelhantes estão mais próximos. Utiliza um algoritmo para descobrir regiões deste espaço onde o humano colabora incorretamente com a IA. Essas regiões capturam instâncias em que o ser humano confiou na previsão da IA, mas a previsão estava errada e vice-versa.

Talvez o ser humano confie erroneamente na IA quando as imagens mostram uma rodovia à noite.

Após descobrir as regiões, um segundo algoritmo utiliza um grande modelo de linguagem para descrever cada região como regra, usando linguagem natural. O algoritmo ajusta iterativamente essa regra, encontrando exemplos contrastantes. Poderia descrever esta região como “ignore a IA quando for uma rodovia durante a noite”.

Essas regras são usadas para construir exercícios de treinamento. O sistema de integração mostra um exemplo para o humano, neste caso uma cena borrada de uma rodovia à noite, bem como a previsão da IA, e pergunta ao usuário se a imagem mostra semáforos. O usuário pode responder sim, não ou usar a previsão da IA.

Se o humano estiver errado, serão mostradas a resposta correta e as estatísticas de desempenho do humano e da IA nessas instâncias da tarefa. O sistema faz isso para cada região e, ao final do processo de treinamento, repete os exercícios que o humano errou.

“Depois disso, o ser humano aprendeu algo sobre estas regiões que esperamos que possam aprender no futuro para fazer previsões mais precisas”, diz Mozannar.

Os pesquisadores testaram este sistema com usuários em duas tarefas – detectar semáforos em imagens borradas e responder questões de múltipla escolha de vários domínios (como biologia, filosofia, ciência da computação, etc.).

Eles primeiro mostraram aos usuários um cartão com informações sobre o modelo de IA, como ele foi treinado e um detalhamento de seu desempenho em categorias amplas. Os usuários foram divididos em cinco grupos: alguns apenas viram o cartão, alguns passaram pelo procedimento de integração dos pesquisadores, alguns passaram pelo procedimento de integração inicial, alguns passaram pelo procedimento de integração dos pesquisadores e receberam recomendações de quando deveriam ou não deveriam confie na IA, e outros receberam apenas as recomendações.

Somente o procedimento de integração dos pesquisadores sem recomendações melhorou significativamente a precisão dos usuários, aumentando seu desempenho na tarefa de previsão de semáforos em cerca de 5%, sem atrasá-los. No entanto, a integração não foi tão eficaz para a tarefa de resposta a perguntas. Os pesquisadores acreditam que isso ocorre porque o modelo de IA, ChatGPT, forneceu explicações com cada resposta que indica se deve ser confiável.

Mas fornecer recomendações sem integração teve o efeito oposto: os usuários não apenas tiveram um desempenho pior, mas também levaram mais tempo para fazer previsões.

“Quando você apenas dá recomendações a alguém, parece que ele fica confuso e não sabe o que fazer. Isso atrapalha o processo deles. As pessoas também não gostam que lhes digam o que fazer, então isso também é um fator”, diz Mozannar.

Fornecer recomendações por si só pode prejudicar o usuário se essas recomendações estiverem erradas, acrescenta. Já com o onboarding, a maior limitação é a quantidade de dados disponíveis. Se não houver dados suficientes, a fase de integração não será tão eficaz, diz ele.

No futuro, ele e os seus colaboradores pretendem realizar estudos maiores para avaliar os efeitos da integração a curto e longo prazo. Eles também querem aproveitar dados não rotulados para o processo de integração e encontrar métodos para reduzir efetivamente o número de regiões sem omitir exemplos importantes.

“As pessoas estão a adoptar sistemas de IA quer queira quer não, e de facto a IA oferece um grande potencial, mas estes agentes de IA ainda cometem erros por vezes. Portanto, é crucial que os desenvolvedores de IA desenvolvam métodos que ajudem os humanos a saber quando é seguro confiar nas sugestões da IA”, diz Dan Weld, professor emérito da Escola Paul G. Allen de Ciência da Computação e Engenharia da Universidade de Washington, que não esteve envolvido nesta pesquisa. “Mozannar et al. criaram um método inovador para identificar situações em que a IA é confiável e (o mais importante) para descrevê-las para as pessoas de uma forma que leve a melhores interações da equipe humano-IA.”

Este trabalho é financiado, em parte, pelo MIT-IBM Watson AI Lab.