Saúde

A inteligaªncia artificial prevaª a raça dos pacientes a partir de suas imagens médicas
Estudo mostra que a IA pode identificar raça autorrelatada a partir de imagens médicas que não contem indicaçaµes de raça detecta¡vel por especialistas humanos.
Por Rachel Gordon - 22/05/2022


Os pesquisadores demonstraram que os sistemas médicos de IA podem aprender facilmente a reconhecer a identidade racial em imagens médicas e que essa capacidade éextremamente difa­cil de isolar ou mitigar.

A deseducação dos algoritmos éum problema cra­tico; quando a inteligaªncia artificial espelha pensamentos inconscientes, racismo e preconceitos dos humanos que geraram esses algoritmos, isso pode levar a sanãrios danos. Programas de computador, por exemplo, sinalizaram erroneamente que ranãus negros tem duas vezes mais chances de reincidir do que brancos. Quando uma IA usou o custo como um substituto para as necessidades de saúde, nomeou falsamente os pacientes negros como mais sauda¡veis ​​do que os brancos igualmente doentes, pois menos dinheiro foi gasto com eles. Atéa IA costumava escrever uma pea§a com base no uso de esterea³tipos prejudiciais para o elenco. 

A remoção de recursos confidenciais dos dados parece um ajuste via¡vel. Mas o que acontece quando não ésuficiente? 

Exemplos de vianãs no processamento de linguagem natural são ilimitados - mas os cientistas do MIT investigaram outra modalidade importante e amplamente subexplorada: imagens médicas. Usando conjuntos de dados privados e paºblicos, a equipe descobriu que a IA pode prever com precisão a raça autorrelatada de pacientes apenas a partir de imagens médicas. Usando dados de imagem de raios-X de ta³rax, raios-X de membros, tomografia computadorizada de ta³rax e mamografias, a equipe treinou um modelo de aprendizado profundo para identificar a raça como branca, negra ou asia¡tica - mesmo que as próprias imagens não contivessem menção expla­cita da raça. raça do paciente. Essa éuma faznha que nem mesmo os médicos mais experientes podem fazer, e não estãoclaro como o modelo foi capaz de fazer isso. 

Em uma tentativa de descobrir e entender o enigma¡tico “como” de tudo isso, os pesquisadores realizaram uma sanãrie de experimentos. Para investigar possa­veis mecanismos de detecção de raça, eles analisaram varia¡veis ​​como diferenças na anatomia, densidade a³ssea, resolução de imagens ose muito mais, e os modelos ainda prevaleceram com alta capacidade de detectar raça a partir de radiografias de ta³rax. “Esses resultados foram inicialmente confusos, porque os membros de nossa equipe de pesquisa não conseguiram chegar nem perto de identificar um bom proxy para essa tarefa”, diz o coautor do artigo Marzyeh Ghassemi, professor assistente do Departamento de Engenharia Elanãtrica e Ciência da Computação do MIT. e o Institute for Medical Engineering and Science (IMES), que éafiliado do Computer Science and Artificial Intelligence Laboratory (CSAIL) e da MIT Jameel Clinic. “Mesmo quando vocêfiltra imagens médicas onde as imagens são reconheca­veis como imagens médicas, os modelos profundos mantem um desempenho muito alto. Isso épreocupante porque as capacidades sobre-humanas geralmente são muito mais difa­ceis de controlar, regular e impedir que prejudiquem as pessoas”.

Em um ambiente cla­nico, os algoritmos podem nos ajudar a nos dizer se um paciente écandidato a  quimioterapia, ditar a triagem de pacientes ou decidir se énecessa¡ria uma mudança para a UTI. “Achamos que os algoritmos estãoapenas analisando sinais vitais ou testes de laboratório, mas épossí­vel que eles também estejam analisando sua raça, etnia, sexo, se vocêestãopreso ou não osmesmo que todas essas informações estejam ocultas”. diz o co-autor do artigo Leo Anthony Celi, principal pesquisador do IMES no MIT e professor associado de medicina na Harvard Medical School. “Sa³ porque vocêtem representação de diferentes grupos em seus algoritmos, isso não garante que não ira¡ perpetuar ou ampliar as disparidades e desigualdades existentes. Alimentar os algoritmos com mais dados com representação não éuma panaceia. 

O estudo, “ Reconhecimento de AI da raça do paciente em imagens médicas: um estudo de modelagem ”, foi publicado na Lancet Digital Health em 11 de maio. Celi e Ghassemi escreveram o artigo ao lado de 20 outros autores em quatropaíses.

Para configurar os testes, os cientistas mostraram primeiro que os modelos eram capazes de prever a raça em várias modalidades de imagem, vários conjuntos de dados e diversas tarefas cla­nicas, bem como em uma variedade de centros acadaªmicos e populações de pacientes nos Estados Unidos. Eles usaram três grandes conjuntos de dados de raios-X de ta³rax e testaram o modelo em um subconjunto não visto do conjunto de dados usado para treinar o modelo e um completamente diferente. Em seguida, eles treinaram os modelos de detecção de identidade racial para imagens de raios-X não tora¡cicos de vários locais do corpo, incluindo radiografia digital, mamografia, radiografias laterais da coluna cervical e tomografia computadorizada de ta³rax para ver se o desempenho do modelo estava limitado a radiografias de ta³rax. 

A equipe cobriu muitas bases na tentativa de explicar o comportamento do modelo: diferenças nas caracteri­sticas físicas entre diferentes grupos raciais (habitus corporal, densidade mama¡ria), distribuição de doenças (estudos anteriores mostraram que pacientes negros tem maior incidaªncia de problemas de saúde como doenças carda­acas ), diferenças especa­ficas de local ou tecido, efeitos de vianãs social e estresse ambiental, a capacidade dos sistemas de aprendizado profundo de detectar raça quando vários fatores demogra¡ficos e do paciente foram combinados e se regiaµes especa­ficas da imagem contribua­ram para reconhecer a raça. 

O que surgiu foi realmente impressionante: a capacidade dos modelos de prever a raça apenas a partir de ra³tulos de diagnóstico era muito menor do que os modelos baseados em imagens de raios-X de ta³rax. 

Por exemplo, o teste de densidade a³ssea usou imagens em que a parte mais grossa do osso parecia branca e a parte mais fina parecia mais cinza ou translaºcida. Os cientistas assumiram que, como os negros geralmente tem maior densidade mineral a³ssea, as diferenças de cor ajudaram os modelos de IA a detectar raça. Para cortar isso, eles recortaram as imagens com um filtro, para que o modelo não pudesse colorir as diferenças. Descobriu-se que cortar o fornecimento de cores não intimidou o modelo - ele ainda podia prever corridas com precisão. (O valor da “area Sob a Curva”, significando a medida da precisão de um teste de diagnóstico quantitativo, foi de 0,94–0,96). Como tal, os recursos aprendidos do modelo parecem depender de todas as regiaµes da imagem, o que significa que controlar esse tipo de comportamento algora­tmico apresenta um problema confuso e desafiador. 

Os cientistas reconhecem a disponibilidade limitada de ra³tulos de identidade racial, o que os levou a se concentrar nas populações asia¡ticas, negras e brancas, e que sua verdade era um detalhe autorrelatado. Outros trabalhos futuros incluira£o potencialmente o isolamento de diferentes sinais antes da reconstrução da imagem, porque, como nos experimentos de densidade a³ssea, eles não poderiam explicar o tecido ósseo residual que estava nas imagens. 

Notavelmente, outro trabalho de Ghassemi e Celi liderado pelo estudante do MIT Hammaad Adam descobriu que os modelos também podem identificar a raça autorrelatado pelo paciente a partir de notas cla­nicas, mesmo quando essas notas são desprovidas de indicadores expla­citos de raça. Assim como neste trabalho, especialistas humanos não são capazes de prever com precisão a raça do paciente a partir das mesmas notas cla­nicas redigidas.

“Precisamos trazer cientistas sociais para a cena. Especialistas de doma­nio, que geralmente são os médicos, profissionais de saúde pública, cientistas da computação e engenheiros, não são suficientes. Os cuidados de saúde são um problema sociocultural tanto quanto um problema médico. Precisamos de outro grupo de especialistas para avaliar e fornecer informações e feedback sobre como projetamos, desenvolvemos, implantamos e avaliamos esses algoritmos”, diz Celi. “Precisamos também perguntar aos cientistas de dados, antes de qualquer exploração dos dados, existem disparidades? Quais grupos de pacientes são marginalizados? Quais são as causas dessas disparidades? a‰ o acesso aos cuidados? a‰ a partir da subjetividade dos cuidadores? Se não entendermos isso, não teremos a chance de identificar as consequaªncias não intencionais dos algoritmos, e aa­'

“O fato de algoritmos 'verem' corrida, como os autores documentam de forma convincente, pode ser perigoso. Mas um fato importante e relacionado éque, quando usados ​​com cuidado, os algoritmos também podem funcionar para combater o vianãs”, diz Ziad Obermeyer, professor associado da Universidade da Califórnia em Berkeley, cuja pesquisa se concentra em IA aplicada a  saúde. “Em nosso  pra³prio trabalho , liderado pela cientista da computação Emma Pierson em Cornell, mostramos que algoritmos que aprendem com as experiências de dor dos pacientes podem encontrar novas fontes de dor no joelho em raios-X que afetam desproporcionalmente pacientes negros ose são desproporcionalmente perdidos pelos radiologistas. Assim como qualquer ferramenta, os algoritmos podem ser uma força para o mal ou uma força para o bem osqual depende de nose das escolhas que fazemos quando construa­mos algoritmos.”

O trabalho éapoiado, em parte, pelos Institutos Nacionais de Saúde.

 

.
.

Leia mais a seguir