A inteligência artificial (IA) tem aplicações praticamente ilimitadas na área da saúde, variando de auto-rascunho de mensagens de pacientes no MyChart até otimização de transplantes de órgãos e melhoria da precisão de remoção de tumores . Apesar de seu benefício potencial para médicos e pacientes, essas ferramentas foram recebidas com ceticismo devido a preocupações com a privacidade do paciente, a possibilidade de viés e a precisão do dispositivo.

Em resposta à rápida evolução do uso e aprovação de dispositivos médicos de IA na assistência médica , uma equipe multi-institucional de pesquisadores da Faculdade de Medicina da UNC, da Universidade Duke, do Ally Bank, da Universidade de Oxford, da Universidade de Colombia e da Universidade de Miami tem a missão de construir confiança pública e avaliar exatamente como as tecnologias de IA e algorítmicas estão sendo aprovadas para uso no atendimento ao paciente.

Juntos, Sammy Chouffani El Fassi, candidato a MD na Faculdade de Medicina da UNC e pesquisador no Duke Heart Center, e Gail E. Henderson, Ph.D., professora no Departamento de Medicina Social da UNC, lideraram uma análise completa de dados de validação clínica para mais de 500 dispositivos médicos de IA, revelando que aproximadamente metade das ferramentas autorizadas pela Food and Drug Administration (FDA) dos EUA não tinham dados de validação clínica relatados.

Suas descobertas foram publicadas na Nature Medicine .

"Embora os fabricantes de dispositivos de IA se gabem da credibilidade de sua tecnologia com a autorização da FDA, a liberação não significa que os dispositivos foram devidamente avaliados quanto à eficácia clínica usando dados reais de pacientes", disse Chouffani El Fassi, primeiro autor do artigo.

Desde 2016, o número médio de autorizações de dispositivos de IA médica pelo FDA por ano aumentou de dois para 69, indicando um tremendo crescimento na comercialização de tecnologias médicas de IA. A maioria das tecnologias médicas de IA aprovadas está sendo usada para auxiliar médicos no diagnóstico de anormalidades em imagens radiológicas, análise de lâminas patológicas, dosagem de medicamentos e previsão da progressão da doença.

A inteligência artificial é capaz de aprender e executar tais funções semelhantes às humanas usando combinações de algoritmos. A tecnologia recebe então uma infinidade de dados e conjuntos de regras a serem seguidos, para que ela possa "aprender" como detectar padrões e relacionamentos com facilidade.

A partir daí, os fabricantes de dispositivos precisam garantir que a tecnologia não memorize simplesmente os dados usados ?anteriormente para treinar a IA e que ela possa produzir resultados com precisão usando soluções nunca antes vistas.

Após a rápida proliferação desses dispositivos e aplicações para a FDA, Chouffani El Fassi e Henderson et al. estavam curiosos sobre quão clinicamente eficazes e seguros os dispositivos autorizados são. Sua equipe analisou todas as submissões disponíveis no banco de dados oficial da FDA, intitulado "Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices".

"Muitos dos dispositivos que surgiram depois de 2016 foram criados novos, ou talvez fossem similares a um produto que já estava no mercado", disse Henderson. "Usando essas centenas de dispositivos neste banco de dados, queríamos determinar o que realmente significa para um dispositivo médico de IA ser autorizado pela FDA."

Das 521 autorizações de dispositivos, 144 foram rotuladas como  "retrospectivamente validadas", 148 foram "prospectivamente validadas" e 22 foram validadas usando ensaios clínicos randomizados. Mais notavelmente, 226 de 521 dispositivos médicos aprovados pela FDA , ou aproximadamente 43%, não tinham dados de validação clínica publicados.

Alguns dispositivos usavam "imagens fantasmas" ou imagens geradas por computador que não eram de um paciente real, o que tecnicamente não atendia aos requisitos para validação clínica.

Além disso, os pesquisadores descobriram que o último rascunho de orientação, publicado pelo FDA em setembro de 2023, não distingue claramente entre diferentes tipos de estudos de validação clínica em suas recomendações aos fabricantes.

No campo da validação clínica, existem três métodos diferentes pelos quais pesquisadores e fabricantes de dispositivos validam a precisão de suas tecnologias: validação retrospectiva, validação prospectiva e um subconjunto de validação prospectiva chamado ensaios clínicos randomizados.

A validação retrospectiva envolve alimentar o modelo de IA com dados de imagem do passado, como radiografias de tórax de pacientes antes da pandemia de COVID-19.

A validação prospectiva, no entanto, normalmente produz evidências científicas mais fortes porque o dispositivo de IA está sendo validado com base em dados em tempo real de pacientes. Isso é mais realista, de acordo com os pesquisadores, porque permite que a IA leve em conta variáveis de dados que não existiam quando ela estava sendo treinada, como radiografias de tórax de pacientes que foram impactadas por vírus durante a pandemia de COVID.

Ensaios clínicos randomizados são considerados o padrão ouro para validação clínica. Esse tipo de estudo prospectivo utiliza controles de atribuição aleatória para variáveis de confusão que diferenciariam os grupos experimental e controle, isolando assim o efeito terapêutico do dispositivo.

Por exemplo, os pesquisadores poderiam avaliar o desempenho do dispositivo designando aleatoriamente pacientes para que suas tomografias computadorizadas fossem lidas por um radiologista (grupo de controle) em vez de IA (grupo experimental).

Como estudos retrospectivos, estudos prospectivos e ensaios clínicos randomizados produzem vários níveis de evidência científica, os pesquisadores envolvidos no estudo recomendam que o FDA e os fabricantes de dispositivos devem distinguir claramente entre diferentes tipos de estudos de validação clínica em suas recomendações aos fabricantes.

Em sua publicação na Nature Medicine , Chouffani El Fassi, Henderson e outros apresentam definições para os métodos de validação clínica que podem ser usados como padrão no campo da IA médica.

"Compartilhamos nossas descobertas com diretores da FDA que supervisionam a regulamentação de dispositivos médicos e esperamos que nosso trabalho informe suas tomadas de decisões regulatórias", disse Chouffani El Fassi.

"Também esperamos que nossa publicação inspire pesquisadores e universidades globalmente a conduzir estudos de validação clínica em IA médica para melhorar a segurança e a eficácia dessas tecnologias. Estamos ansiosos pelo impacto positivo que este projeto terá no atendimento ao paciente em larga escala."

Chouffani El Fassi está atualmente trabalhando com os cirurgiões cardiotorácicos da UNC, Aurelie Merlo e Benjamin Haithcock, bem como com a equipe de liderança executiva da UNC Health para implementar um algoritmo em seu sistema de registro eletrônico de saúde que automatiza o processo de avaliação e encaminhamento de doadores de órgãos.

Em contraste com a rápida produção de dispositivos de IA no campo, a medicina carece de algoritmos básicos, como software de computador que diagnostique pacientes usando valores simples de laboratório em registros eletrônicos de saúde. Chouffani El Fassi diz que isso ocorre porque a implementação geralmente é cara e requer equipes interdisciplinares que tenham experiência tanto em medicina quanto em ciência da computação.

Apesar do desafio, a UNC Health tem a missão de melhorar o espaço de transplante de órgãos.

"Encontrar um possível doador de órgãos, avaliar seus órgãos e, então, fazer com que a organização de obtenção de órgãos coordene um transplante de órgãos é um processo longo e complicado", disse Chouffani El Fassi.

"Se esse algoritmo de computador muito básico funcionar, poderemos otimizar o processo de doação de órgãos. Um único doador adicional significa várias vidas salvas. Com um limite tão baixo para o sucesso, esperamos dar a mais pessoas uma segunda chance na vida."