Saúde

Modelos de aprendizado de máquina para diagnosticar COVID-19 ainda não são adequados para uso clínico
A revisão sistemática concluiu que os modelos de aprendizado de máquina para detectar e diagnosticar COVID-19 a partir de imagens médicas têm grandes falhas e vieses, tornando-os inadequados para uso em pacientes.
Por Sarah Collins - 16/03/2021


Novo Coronavírus SARS-CoV-2 - Crédito: NIAID

A revisão sistemática concluiu que os modelos de aprendizado de máquina para detectar e diagnosticar COVID-19 a partir de imagens médicas têm grandes falhas e vieses, tornando-os inadequados para uso em pacientes. No entanto, os pesquisadores sugeriram maneiras de remediar o problema.

"Qualquer algoritmo de aprendizado de máquina é tão bom quanto os dados em que é treinado"

Michael Roberts

Os pesquisadores descobriram que dos mais de 300 modelos de aprendizado de máquina COVID-19 descritos em artigos científicos em 2020, nenhum deles é adequado para detectar ou diagnosticar COVID-19 a partir de imagens médicas padrão, devido a vieses, falhas metodológicas, falta de reprodutibilidade e 'conjuntos de dados Frankenstein'.

A equipe de pesquisadores, liderada pela Universidade de Cambridge, realizou uma revisão sistemática de manuscritos científicos - publicados entre 1 de janeiro e 3 de outubro de 2020 - descrevendo modelos de aprendizado de máquina que afirmavam ser capazes de diagnosticar ou prognosticar para COVID-19 a partir de radiografias de tórax (CXR) e imagens de tomografia computadorizada (CT). Alguns desses artigos passaram pelo processo de revisão por pares, enquanto a maioria não.

Sua busca identificou 2.212 estudos, dos quais 415 foram incluídos após a triagem inicial e, após a triagem de qualidade, 62 estudos foram incluídos na revisão sistemática. Nenhum dos 62 modelos era de uso clínico potencial, o que é um grande ponto fraco, dada a urgência com que os modelos COVID-19 validados são necessários. Os resultados são publicados na revista Nature Machine Intelligence .

O aprendizado de máquina é uma técnica promissora e potencialmente poderosa para detecção e prognóstico de doenças. Métodos de aprendizado de máquina, incluindo onde imagens e outros fluxos de dados são combinados com grandes bancos de dados eletrônicos de saúde, podem permitir uma abordagem personalizada à medicina por meio de diagnósticos e previsões aprimoradas de respostas individuais às terapias.

“No entanto, qualquer algoritmo de aprendizado de máquina é tão bom quanto os dados em que foi treinado”, disse o primeiro autor, Dr. Michael Roberts, do Departamento de Matemática Aplicada e Física Teórica de Cambridge. “Especialmente para uma doença nova como a COVID-19, é vital que os dados de treinamento sejam o mais diversificados possíveis porque, como vimos ao longo desta pandemia, existem muitos fatores diferentes que afetam a aparência e como a doença se comporta. ”

“A comunidade internacional de aprendizado de máquina fez enormes esforços para enfrentar a pandemia COVID-19 usando aprendizado de máquina”, disse o co-autor sênior, Dr. James Rudd, do Departamento de Medicina de Cambridge. “Esses primeiros estudos mostram-se promissores, mas sofrem com uma alta prevalência de deficiências na metodologia e relatórios, com nenhuma da literatura que revisamos atingindo o limiar de robustez e reprodutibilidade essenciais para apoiar o uso na prática clínica.

Muitos dos estudos foram prejudicados por problemas com dados de baixa qualidade, má aplicação da metodologia de aprendizado de máquina, reprodutibilidade pobre e vieses no design do estudo. Por exemplo, vários conjuntos de dados de treinamento usaram imagens de crianças para seus dados 'não COVID-19' e imagens de adultos para seus dados COVID-19. “No entanto, como as crianças têm muito menos probabilidade de obter COVID-19 do que os adultos, tudo o que o modelo de aprendizado de máquina poderia fazer era diferenciar crianças e adultos, pois incluir imagens de crianças tornava o modelo altamente tendencioso”, disse Roberts.

Muitos dos modelos de aprendizado de máquina foram treinados em conjuntos de dados de amostra que eram muito pequenos para serem eficazes. “Nos primeiros dias da pandemia, havia muita fome por informações e algumas publicações foram, sem dúvida, apressadas”, disse Rudd. “Mas se você estiver baseando seu modelo nos dados de um único hospital, ele pode não funcionar nos dados de um hospital da próxima cidade: os dados precisam ser diversos e, idealmente, internacionais, ou então você está configurando seu aprendizado de máquina modelo até falhar quando for testado de forma mais ampla. ”

Em muitos casos, os estudos não especificaram de onde seus dados vieram, ou os modelos foram treinados e testados nos mesmos dados, ou foram baseados em 'conjuntos de dados Frankenstein' disponíveis publicamente que evoluíram e se fundiram ao longo do tempo, tornando-o impossível para reproduzir os resultados iniciais.

Outra falha generalizada em muitos dos estudos foi a falta de envolvimento de radiologistas e médicos. “Quer você esteja usando o aprendizado de máquina para prever o tempo ou como uma doença pode progredir, é muito importante garantir que diferentes especialistas estejam trabalhando juntos e falando a mesma língua, para que os problemas certos possam ser focalizados”, disse Roberts.

Apesar das falhas que encontraram nos modelos COVID-19, os pesquisadores dizem que, com algumas modificações importantes, o aprendizado de máquina pode ser uma ferramenta poderosa no combate à pandemia. Por exemplo, eles alertam contra o uso ingênuo de conjuntos de dados públicos, o que pode levar a riscos significativos de parcialidade. Além disso, os conjuntos de dados devem ser diversos e de tamanho apropriado para tornar o modelo útil para diferentes grupos demográficos e conjuntos de dados externos independentes devem ser selecionados.

Além de conjuntos de dados de maior qualidade, manuscritos com documentação suficiente para serem reproduzíveis e validação externa são necessários para aumentar a probabilidade de modelos serem levados adiante e integrados em futuros ensaios clínicos para estabelecer validação técnica e clínica independente, bem como custo-benefício.

 

.
.

Leia mais a seguir