A revisão sistema¡tica concluiu que os modelos de aprendizado de ma¡quina para detectar e diagnosticar COVID-19 a partir de imagens médicas tem grandes falhas e vieses, tornando-os inadequados para uso em pacientes. No entanto, os pesquisadores sugeriram maneiras de remediar o problema.

Os pesquisadores descobriram que dos mais de 300 modelos de aprendizado de ma¡quina COVID-19 descritos em artigos cienta­ficos em 2020, nenhum deles éadequado para detectar ou diagnosticar COVID-19 a partir de imagens médicas padra£o, devido a vieses, falhas metodola³gicas, falta de reprodutibilidade e 'conjuntos de dados Frankenstein'.

A equipe de pesquisadores, liderada pela Universidade de Cambridge, realizou uma revisão sistema¡tica de manuscritos cienta­ficos - publicados entre 1 de janeiro e 3 de outubro de 2020 - descrevendo modelos de aprendizado de ma¡quina que afirmavam ser capazes de diagnosticar ou prognosticar para COVID-19 a partir de radiografias de ta³rax (CXR) e imagens de tomografia computadorizada (CT). Alguns desses artigos passaram pelo processo de revisão por pares, enquanto a maioria não.

Sua busca identificou 2.212 estudos, dos quais 415 foram inclua­dos após a triagem inicial e, após a triagem de qualidade, 62 estudos foram inclua­dos na revisão sistema¡tica. Nenhum dos 62 modelos era de uso cla­nico potencial, o que éum grande ponto fraco, dada a urgência com que os modelos COVID-19 validados são necessa¡rios. Os resultados são publicados na revista Nature Machine Intelligence .

O aprendizado de ma¡quina éuma técnica promissora e potencialmente poderosa para detecção e prognóstico de doena§as. Manãtodos de aprendizado de ma¡quina, incluindo onde imagens e outros fluxos de dados são combinados com grandes bancos de dados eletra´nicos de saúde, podem permitir uma abordagem personalizada a  medicina por meio de diagnósticos e previsaµes aprimoradas de respostas individuais a s terapias.

“No entanto, qualquer algoritmo de aprendizado de ma¡quina étão bom quanto os dados em que foi treinado”, disse o primeiro autor, Dr. Michael Roberts, do Departamento de Matema¡tica Aplicada e Fa­sica Tea³rica de Cambridge. “Especialmente para uma doença nova como a COVID-19, évital que os dados de treinamento sejam o mais diversificados possa­veis porque, como vimos ao longo desta pandemia, existem muitos fatores diferentes que afetam a aparaªncia e como a doença se comporta. ”

“A comunidade internacional de aprendizado de ma¡quina fez enormes esforços para enfrentar a pandemia COVID-19 usando aprendizado de ma¡quina”, disse o co-autor saªnior, Dr. James Rudd, do Departamento de Medicina de Cambridge. “Esses primeiros estudos mostram-se promissores, mas sofrem com uma alta prevalaªncia de deficiências na metodologia e relatórios, com nenhuma da literatura que revisamos atingindo o limiar de robustez e reprodutibilidade essenciais para apoiar o uso na prática cla­nica.

Muitos dos estudos foram prejudicados por problemas com dados de baixa qualidade, ma¡ aplicação da metodologia de aprendizado de ma¡quina, reprodutibilidade pobre e vieses no design do estudo. Por exemplo, vários conjuntos de dados de treinamento usaram imagens de criana§as para seus dados 'não COVID-19' e imagens de adultos para seus dados COVID-19. “No entanto, como as criana§as tem muito menos probabilidade de obter COVID-19 do que os adultos, tudo o que o modelo de aprendizado de ma¡quina poderia fazer era diferenciar criana§as e adultos, pois incluir imagens de criana§as tornava o modelo altamente tendencioso”, disse Roberts.

Muitos dos modelos de aprendizado de ma¡quina foram treinados em conjuntos de dados de amostra que eram muito pequenos para serem eficazes. “Nos primeiros dias da pandemia, havia muita fome por informações e algumas publicações foram, sem daºvida, apressadas”, disse Rudd. “Mas se vocêestiver baseando seu modelo nos dados de um aºnico hospital, ele pode não funcionar nos dados de um hospital da próxima cidade: os dados precisam ser diversos e, idealmente, internacionais, ou então vocêestãoconfigurando seu aprendizado de ma¡quina modelo atéfalhar quando for testado de forma mais ampla. ”

Em muitos casos, os estudos não especificaram de onde seus dados vieram, ou os modelos foram treinados e testados nos mesmos dados, ou foram baseados em 'conjuntos de dados Frankenstein' disponí­veis publicamente que evolua­ram e se fundiram ao longo do tempo, tornando-o impossí­vel para reproduzir os resultados iniciais.

Outra falha generalizada em muitos dos estudos foi a falta de envolvimento de radiologistas e médicos. “Quer vocêesteja usando o aprendizado de ma¡quina para prever o tempo ou como uma doença pode progredir, émuito importante garantir que diferentes especialistas estejam trabalhando juntos e falando a mesma la­ngua, para que os problemas certos possam ser focalizados”, disse Roberts.

Apesar das falhas que encontraram nos modelos COVID-19, os pesquisadores dizem que, com algumas modificações importantes, o aprendizado de ma¡quina pode ser uma ferramenta poderosa no combate a  pandemia. Por exemplo, eles alertam contra o uso ingaªnuo de conjuntos de dados paºblicos, o que pode levar a riscos significativos de parcialidade. Além disso, os conjuntos de dados devem ser diversos e de tamanho apropriado para tornar o modelo útil para diferentes grupos demogra¡ficos e conjuntos de dados externos independentes devem ser selecionados.

Além de conjuntos de dados de maior qualidade, manuscritos com documentação suficiente para serem reproduza­veis e validação externa são necessa¡rios para aumentar a probabilidade de modelos serem levados adiante e integrados em futuros ensaios clínicos para estabelecer validação técnica e cla­nica independente, bem como custo-benefa­cio.