Saúde

'Robot cientista' Eve descobre que menos de um terço dos resultados científicos são reproduzíveis
Os pesquisadores usaram uma combinação de análise de texto automatizada e o 'robô cientista' Eve para semi-automatizar o processo de reprodução dos resultados da pesquisa.
Por Sarah Collins - 09/04/2022


Célula de câncer de mama - Crédito: Galeria de imagens do NIH


"Uma das grandes vantagens de usar máquinas para fazer ciência é que elas são mais precisas e registram detalhes com mais exatidão do que um humano pode"

Ross King

Os pesquisadores, liderados pela Universidade de Cambridge, analisaram mais de 12.000 trabalhos de pesquisa sobre a biologia das células do câncer de mama. Depois de reduzir o conjunto para 74 artigos de alto interesse científico, menos de um terço – 22 artigos – foram considerados reprodutíveis. Em dois casos, Eva foi capaz de fazer descobertas inesperadas.

Os resultados , divulgados na revista Royal Society Interface , demonstram que é possível usar a robótica e a inteligência artificial para ajudar a enfrentar a crise de reprodutibilidade.

Um experimento bem-sucedido é aquele em que outro cientista, em um laboratório diferente sob condições semelhantes, pode alcançar o mesmo resultado. Mas mais de 70% dos pesquisadores tentaram e falharam em reproduzir experimentos de outro cientista, e mais da metade não conseguiu reproduzir alguns de seus próprios experimentos: esta é a crise de reprodutibilidade.

“A boa ciência depende da reprodutibilidade dos resultados: caso contrário, os resultados são essencialmente sem sentido”, disse o professor Ross King, do Departamento de Engenharia Química e Biotecnologia de Cambridge, que liderou a pesquisa. “Isso é particularmente crítico na biomedicina: se eu sou um paciente e leio sobre um novo tratamento promissor, mas os resultados não são reprodutíveis, como vou saber em que acreditar? O resultado pode ser pessoas perdendo a confiança na ciência.”

Vários anos atrás, King desenvolveu o cientista robô Eve, um sistema computador/robótico que usa técnicas de inteligência artificial (IA) para realizar experimentos científicos.

“Uma das grandes vantagens de usar máquinas para fazer ciência é que elas são mais precisas e registram detalhes com mais exatidão do que um humano”, disse King. “Isso os torna adequados para o trabalho de tentar reproduzir resultados científicos.”

Como parte de um projeto financiado pela DARPA, King e seus colegas do Reino Unido, EUA e Suécia projetaram um experimento que usa uma combinação de IA e robótica para ajudar a enfrentar a crise de reprodutibilidade, fazendo com que os computadores leiam artigos científicos e os entendam, e fazendo com que Eve tentasse reproduzir os experimentos.

Para o artigo atual, a equipe se concentrou na pesquisa do câncer. “A literatura sobre o câncer é enorme, mas ninguém faz a mesma coisa duas vezes, tornando a reprodutibilidade um grande problema”, disse King, que também ocupa um cargo na Chalmers University of Technology, na Suécia. “Dadas as vastas somas de dinheiro gastas na pesquisa do câncer e o grande número de pessoas afetadas pelo câncer em todo o mundo, é uma área em que precisamos melhorar urgentemente a reprodutibilidade”.

De um conjunto inicial de mais de 12.000 artigos científicos publicados, os pesquisadores usaram técnicas automatizadas de mineração de texto para extrair declarações relacionadas a uma mudança na expressão gênica em resposta ao tratamento medicamentoso no câncer de mama. Desse conjunto, foram selecionados 74 artigos.

Duas equipes humanas diferentes usaram Eve e duas linhagens de células de câncer de mama e tentaram reproduzir os 74 resultados. Evidência estatisticamente significativa de repetibilidade foi encontrada para 43 artigos, o que significa que os resultados foram replicáveis ​​em condições idênticas; e evidências significativas de reprodutibilidade ou robustez foram encontradas em 22 artigos, o que significa que os resultados foram replicáveis ​​por diferentes cientistas sob condições semelhantes. Em dois casos, a automação fez descobertas inesperadas.

Enquanto apenas 22 dos 74 artigos foram considerados reprodutíveis neste experimento, os pesquisadores dizem que isso não significa que os artigos restantes não sejam cientificamente reproduzíveis ou robustos. “Há muitas razões pelas quais um determinado resultado pode não ser reproduzível em outro laboratório”, disse King. “As linhas celulares às vezes podem mudar seu comportamento em diferentes laboratórios sob diferentes condições, por exemplo. A diferença mais importante que encontramos foi que importa quem faz o experimento, porque cada pessoa é diferente.”

King diz que este trabalho mostra que técnicas automatizadas e semiautomatizadas podem ser uma ferramenta importante para ajudar a enfrentar a crise de reprodutibilidade, e que a reprodutibilidade deve se tornar uma parte padrão do processo científico.

“É bastante chocante quão grande é a reprodutibilidade do problema na ciência, e vai precisar de uma revisão completa na maneira como muita ciência é feita”, disse King. “Achamos que as máquinas têm um papel fundamental a desempenhar para ajudar a consertá-lo.”

A pesquisa também foi financiada pelo Conselho de Pesquisa em Engenharia e Ciências Físicas (EPSRC), parte da Pesquisa e Inovação do Reino Unido (UKRI), e pelo Wallenberg AI, Autonomous Systems and Software Program (WASP).

 

.
.

Leia mais a seguir