Os pesquisadores, liderados pela Universidade de Cambridge, analisaram mais de 12.000 trabalhos de pesquisa sobre a biologia das células do câncer de mama. Depois de reduzir o conjunto para 74 artigos de alto interesse cienta­fico, menos de um tera§o os22 artigos osforam considerados reproduta­veis. Em dois casos, Eva foi capaz de fazer descobertas inesperadas.

Os resultados , divulgados na revista Royal Society Interface , demonstram que épossí­vel usar a roba³tica e a inteligaªncia artificial para ajudar a enfrentar a crise de reprodutibilidade.

Um experimento bem-sucedido éaquele em que outro cientista, em um laboratório diferente sob condições semelhantes, pode alcana§ar o mesmo resultado. Mas mais de 70% dos pesquisadores tentaram e falharam em reproduzir experimentos de outro cientista, e mais da metade não conseguiu reproduzir alguns de seus pra³prios experimentos: esta éa crise de reprodutibilidade.

“A boa ciência depende da reprodutibilidade dos resultados: caso contra¡rio, os resultados são essencialmente sem sentido”, disse o professor Ross King, do Departamento de Engenharia Quí­mica e Biotecnologia de Cambridge, que liderou a pesquisa. “Isso éparticularmente crítico na biomedicina: se eu sou um paciente e leio sobre um novo tratamento promissor, mas os resultados não são reproduta­veis, como vou saber em que acreditar? O resultado pode ser pessoas perdendo a confianção na ciência”

Va¡rios anos atrás, King desenvolveu o cientista roba´ Eve, um sistema computador/roba³tico que usa técnicas de inteligaªncia artificial (IA) para realizar experimentos cienta­ficos.

“Uma das grandes vantagens de usar ma¡quinas para fazer ciência éque elas são mais precisas e registram detalhes com mais exatida£o do que um humano”, disse King. “Isso os torna adequados para o trabalho de tentar reproduzir resultados cienta­ficos.”

Como parte de um projeto financiado pela DARPA, King e seus colegas do Reino Unido, EUA e Suanãcia projetaram um experimento que usa uma combinação de IA e roba³tica para ajudar a enfrentar a crise de reprodutibilidade, fazendo com que os computadores leiam artigos cienta­ficos e os entendam, e fazendo com que Eve tentasse reproduzir os experimentos.

Para o artigo atual, a equipe se concentrou na pesquisa do ca¢ncer. “A literatura sobre o câncer éenorme, mas ninguanãm faz a mesma coisa duas vezes, tornando a reprodutibilidade um grande problema”, disse King, que também ocupa um cargo na Chalmers University of Technology, na Suanãcia. “Dadas as vastas somas de dinheiro gastas na pesquisa do câncer e o grande número de pessoas afetadas pelo câncer em todo o mundo, éuma área em que precisamos melhorar urgentemente a reprodutibilidade”.

De um conjunto inicial de mais de 12.000 artigos cienta­ficos publicados, os pesquisadores usaram técnicas automatizadas de mineração de texto para extrair declarações relacionadas a uma mudança na expressão gaªnica em resposta ao tratamento medicamentoso no câncer de mama. Desse conjunto, foram selecionados 74 artigos.

Duas equipes humanas diferentes usaram Eve e duas linhagens de células de câncer de mama e tentaram reproduzir os 74 resultados. Evidaªncia estatisticamente significativa de repetibilidade foi encontrada para 43 artigos, o que significa que os resultados foram replica¡veis ​​em condições idaªnticas; e evidaªncias significativas de reprodutibilidade ou robustez foram encontradas em 22 artigos, o que significa que os resultados foram replica¡veis ​​por diferentes cientistas sob condições semelhantes. Em dois casos, a automação fez descobertas inesperadas.

Enquanto apenas 22 dos 74 artigos foram considerados reproduta­veis neste experimento, os pesquisadores dizem que isso não significa que os artigos restantes não sejam cientificamente reproduza­veis ou robustos. “Ha¡ muitas razões pelas quais um determinado resultado pode não ser reproduza­vel em outro laboratório”, disse King. “As linhas celulares a s vezes podem mudar seu comportamento em diferentes laboratórios sob diferentes condições, por exemplo. A diferença mais importante que encontramos foi que importa quem faz o experimento, porque cada pessoa édiferente.”

King diz que este trabalho mostra que técnicas automatizadas e semiautomatizadas podem ser uma ferramenta importante para ajudar a enfrentar a crise de reprodutibilidade, e que a reprodutibilidade deve se tornar uma parte padrãodo processo cienta­fico.

“a‰ bastante chocante quanto grande éa reprodutibilidade do problema na ciaªncia, e vai precisar de uma revisão completa na maneira como muita ciência éfeita”, disse King. “Achamos que as ma¡quinas tem um papel fundamental a desempenhar para ajudar a conserta¡-lo.”

A pesquisa também foi financiada pelo Conselho de Pesquisa em Engenharia e Ciências Fa­sicas (EPSRC), parte da Pesquisa e Inovação do Reino Unido (UKRI), e pelo Wallenberg AI, Autonomous Systems and Software Program (WASP).