Uma nova crise de replicação: pesquisas com menos probabilidade de serem verdadeiras são mais citadas
De acordo com um novo estudo da Universidade da Califórnia em San Diego, os artigos de importantes peria³dicos cientaficos, econa´micos e de psicologia que não se reproduzem e, portanto, são menos prova¡veis ​​de serem verdadeiros.

A contagem média anual de citações por ano para estudos que não foram replicados (de acordo com o valor p da replicação) em cada estudo de replicação e para aqueles que foram replicados. A área cinza claro mostra o (s) ano (s) em que os estudos originais foram publicados, e a linha escura mostra o ano em que o estudo de replicação foi publicado. Crédito: UC San Diego
De acordo com um novo estudo da Rady School of Management da Universidade da Califórnia em San Diego, os artigos de importantes peria³dicos cientaficos, econa´micos e de psicologia que não se reproduzem e, portanto, são menos prova¡veis ​​de serem verdadeiros.
Publicado na Science Advances , o artigo explora a " crise de replicação " em curso, na qual os pesquisadores descobriram que muitas descobertas nos campos das ciências sociais e da medicina não se sustentam quando outros pesquisadores tentam repetir os experimentos.
O artigo revela que achados de estudos que não podem ser verificados quando os experimentos são repetidos tem maior influaªncia ao longo do tempo. A pesquisa não confia¡vel tende a ser citada como se os resultados fossem verdadeiros muito depois de a publicação ter falhado em replicar.
“Tambanãm sabemos que os especialistas podem prever bem quais artigos sera£o replicadosâ€, escrevem as autoras Marta Serra-Garcia, professora assistente de economia e estratanãgia da Rady School e Uri Gneezy, professor de economia comportamental também da Rady School. "Dada essa previsão, perguntamos 'por que os artigos não replica¡veis ​​são aceitos para publicação em primeiro lugar?'"
A resposta possível éque as equipes de revisão de peria³dicos acadaªmicos enfrentam uma compensação. Quando os resultados são mais "interessantes", eles aplicam padraµes mais baixos em relação a sua reprodutibilidade.
A ligação entre descobertas interessantes e pesquisas não replica¡veis ​​também pode explicar por que ela écitada em uma taxa muito mais alta - os autores descobriram que os artigos que se reproduzem com sucesso são citados 153 vezes menos do que aqueles que falharam.
“Descobertas interessantes ou atraentes também são mais cobertas pela madia ou compartilhadas em plataformas como o Twitter, gerando muita atenção, mas isso não as torna verdadeâ€, disse Gneezy.
Serra-Garcia e Gneezy analisaram dados de três projetos de replicação influentes que tentaram replicar sistematicamente as descobertas nas principais revistas de psicologia, economia e ciências gerais ( Nature e Science ). Em psicologia, apenas 39% dos 100 experimentos foram replicados com sucesso. Em economia, 61% dos 18 estudos se replicaram, assim como 62% dos 21 estudos publicados na Nature / Science .
Com as descobertas desses três projetos de replicação, os autores usaram o Google Scholar para testar se os artigos que não foram replicados são citados com muito mais frequência do que aqueles que foram replicados com sucesso, antes e depois da publicação dos projetos de replicação. A maior lacuna foi em artigos publicados na Nature / Science : artigos não replica¡veis ​​foram citados 300 vezes mais do que os replica¡veis.
Â
Quando os autores levaram em consideração várias caracteristicas dos estudos replicados - como o número de autores, a taxa de autores do sexo masculino, os detalhes do experimento (local, linguagem e implementação online) e o campo em que o artigo foi publicado - o relação entre replicabilidade e citações não foi alterada.
Eles também mostram que o impacto dessas citações aumenta com o tempo. As contagens de citações anuais revelam uma lacuna pronunciada entre os artigos que se replicaram e os que não o fizeram. Em média, os artigos que não se replicaram são citados 16 vezes mais por ano. Essa lacuna permanece mesmo após a publicação do projeto de replicação.
"Surpreendentemente, apenas 12 por cento das citações pa³s-replicação de descobertas não replica¡veis ​​reconhecem a falha na replicação", escrevem os autores.
A influaªncia de um artigo impreciso publicado em um peria³dico de prestígio pode ter repercussaµes por décadas. Por exemplo, o estudo que Andrew Wakefield publicou no The Lancet em 1998 transformou dezenas de milhares de pais em todo o mundo contra a vacina contra sarampo, caxumba e rubanãola por causa de uma ligação implacita entre vacinas e autismo. As descobertas incorretas foram retiradas pelo The Lancet 12 anos depois, mas as alegações de que o autismo estãorelacionado a s vacinas continuam.
Os autores acrescentaram que os peria³dicos podem se sentir pressionados a publicar descobertas interessantes, assim como os acadaªmicos. Por exemplo, nas decisaµes de promoção, a maioria das instituições acadaªmicas usa citações como uma manãtrica importante na decisão de promover ou não um membro do corpo docente.
Esta pode ser a origem da "crise de replicação", descoberta pela primeira vez no inicio dos anos 2010.
"Esperamos que nossa pesquisa incentive os leitores a serem cautelosos se lerem algo que seja interessante e atraente", disse Serra-Garcia. “Sempre que os pesquisadores citarem um trabalho mais interessante ou que tenha sido muito citado, esperamos que eles verifiquem se os dados de replicação estãodisponíveis e o que essas descobertas sugeremâ€.
Gneezy acrescentou: "Nos preocupamos com o campo e com a produção de pesquisas de qualidade e queremos que seja verdade."