Humanidades

Uma nova crise de replicação: pesquisas com menos probabilidade de serem verdadeiras são mais citadas
De acordo com um novo estudo da Universidade da Califórnia em San Diego, os artigos de importantes peria³dicos cienta­ficos, econa´micos e de psicologia que não se reproduzem e, portanto, são menos prova¡veis ​​de serem verdadeiros.
Por Universidade da Califórnia - San Diego - 22/05/2021


A contagem média anual de citações por ano para estudos que não foram replicados (de acordo com o valor p da replicação) em cada estudo de replicação e para aqueles que foram replicados. A área cinza claro mostra o (s) ano (s) em que os estudos originais foram publicados, e a linha escura mostra o ano em que o estudo de replicação foi publicado. Crédito: UC San Diego

De acordo com um novo estudo da Rady School of Management da Universidade da Califórnia em San Diego, os artigos de importantes peria³dicos cienta­ficos, econa´micos e de psicologia que não se reproduzem e, portanto, são menos prova¡veis ​​de serem verdadeiros.

Publicado na Science Advances , o artigo explora a " crise de replicação " em curso, na qual os pesquisadores descobriram que muitas descobertas nos campos das ciências sociais e da medicina não se sustentam quando outros pesquisadores tentam repetir os experimentos.

O artigo revela que achados de estudos que não podem ser verificados quando os experimentos são repetidos tem maior influaªncia ao longo do tempo. A pesquisa não confia¡vel tende a ser citada como se os resultados fossem verdadeiros muito depois de a publicação ter falhado em replicar.

“Tambanãm sabemos que os especialistas podem prever bem quais artigos sera£o replicados”, escrevem as autoras Marta Serra-Garcia, professora assistente de economia e estratanãgia da Rady School e Uri Gneezy, professor de economia comportamental também da Rady School. "Dada essa previsão, perguntamos 'por que os artigos não replica¡veis ​​são aceitos para publicação em primeiro lugar?'"

A resposta possí­vel éque as equipes de revisão de peria³dicos acadaªmicos enfrentam uma compensação. Quando os resultados são mais "interessantes", eles aplicam padraµes mais baixos em relação a  sua reprodutibilidade.

A ligação entre descobertas interessantes e pesquisas não replica¡veis ​​também pode explicar por que ela écitada em uma taxa muito mais alta - os autores descobriram que os artigos que se reproduzem com sucesso são citados 153 vezes menos do que aqueles que falharam.

“Descobertas interessantes ou atraentes também são mais cobertas pela ma­dia ou compartilhadas em plataformas como o Twitter, gerando muita atenção, mas isso não as torna verdade”, disse Gneezy.

Serra-Garcia e Gneezy analisaram dados de três projetos de replicação influentes que tentaram replicar sistematicamente as descobertas nas principais revistas de psicologia, economia e ciências gerais ( Nature e Science ). Em psicologia, apenas 39% dos 100 experimentos foram replicados com sucesso. Em economia, 61% dos 18 estudos se replicaram, assim como 62% dos 21 estudos publicados na Nature / Science .

Com as descobertas desses três projetos de replicação, os autores usaram o Google Scholar para testar se os artigos que não foram replicados são citados com muito mais frequência do que aqueles que foram replicados com sucesso, antes e depois da publicação dos projetos de replicação. A maior lacuna foi em artigos publicados na Nature / Science : artigos não replica¡veis ​​foram citados 300 vezes mais do que os replica¡veis.
 
Quando os autores levaram em consideração várias caracteri­sticas dos estudos replicados - como o número de autores, a taxa de autores do sexo masculino, os detalhes do experimento (local, linguagem e implementação online) e o campo em que o artigo foi publicado - o relação entre replicabilidade e citações não foi alterada.

Eles também mostram que o impacto dessas citações aumenta com o tempo. As contagens de citações anuais revelam uma lacuna pronunciada entre os artigos que se replicaram e os que não o fizeram. Em média, os artigos que não se replicaram são citados 16 vezes mais por ano. Essa lacuna permanece mesmo após a publicação do projeto de replicação.

"Surpreendentemente, apenas 12 por cento das citações pa³s-replicação de descobertas não replica¡veis ​​reconhecem a falha na replicação", escrevem os autores.

A influaªncia de um artigo impreciso publicado em um peria³dico de prestígio pode ter repercussaµes por décadas. Por exemplo, o estudo que Andrew Wakefield publicou no The Lancet em 1998 transformou dezenas de milhares de pais em todo o mundo contra a vacina contra sarampo, caxumba e rubanãola por causa de uma ligação impla­cita entre vacinas e autismo. As descobertas incorretas foram retiradas pelo The Lancet 12 anos depois, mas as alegações de que o autismo estãorelacionado a s vacinas continuam.

Os autores acrescentaram que os peria³dicos podem se sentir pressionados a publicar descobertas interessantes, assim como os acadaªmicos. Por exemplo, nas decisaµes de promoção, a maioria das instituições acadaªmicas usa citações como uma manãtrica importante na decisão de promover ou não um membro do corpo docente.

Esta pode ser a origem da "crise de replicação", descoberta pela primeira vez no ini­cio dos anos 2010.

"Esperamos que nossa pesquisa incentive os leitores a serem cautelosos se lerem algo que seja interessante e atraente", disse Serra-Garcia. “Sempre que os pesquisadores citarem um trabalho mais interessante ou que tenha sido muito citado, esperamos que eles verifiquem se os dados de replicação estãodisponí­veis e o que essas descobertas sugerem”.

Gneezy acrescentou: "Nos preocupamos com o campo e com a produção de pesquisas de qualidade e queremos que seja verdade."

 

.
.

Leia mais a seguir