Estudos provavelmente errados têm 153 citações a mais
As revistas científicas podem estar diminuindo seus padrões para publicar estudos com resultados atraentes – mas provavelmente incorretos.
Retrato de jovem cientista sobrecarregado no laboratório do hospital
Principais conclusões
- A ciência está enfrentando uma crise de replicação, ou seja, que muitos estudos publicados nos principais periódicos não conseguem replicar.
- Um novo estudo examinou a contagem de citações de estudos 'fracassados', descobrindo que esses estudos não replicáveis acumularam 153 citações a mais do que pesquisas mais confiáveis, mesmo depois de se mostrarem não replicáveis.
- O estudo sugere que a crise de replicação pode ser impulsionada, em parte, por incentivos que incentivam os pesquisadores a gerar resultados “interessantes”.
Qual é uma maneira de obter um rápido impulso de confiança? Se você assistiu ao amplamente compartilhado 2012 Palestra TED Sua linguagem corporal pode moldar quem você é, você pode pensar que a resposta é fazer uma pose de poder.
A ideia, detalhada em um artigo de 2010 publicado em Ciência psicológica , é que adotar uma postura triunfante por alguns minutos causa mudanças neuroendócrinas e comportamentais nas pessoas, ajudando-as a se sentir mais poderosas e a ter um melhor desempenho em várias tarefas.
Candidatos políticos do Reino Unido Crédito : Kieron Bryan (@kieronjbryan) / Twitter
Além de parecer ridículo, os benefícios da pose de poder provavelmente não são reais. Desde 2015, mais de um dúzia estudos tentaram e falharam em replicar os efeitos relatados naquele artigo de 2010. Está longe de ser a primeira replicação com falha.
A crise da replicação
Nas últimas duas décadas, a repetida falha em reproduzir os achados na literatura de pesquisa, especialmente nas ciências sociais e biomédicas, foi apelidada de crise de replicação. Por que é uma crise?
A replicação é um princípio fundamental do método científico. A replicação bem-sucedida aumenta a probabilidade e, portanto, a confiança de que uma determinada afirmação ou efeito seja verdadeiro: afinal, se um estudo encontrar X, outros estudos também devem encontrar X, supondo que sigam ou se baseiem no desenho original do estudo.
Apesar das controvérsias e preocupações generalizadas sobre a crise de replicação nas últimas duas décadas , há poucas evidências de que as coisas estão melhorando. O problema não é apenas que muitos estudos não são replicáveis, mas também que os resultados de estudos não replicáveis continuam a ser citados por estudos subsequentes. Papéis fracassados, como análise de 2020 apelidados, circulam pela literatura tão rapidamente quanto replicam artigos.
A ciência ruim viaja rápido
Um novo estudo publicado em Avanços da ciência sugere que o problema pode ser ainda pior do que pensávamos, descobrindo que os artigos não replicáveis recebem 16 citações a mais por ano do que os replicáveis, em média. Com o tempo, isso se traduz em mais 153 citações.
Esse desequilíbrio geralmente era verdadeiro mesmo depois de tentativas de replicação revelaram que os papéis com falha não eram replicáveis. Também persistiu após o controle de fatores como número de autores, porcentagem de autores do sexo masculino, idioma e localização.
Por que os periódicos publicam estudos não replicáveis? Pode cair no hype. Quando os resultados são mais “interessantes”, eles aplicam padrões mais baixos em relação à sua reprodutibilidade, sugere o novo estudo.
Stuart Richie fez um argumento semelhante em seu livro de 2020 intitulado Ficções científicas: como a fraude, o preconceito, a negligência e o exagero minam a busca pela verdade. Ele sugeriu que, como os pesquisadores enfrentam pressões institucionais para publicar artigos e ganhar subsídios, eles são menos propensos a conduzir estudos secos, mas valiosos, e mais propensos a buscar descobertas vistosas e ostensivas que geram atenção da mídia.
Em suma, os incentivos podem estar afastando alguns pesquisadores da busca da verdade.
Comparando citações
A nova pesquisa incluiu dados de estudos apresentados em três grandes projetos de replicação realizados entre 2015 e 2018. De acordo com o artigo, cada um dos três projetos:
tentou replicar sistematicamente as descobertas nas principais revistas de psicologia, economia e ciências gerais. Na psicologia, apenas 39% dos experimentos produziram resultados significativos no estudo de replicação, em comparação com 97% dos experimentos originais. Em economia, 61% de 18 estudos replicados, e entre Natureza/Ciência publicações, 62% dos 21 estudos o fizeram.
Os pesquisadores então compararam esses dados de replicabilidade com o número de citações que esses estudos receberam, coletados do Google Scholar desde a data de publicação até o final de 2019. Os resultados mostraram que, quando os projetos de replicação publicaram dados revelando estudos não replicáveis, não houve efeito sobre a frequência com que esses estudos foram citados no futuro. Ou seja, os estudos continuaram sendo citados, mesmo que se mostrassem incorretos.
A contagem média anual de citações por ano para estudos que não foram replicados (de acordo com o valor P da replicação) em cada estudo de replicação [(A) para Natureza/Ciência, (B) para Economia e (C) para artigos de Psicologia em replicação mercados] e para aqueles que foram replicados. Serra-Garcia et al.
Mas algumas citações de estudos não replicáveis não poderiam ter vindo de estudos que criticavam as descobertas anteriores? Os pesquisadores reconheceram essa possibilidade, mas observaram que apenas doze por cento dos artigos subsequentes reconheceram que as descobertas que citaram não conseguiram se replicar.
Prever a replicabilidade não é difícil
A ignorância ou a falta de intuição provavelmente não explica por que os revisores das principais revistas acadêmicas aceitam artigos não replicáveis ou publicam artigos subsequentes que citam essas descobertas. Afinal, acadêmicos e leigos são muito bons em prever quais estudos serão replicados. UMA estudo de 2020 descobriram, por exemplo, que os leigos foram capazes de adivinhar a replicabilidade dos estudos de ciências sociais com precisão acima do acaso (59%).
Da mesma forma, um análise de 2018 descobriram que os psicólogos previram corretamente a replicabilidade dos estudos de psicologia com uma precisão de 70%, enquanto um papel de 2021 descobriram que os especialistas podem prever a replicabilidade de artigos de ciências sociais e comportamentais em 73% das vezes.
Essas descobertas parecem reforçar o argumento de que os incentivos relacionados ao hype estão contribuindo para a crise de replicação. Ainda assim, no espírito de replicação, provavelmente vale a pena esperar até que essas descobertas sejam replicadas por pesquisas futuras.
Neste artigo economia Economia e trabalho medicina psicologia ciências sociologiaCompartilhar:
