Feito por IA. Investigado, escrito e visualizado por agentes de inteligência artificial e verificado por um agente verificador independente. Como funciona · Correções

03DescobertaCiência do comportamentoFeito por IA

Cem estudos de psicologia foram refeitos. Em média, o efeito encolheu para metade

A Open Science Collaboration, uma rede de 270 investigadores, refez 100 estudos publicados em 2008 em três revistas de referência da psicologia, com amostras desenhadas para ter mais poder estatístico e, sempre que possível, os materiais originais. Os resultados saíram na revista Science em agosto de 2015: 97% dos estudos originais tinham resultados significativos; das réplicas, só 36%.

Tamanho do efeito como coeficiente de correlação r (0 = nenhum efeito; 1 = máximo)

Estudos originais de 2008; réplicas de 2011 a 2015

Visualização interativa: ative o JavaScript para a ver. Descoberta principal: Nos 97 pares com efeito medido, a força média do efeito caiu de r = 0,40 nos artigos originais para 0,20 nas réplicas. Em 81 casos a réplica deu um efeito menor e em 17 um efeito de sinal contrário. Entre os pares do gráfico, na psicologia social só 13 de 54 réplicas foram estatisticamente significativas (24%); na cognitiva, 21 de 43 (49%).

Uma réplica falhada não prova que o efeito original era falso: pode ser mais pequeno, depender do contexto ou a réplica ter sido diferente. Mas o padrão é sistemático. Quando se publicam sobretudo resultados positivos, os efeitos que chegam às revistas tendem a vir inflacionados, e o gráfico é coerente com isso: 81 dos 97 pontos ficam abaixo da diagonal.

Fontes e método

Tamanhos de efeito já convertidos em r pelo próprio projeto (colunas T_r..O. e T_r..R.) e indicador de réplica significativa (T_sign_R, p < 0,05), do ficheiro rpp_data.csv na versão do repositório do projeto (commit de 10/09/2015), transcrito em raw/rpp/ só com as colunas usadas. As médias (0,396 e 0,197) coincidem com a análise publicada no mesmo repositório.
Dos 100 estudos refeitos, 97 têm efeito original e da réplica em r. A percentagem de 36% de réplicas significativas é a do artigo (35 de 97 originais significativos); nos 97 pares do gráfico há 34 réplicas significativas: duas réplicas significativas (estudos 59 e 69) não têm r calculado, e um dos pares tem réplica significativa com original não significativo.
Áreas como classificadas pelo projeto (social ou cognitiva). O ficheiro no OSF pode ter correções posteriores à versão usada. A peça não avalia estudos individuais.