Estudos psicológicos foram considerados falsos em mais de 50% dos casos

2024 Autor: Seth Attwood | [email protected]. Última modificação: 2023-12-16 16:14

Existem "posturas fortes" que aumentam a confiança e reduzem os hormônios do estresse. Quando as pessoas seguram um copo de bebida quente nas mãos, elas se tornam mais amigáveis com as pessoas ao seu redor. A força de vontade é um recurso que gastamos quando resistimos à tentação. A capacidade de adiar a recompensa determina o sucesso futuro da criança.

Essas declarações são muito semelhantes entre si: por trás delas estão pesquisas psicológicas bem conhecidas, bestsellers de ciências populares, colunas em revistas populares e palestras TED.

Eles também têm mais uma coisa em comum: descobriram que todos estavam errados.

A crise da reprodutibilidade lançou dúvidas em campos inteiros da ciência. Muitos dos resultados, amplamente citados na mídia, são agora considerados exagerados ou falsos. Quando os cientistas tentaram replicar experimentos psicológicos clássicos e recentes, os resultados foram surpreendentemente consistentes, com cerca de metade dos casos sendo bem-sucedidos e a outra metade fracassando.

A crise finalmente se tornou aparente em 2015, quando cientistas liderados por Brian Nosek verificaram 100 estudos psicológicos. Eles foram capazes de alcançar os resultados iniciais apenas em 36 casos. O editor-chefe do Lancet, Richard Horton, logo declarou:

“As acusações contra a ciência são bastante diretas: pelo menos metade da literatura científica está simplesmente errada. Sofrendo de estudos com amostra pequena, efeito escasso e análises incorretas, além de uma obsessão por tendências da moda de importância duvidosa, a ciência deu um giro para a ignorância.

A reprodutibilidade é um dos principais requisitos do conhecimento científico. Quanto melhor o resultado é reproduzido, mais confiável ele é - esta é a única maneira de separar padrões reais de coincidências simples

Mas descobriu-se que esse requisito nem sempre é atendido.

A crise começou com a medicina, mas afetou principalmente a psicologia. No verão de 2018, os cientistas tentaram replicar uma seleção de estudos psicológicos publicados na Science and Nature, as revistas científicas de maior prestígio do mundo. De 21 experimentos, apenas 13 foram confirmados - e mesmo nesses casos, os resultados originais foram exagerados em cerca de 50%.

Freqüentemente, o teste de reprodutibilidade é reprovado por estudos que foram amplamente reproduzidos na mídia e conseguiram influenciar a consciência pública. Por exemplo, as obras que os motores de busca prejudicam a memória, e a leitura de ficção desenvolve a capacidade de empatia. Se experimentos repetidos falharem, isso não significa que as hipóteses originais sejam inúteis. Mas agora é necessária uma pesquisa melhor para prová-los.

Como prever o futuro com estatísticas

Em 2011, o famoso psicólogo americano Daryl Boehm publicou um artigo que comprovava a possibilidade da clarividência. Essa conclusão não foi produto de sua imaginação violenta, mas foi baseada em décadas de pesquisas, que envolveram centenas de pessoas. Muitos suspeitaram que Boehm decidiu organizar algo como o golpe de Sokal e expor a psicologia com um artigo falso com conclusões deliberadamente absurdas. Mas por todos os padrões metodológicos, o artigo foi muito convincente.

Em um dos experimentos de Behm, duas telas foram colocadas na frente dos participantes - eles tinham que adivinhar qual imagem estava escondida atrás. A imagem foi gerada aleatoriamente imediatamente após a seleção. Se os participantes fizeram um bom trabalho, isso indicaria que eles podem, de alguma forma, antecipar o futuro. O experimento utilizou dois tipos de imagens: neutras e pornográficas.

Boehm sugeriu que, se o sexto sentido existe, provavelmente tem uma origem evolucionária antiga. Nesse caso, é mais provável que esteja em sintonia com nossas necessidades e impulsos mais antigos

Os participantes adivinharam imagens pornográficas 53% das vezes - um pouco mais frequentemente do que deveriam se fossem puro acaso. Dado o grande número de experimentos, Boehm poderia alegar que a previsão existe.

Mais tarde, os especialistas descobriram que, ao analisar os resultados, ele usava métodos não totalmente corretos. Via de regra, um resultado de pesquisa é considerado confiável se a probabilidade de ter sido obtido por acidente não ultrapassar 5%. Mas há muitas maneiras de reduzir esse valor ao nível necessário: alterar os parâmetros iniciais da análise, adicionar ou remover o número necessário de exemplos da amostra, usar hipóteses mais bem-sucedidas após coletar os dados.

O problema é que não apenas Boehm, mas também muitos outros cientistas usaram as mesmas técnicas. De acordo com uma pesquisa de 2011, quase metade dos psicólogos admitiu isso

Quando o artigo clarividente foi publicado, os cientistas sociais Joseph Simmons, Leaf Nelson e Uri Simonson perceberam que a ciência estava caminhando para sua própria ruína. Eles construíram vários modelos de computador e descobriram que, usando técnicas estatísticas razoavelmente padronizadas, você pode aumentar o nível de resultados falso-positivos várias vezes. Isso significa que métodos que são formalmente científicos podem facilmente levar a conclusões completamente absurdas.

Para ilustrar isso, os cientistas realizaram um experimento que confirmou que ouvir a música "When I'm Sixty-four" torna o ouvinte um ano e meio mais jovem.

“Todos sabiam que era errado usar tais técnicas, mas achavam que era uma violação de seu significado - como cruzar a rua no lugar errado. Acabou sendo mais parecido com um assalto a banco”, concluiu Simmons.

Como distinguir uma pesquisa ruim de uma boa

Logo ficou claro que as questões de reprodutibilidade não se limitavam à psicologia. Na pesquisa do câncer, a evidência científica é suportada em 10-25% dos casos. Em economia, 7 de 18 experimentos de laboratório não foram capazes de se replicar. A pesquisa de inteligência artificial também mostra sinais de crise.

Mas perder a fé na ciência, ao que parece, ainda não vale a pena. Os cientistas já descobriram várias maneiras que melhoraram muito a confiabilidade e a qualidade de novas pesquisas

Vários anos atrás, quase ninguém publicou os resultados de experimentos repetidos, mesmo que fossem realizados. Não foi aceito, não trouxe bolsas e não contribuiu para uma carreira científica de sucesso. De acordo com uma pesquisa da Nature, mais de 70% dos psicólogos tentaram e não conseguiram reproduzir as pesquisas de outras pessoas, cerca da metade não foi capaz de repetir as suas próprias e quase ninguém procurou divulgar esses resultados.

Quando a crise de reprodutibilidade veio à tona, muita coisa mudou. Pesquisas repetidas gradualmente tornaram-se comuns; os dados experimentais começaram a ser publicados cada vez com mais frequência no domínio público; as revistas começaram a publicar resultados negativos e registrar o plano geral de pesquisa antes mesmo de começar.

A pesquisa se tornou mais extensa - uma amostra de 30–40 pessoas, o que era bastante padrão em psicologia, agora se adapta a muito poucas pessoas. Grandes organizações internacionais - como o Psychological Science Accelerator - estão testando as mesmas hipóteses em vários laboratórios ao redor do mundo.

Antes de verificar os artigos da Nature e da Science, sobre os quais escrevemos no início, os cientistas foram solicitados a fazer apostas nos sorteios. Eles tinham que prever quais pesquisas passariam no teste e quais seriam reprovadas. No geral, as taxas eram muito precisas. “Isso significa, em primeiro lugar, que a comunidade científica pode prever quais trabalhos poderão ser repetidos e, em segundo lugar, que a impossibilidade de replicação do estudo não foi mera coincidência”, afirmam os organizadores do experimento.

Os cientistas geralmente são bons em distinguir pesquisas confiáveis de não confiáveis - isso é uma boa notícia. Agora, especialistas do Center for Open Science, em conjunto com a agência DARPA, estão tentando criar um algoritmo que execute a mesma tarefa sem intervenção humana.

Há muitos artigos publicados a cada ano para verificar manualmente até mesmo uma pequena fração deles. Se a inteligência artificial entrar em ação, tudo será muito mais fácil.

Já nos primeiros testes, o AI conseguiu lidar com as previsões em 80% dos casos.

O que torna a pesquisa não confiável na maioria das vezes? Amostras pequenas, inconsistências nos números, confirmação de hipóteses muito bonita. E também - o desejo por sensações e respostas muito simples para perguntas difíceis.

Muito bom para ser verdade

A maneira mais fácil de criar pesquisa sensacional é por meio do engano. O famoso psicólogo social Diederik Stapel usou dados fabricados em várias dezenas de artigos científicos. A pesquisa de Stapel se espalhou por jornais e revistas com grande velocidade, recebeu diversos prêmios científicos de prestígio, foi publicado na Science e foi considerado um dos maiores especialistas em sua área.

Certa vez, descobriu-se que por muito tempo Stapel não conduziu nenhuma pesquisa, mas simplesmente inventou dados e os deu aos alunos para análise.

Isso é muito raro na ciência. Com muito mais frequência, em voz alta, mas surgem afirmações incorretas por outros motivos. As pessoas estão procurando desesperadamente por respostas simples, compreensíveis e eficazes para perguntas interessantes. Pode ser muito fácil ficar tentado a pensar que você tem essas respostas, mesmo que na verdade não tenha. A busca pela simplicidade e certeza é um dos principais motivos pelos quais muitos estudos falham em testar a reprodutibilidade. Aqui estão alguns exemplos notáveis.

Experimento de marshmallow

Em um experimento, as crianças foram solicitadas a escolher entre uma pequena recompensa - como marshmallows - que poderia ser recebida imediatamente, e uma recompensa dupla se pudessem esperar um pouco. Mais tarde, descobriu-se que as crianças que receberam o segundo prêmio tiveram mais sucesso na idade adulta. O estudo se tornou muito popular e influenciou alguns currículos escolares.

Em 2018, o experimento foi repetido em uma amostra mais ampla. Descobriu-se que a riqueza da família é um fator muito mais importante, do qual também depende o nível de autocontrole.

"Poses de força" e "Poses de fraqueza"

Os participantes do experimento fizeram uma de duas posturas por dois minutos: recostaram-se em uma cadeira e jogaram as pernas sobre a mesa ("postura de força") ou cruzaram os braços sobre o peito ("postura de fraqueza"). Como resultado, os participantes do primeiro grupo sentiram-se mais confiantes e concordaram com mais frequência em correr riscos no jogo. Aqueles que se sentaram em uma posição forte aumentaram seus níveis de testosterona, e aqueles que se sentaram em uma posição fraca aumentaram o cortisol. Em experimentos repetidos, apenas um efeito foi reproduzido: "posturas de força" ajudaram os participantes a se sentirem mais confiantes, mas não mudaram seu comportamento ou parâmetros hormonais.

Associações com a velhice fazem com que você se mova mais devagar

Os participantes do experimento foram convidados a resolver vários quebra-cabeças. Se neles fossem inseridas palavras associadas à velhice - "esquecido", "idoso", "solitário" - os participantes deixavam a sala mais devagar.

Em testes recentes, o experimento foi reproduzido com sucesso apenas em um caso: se os próprios experimentadores soubessem que nos testes os participantes estavam insinuando idade avançada. O efeito em si permaneceu, mas os motivos já eram outros.

Objetos quentes tornam as pessoas mais amigáveis

Os participantes do experimento puderam segurar uma xícara de café quente ou frio por um curto período de tempo e, em seguida, foram solicitados a avaliar a personalidade da pessoa usando uma breve descrição. Os participantes que seguraram uma xícara de café quente avaliaram a pessoa como mais agradável. Em outro experimento, os participantes receberam um item em uma embalagem quente ou fria e, em seguida, foram solicitados a mantê-lo ou dar a um amigo. Se o item foi embalado em um pacote quente, os participantes eram mais propensos a escolher a segunda opção. Experimentos repetidos com uma amostra mais ampla não produziram tais resultados. Parece que roupas quentes não vão fazer de você um altruísta.

A força de vontade se esgota quando resistimos às tentações

Na frente dos participantes do experimento foram colocados dois pratos - com biscoitos e rabanetes. No primeiro grupo, os participantes podiam comer biscoitos e, no segundo, apenas rabanete. Em seguida, cada participante foi solicitado a resolver um quebra-cabeça impossível. Os participantes que comeram apenas rabanetes na primeira parte do experimento desistiram muito antes dos outros. Em experimentos repetidos, os resultados não foram confirmados.

Em alguns casos, a capacidade de autocontrole não se esgotou, mas até se intensificou com o tempo. Muitos psicólogos agora consideram o conceito de "força de vontade" muito simplista.

Muito já foi feito na psicologia mundial para tornar a pesquisa mais confiável e reproduzível. Na Rússia, esse problema ainda não foi resolvido.

“Na psicologia russa, os problemas da crise estão preocupados principalmente com a juventude científica, que é amplamente orientada para a ciência ocidental”, disse Ivan Ivanchey, professor associado da RANEPA, ao Knife. - O controle sobre a qualidade das publicações em russo geralmente não é muito alto. Os periódicos raramente rejeitam artigos, portanto, muitas pesquisas de baixa qualidade são publicadas. Amostras pequenas são freqüentemente usadas, o que também reduz a probabilidade de uma reprodução bem-sucedida. Suspeita-se que, se alguém abordar seriamente a questão da reprodutibilidade das obras em língua russa, muitos problemas podem ser descobertos. Mas ninguém está diretamente envolvido nisso."

Em janeiro de 2019, soube-se que o governo russo vai ampliar significativamente as exigências de cientistas em termos de número de publicações: o número mínimo de artigos publicados por ano deve crescer 30-50%.

Cientistas do influente acadêmico "Clube 1º de Julho" criticaram a iniciativa: "A tarefa da ciência não é produzir o máximo de publicações, mas explorar o universo e se beneficiar do conhecimento adquirido para a humanidade." Muito provavelmente, os novos requisitos apenas aumentarão a escala do problema.

A história da crise de reprodutibilidade não é uma história sobre o apocalipse que se aproxima e a invasão dos bárbaros. Se a crise não tivesse ocorrido, tudo teria sido muito pior: ainda nos referiríamos a pesquisas errôneas com plena confiança de que conhecemos a verdade. Talvez o tempo de manchetes ousadas como "Cientistas britânicos provaram" esteja chegando ao fim. Mas os rumores de que a ciência está morta devem ser considerados um tanto exagerados.