Cerca de 50% dos experimentos científicos se revelaram NÃO reproduzíveis

2024 Autor: Seth Attwood | [email protected]. Última modificação: 2023-12-16 16:14

Por acaso, em meio a um fluxo de notícias e informações, encontrei um artigo na Nature Scientific Reports. Ele apresenta dados de uma pesquisa com 1.500 cientistas sobre a reprodutibilidade de resultados de pesquisas científicas. Se antes esse problema foi levantado para a pesquisa biológica e médica, onde por um lado é explicável (falsas correlações, a complexidade geral dos sistemas em estudo, às vezes até mesmo software científico é acusado), por outro lado, tem um caráter fenomenológico personagem (por exemplo, ratos tendem a se comportar de maneira diferente com cientistas de gêneros diferentes (1 e 2)).

No entanto, nem tudo é bom e com maisciências naturais, como física e engenharia, química, ecologia. Parece que essas mesmas disciplinas são baseadas em experimentos "absolutamente" reproduzíveis realizados sob as condições mais controladas, infelizmente, um surpreendente - em todos os sentidos da palavra - o resultado da pesquisa: até 70%pesquisadores enfrentaram Não reproduzívelexperimentos e resultados obtidos não apenas por outros grupos de cientistas, MAS e pelos autores / co-autores de trabalhos científicos publicados!

Todo maçarico elogia seu pântano?

Embora 52% dos entrevistados apontem para uma crise de reprodutibilidade na ciência, menos de 31% consideram os dados publicados fundamentalmente incorretos e a maioria indicou que ainda confia no trabalho publicado.

Claro, você não deve cortar o ombro e linchar toda a ciência como tal apenas com base nesta pesquisa: metade dos entrevistados ainda eram cientistas associados, de uma forma ou de outra, às disciplinas biológicas. Como os autores observam, em física e química, o nível de reprodutibilidade e confiança nos resultados obtidos é muito maior (ver gráfico abaixo), mas ainda não 100%. Mas na medicina as coisas estão muito ruins em comparação com o resto.

Uma piada vem à mente:

Marcus Munafo, psicólogo biológico da University of Bristol, Inglaterra, tem um interesse de longa data na reprodutibilidade de dados científicos. Relembrando os dias de seus dias de estudante, ele diz:

Certa vez, tentei reproduzir um experimento da literatura que me parecia simples, mas simplesmente não consegui. Tive uma crise de confiança, mas então percebi que minha experiência não era assim tão rara.

Problema de profundidade de latitude e longitude

Imagine que você é um cientista. Você encontra um artigo interessante, mas os resultados / experimentos não podem ser reproduzidos em laboratório. É lógico escrever sobre isso aos autores do artigo original, pedir conselhos e fazer perguntas de esclarecimento. De acordo com o questionário, menos de 20%sempre fizeram isso em sua carreira científica!

Os autores do estudo observam que, talvez, tais contatos e conversas sejam muito difíceis para os próprios cientistas, porque revelam sua incompetência e inconsistência em certas questões ou revelam muitos detalhes do projeto atual.

Além disso, uma minoria absoluta de cientistas tentou publicar uma refutação de resultados irreproduzíveis, enquanto enfrentava a oposição de editores e revisores que exigiuminimizar a comparação com a pesquisa original. É de se admirar que a chance de relatar a não reprodutibilidade de resultados científicos seja de cerca de 50%.

Quem sabe, então, valha a pena pelo menos fazer um teste de reprodutibilidade dentro do laboratório? O mais triste é que um terço dos entrevistados até NUNCAe não pensou em criar métodos para verificar a reprodutibilidade dos dados. Apenas 40%indicaram que usam regularmente tais técnicas.

Outro exemplo, uma bioquímica do Reino Unido, que não quis revelar seu nome, diz que tentar repetir, reproduzir trabalhos para seu projeto de laboratório simplesmente dobra o tempo e os custos com material, sem dar ou acrescentar novidades ao trabalho. Verificações adicionais são realizadas apenas para projetos inovadores e resultados incomuns.

E, claro, as eternas questões russas que começaram a torturar os colegas estrangeiros: de quem é a culpa e o que fazer?

Quem é o culpado?

Os autores do trabalho identificaram três problemas principais de reprodutibilidade dos resultados:

• Pressão de superiores para publicar o trabalho a tempo
• Relatórios seletivos (aparentemente, significa a supressão de alguns dados, que "estragam" todo o quadro)
• Análise de dados insuficiente (incluindo estatísticas)

O que fazer?

Dos 1.500 pesquisados, mais de 1.000 especialistas falaram a favor de melhorar as estatísticas na coleta e processamento de dados, melhorar a qualidade da supervisão dos chefes e um planejamento mais rigoroso dos experimentos.

Conclusão e alguma experiência pessoal

em primeiro lugar, mesmo para mim, como cientista, os resultados são impressionantes, embora esteja acostumada a um certo grau de irreprodutibilidade dos resultados. Isso é especialmente evidente nos trabalhos realizados por chineses e indianos sem "auditoria" de terceiros na forma de professores americanos / europeus. É bom que o problema tenha sido reconhecido e pensado sobre a (s) solução (ões). Com muito tato, guardarei silêncio sobre a ciência russa, em conexão com o recente escândalo, embora muitos honestamente façam seu trabalho.

Em segundo lugar, o artigo ignora (ou melhor, não considera) o papel das métricas científicas e dos periódicos científicos revisados por pares na emergência e no desenvolvimento do problema da irreprodutibilidade dos resultados da pesquisa. Em busca da velocidade e frequência das publicações (leia-se, aumento dos índices de citação), a qualidade cai drasticamente e não há tempo para verificação adicional dos resultados.

Como se costuma dizer, todos os personagens são fictícios, mas baseados em eventos reais. De alguma forma, um aluno teve a chance de revisar um artigo, porque nem todo professor tem tempo e energia para ler os artigos com atenção, então a opinião de 2-3-4 alunos e médicos é coletada, a partir da qual a revisão é formada. Foi feita uma revisão que indicou a irreprodutibilidade dos resultados de acordo com o método descrito no artigo. Isso foi claramente demonstrado ao professor. Mas para não prejudicar as relações com os “colegas” - afinal, têm sucesso em tudo - a revisão foi “corrigida”. E há 2 ou 3 desses artigos publicados.

Acontece um círculo vicioso. O cientista envia o artigo para o editor da revista, onde indica “ desejado"E, principalmente," indesejado »Revisores, ou seja, de fato, restando apenas aqueles que se manifestarem positivamente com a equipe de autores. Eles revisam o trabalho, mas não podem “cagar nos comentários” e tentar escolher o menor dos dois males - aqui está uma lista de perguntas que precisam ser respondidas, e depois publicaremos o artigo.

Outro exemplo, sobre o qual o editor da Nature falou há apenas um mês, são os painéis solares de Grazel. Devido ao grande interesse da comunidade científica por este tema (afinal, eles ainda querem um artigo na Nature!), Os editores tiveram que criar um questionário especial no qual precisam indicar uma série de parâmetros, fornecer calibrações de equipamentos, certificados, etc. para confirmar que o método de medição de painéis de eficiência está em conformidade com alguns princípios e padrões gerais.

E, terceiro, quando mais uma vez você ouve falar de uma vacina milagrosa que conquista tudo e todos, uma nova história sobre Jobs de saia, baterias novas ou os perigos / benefícios dos OGM ou da radiação de smartphones, especialmente se foi promovida por escritores amarelos do jornalismo, então trate com compreensão e não tire conclusões precipitadas. Aguarde a confirmação dos resultados por outros grupos de cientistas, o acúmulo da matriz e as amostras de dados.

PS:O artigo foi traduzido e escrito às pressas, sobre todos os erros e imprecisões percebidos, por favor escreva no LAN.