Tilt: Você teve uma experiência difícil tentando replicar um estudo. O que aconteceu?

Stuart Ritchie: Em 2011, um cientista muito respeitado da Universidade Cornell publicou um estudo numa revista de altíssima qualidade que provaria a existência da vidência. Eu e alguns colegas nos reunimos para refazer o experimento, mas não tivemos os mesmos resultados. As pessoas não se lembraram mais das palavras que ainda estavam para ver, ou seja, não mostraram poderes psíquicos.

Quando enviamos o estudo para o lugar que veiculou o original, nos disseram que eles não publicavam replicações em hipótese alguma. Concluímos então que era um problema sério para a ciência: as revistas estavam interessadas em publicar descobertas emocionantes, como a da existência de poderes psíquicos, mas não em estudos que checassem esses resultados. Assim, uma descoberta ridícula sobre parapsicologia revelou algo fundamentalmente errado ma forma como a ciência estava estruturada.

Tilt: Há alguma diferença que torna a psicologia mais inclinada a esse tipo de problema?

Stuart Ritchie: Não é possível responder com certeza, porque a psicologia é uma das únicas áreas da ciência a fazer esse tipo de pesquisa sobre si mesma. Os resultados de áreas como física e química são mais facilmente replicáveis, mas nenhuma área está livre do problema.

Tilt: Por que as publicações científicas têm resistência a estudos de replicação?

Stuart Ritchie: O editor de uma publicação científica quer que as pessoas leiam, e um estudo que repete outro jamais atrairia tanta atenção quanto o original. Os cientistas perceberam que é difícil publicar estudos de replicação, o que torna ainda mais difícil que eles sejam feitos. Isso empurra a ciência na direção errada, porque encoraja descobertas emocionantes e desencoraja resultados confiáveis, mas tediosos. Ninguém checa essas descobertas, porque os cientistas estão mais interessados na próxima do que em analisar resultados passados.

Tilt: O que precisa ser mudado?

Stuart Ritchie: A forma como os cientistas publicam suas pesquisas. Algumas publicações científicas já mudaram e oferecem um esquema em que se compromete a publicar a pesquisa independentemente do resultado final. Isso é ótimo, porque anula o interesse por resultados positivos e evita que pesquisadores alterem dados para parecerem melhores. Além disso, em vez de valorizar cientistas com mais trabalhos publicados em grandes revistas, as universidades deveriam olhar para pesquisadores que sejam transparentes ou façam estudos de replicação.

Tilt: Por que pesquisadores cometem fraudes?

Stuart Ritchie: Há uma pressão social muito grande para que a ciência exagere suas descobertas. O sistema acadêmico empurra cientistas para longe do trabalho tedioso, mas confiável. Outra pressão colocada sobre pesquisadores, para publicar o tempo todo, é a raiz de muitos dos problemas hoje.

Tilt: Ao ler seu livro, fiquei com a impressão de que fraudes são difíceis de descobrir ou punir. Por que?

Stuart Ritchie: Há casos em que é fácil capturar quem comete fraudes, porque são estudos inacreditáveis. Mas há quem esconda bem seus rastros. O outro problema é que, uma vez que uma fraude é descoberta, muitas universidades ficam relutantes em agir ou demoram para investigar. Os piores casos que descobri são pesquisas sobre novos tratamentos, que podem não funcionar ou até piorar a situação dos pacientes.

Tilt: Pesquisas que se contradizem sobre alimentos, como ovo, manteiga e vinho, têm tornado essa área pouco confiável. A nutrição é mais inclinada a erros?

Stuart Ritchie: As pesquisas sobre nutrição estão em péssimas condições porque é extremamente difícil entender como funcionam e por uma combinação de fatores:

• a tentação de usar métodos ruins, como p-hacking [manipulação que usa dados de forma propositalmente enganosa];
• o grande interesse pelo assunto na mídia e no público em geral, o que leva cientistas a exagerarem resultados;
• e a tendência a conflitos de interesse, como no caso da indústria alimentícia e de cientistas que defendem dietas de sua preferência.
  

É uma tempestade perfeita de ciência ruim, e o pior é que essa é uma área que influencia a forma como as pessoas agem e se alimentam.

Tilt: Você começou a escrever o livro antes da pandemia. O que acrescentaria agora?

Stuart Ritchie: Os problemas que discuto no livro foram provados de várias maneiras... o que também pode ser um tanto tendencioso da minha parte. Mas pesquisadores tiveram que remover estudos de publicações médicas por erros de dados ou porque usaram informações não checadas, caso do artigo sobre hidroxicloroquina [na Lancet]. Aliás, o estudo original, que dizia que a hidroxicloroquina era positiva para o tratamento da covid-19, também tinha sido mal desenvolvido.

É um exemplo clássico de negligência, tendenciosidade e acredito que houvesse também algum viés político. Um dos motivos para que casos assim aconteçam é a cultura do "publique ou morra", que se acelerou agora porque os cientistas estão desesperados.

Tilt: Esse problema afeta a busca por uma vacina?

Stuart Ritchie: Hoje você vê muitas pessoas céticas quanto ao uso de vacinas, então devemos garantir que os pesquisadores sejam 100% transparentes sobre os efeitos colaterais que podem surgir e esclareçam que a vacina pode não ser perfeita para todos. No caso de grupos como os pesquisadores de Oxford, acredito que estejam sendo extremamente cuidadosos, seguindo os protocolos e fazendo testes de fases um, dois e três. Não é o que acontece com muitas das pesquisas sobre medicamentos para a covid-19.

Tilt: Hoje o movimento antivacina e o negacionismo científico parecem estar bem fortes. Isso tem a ver com os problemas que você aponta?

Stuart Ritchie: Uma das minhas preocupações era deixar claro que não escrevi o livro por ser negacionista, mas porque amo a ciência, quero que ela funcione e eleve ainda mais seus padrões. Se a ciência melhorar seus critérios, os argumentos dos negacionistas vão desmoronar.

Tilt: No livro, você menciona as dificuldades enfrentadas pela ciência sob regimes autoritários. Devemos olhar com cautela para os estudos sobre vacinas contra covid-19 desenvolvidos na China ou Rússia?

Stuart Ritchie: Se formos totalmente rigorosos e aplicarmos os mesmos critérios para todos, não devemos ter problemas. Mas, devemos estar conscientes de que alguns países com regimes autoritários não se preocupam com a ciência.

Tilt: Como tornar a ciência mais confiável?

Stuart Ritchie: Publicar dados online dá muito trabalho. É preciso facilitar as coisas, não só com incentivos, mas criando ferramentas tecnológicas que ajudem a fazer isso. Precisamos de mais pesquisas sobre outras pesquisas, a chamada metaciência, que reproduz estudos e checa seus resultados. Também é preciso premiar cientistas não apenas por resultados vistosos, mas por fazer coisas que melhorem a confiabilidade das pesquisas como um todo.

A coisa mais fácil de se fazer é encorajar a discussão e conseguir com que pesquisadores com perspectivas diferentes comentem os trabalhos uns dos outros, especialmente na mídia, de forma que possamos enxergar os prós e os contras de cada estudo muito mais rapidamente. Sou bastante otimista, acredito que as mudanças podem ser feitas.