Como um artigo científico é, em tese, produzido?

A descrição clássica do método científico diz que, a partir de observações na natureza, um cientista concebe uma hipótese para explicar um fenômeno e desenha uma série de experimentos para testá-la. Começa então um processo que normalmente leva alguns anos de trabalho, ao final do qual se tem um conjunto de dados quase sempre obtido a muitas mãos. Na análise desses dados, tenta-se diferenciar o que são efeitos reais de resultados ocorridos ao acaso, o que envolve o uso de métodos estatísticos para diminuir a chance de falsos positivos.

E como saber se a ciência está avançando de fato? Para termos certeza de que nossas hipóteses e teorias estão corretas, as observações que fazemos têm de ser consistentes e reprodutíveis por outros pesquisadores

Com os experimentos concluídos e os resultados analisados, é hora de juntá-los em um artigo científico, que inclui a justificativa da hipótese, a descrição dos procedimentos e dos resultados e uma discussão sobre suas implicações. O artigo é submetido ao corpo editorial de uma revista científica, na qual outros cientistas avaliarão o mérito do trabalho. Trabalhos mal conduzidos podem ser rejeitados ou receber sugestões para melhorarem. Se tudo correr bem, o artigo é aceito e publicado, a comunidade científica tem acesso aos resultados, e a ciência avança.

E como saber se a ciência está avançando de fato? Para termos certeza de que nossas hipóteses e teorias estão corretas, as observações que fazemos têm de ser consistentes e reprodutíveis por outros pesquisadores. Se um cientista relata um resultado, mas ninguém mais consegue obtê-lo em condições semelhantes, há grandes chances de ele ser fruto do acaso ou de um erro experimental.

O empreendimento científico se vale de vários freios e verificações para que esses casos sejam a exceção; no entanto, tentativas de replicar experimentos publicados sugerem que eles talvez sejam a regra. Será que a confiança na ciência não se justifica? Estamos nos desviando do processo original?

Como um artigo científico é realmente produzido?

Existe uma distância considerável entre o método científico na teoria e na prática. Quando um cientista concebe uma hipótese, esta já nasce condicionada por uma série de fatores e vieses: a experiência do pesquisador, o orçamento, a infraestrutura disponível e aquilo que pode ter impacto em uma determinada área. Ou seja, hipóteses que possam cair no gosto dos editores das revistas científicas. Além disso, qualquer pesquisador já entra em um projeto com a expectativa de que os resultados venham a confirmar sua hipótese.

Ainda que um bom cientista seja aquele capaz de controlar esses vieses, as medidas necessárias para isso nem sempre são tomadas – seja por falta de tempo, dinheiro ou vontade. Experimentos em ciência biomédica básica raramente são feitos de maneira cega – sem que o experimentador conheça a identidade dos grupos experimentais –, e inúmeras decisões durante sua realização podem afetar os resultados do experimento.

Uma vez obtidos os dados, parte-se para a análise estatística, em que a regra vigente é usar métodos que gerem resultados falsos positivos em não mais do que 5% dos casos em que não existe um fenômeno real – o famigerado ‘p < 0,05’, que faz um resultado ser chamado de “estatisticamente significativo”. A margem de erro já é considerável se o método é bem aplicado: em cada 20 experimentos em que não há efeito algum, um deles gerará um resultado falso. Na prática, porém, essa taxa é bem maior.

Cientistas têm grande flexibilidade para analisar dados: para uma mesma hipótese, há várias maneiras de executar a análise, que podem levar a conclusões diferentes. Pior do que isso, a escolha frequentemente é determinada após o exame dos dados, o que significa que a própria hipótese acaba condicionada pelos resultados que deveriam testá-la – uma circularidade que subverte o método científico. Infelizmente, estatística costuma ser um buraco negro na formação de cientistas da área: métodos são passados por tradição oral dentro dos grupos de pesquisa, e a análise costuma ser realizada sem uma real compreensão de seu significado.

Caso um resultado “estatisticamente significativo” não seja encontrado, há grandes chances de o trabalho morrer nessa etapa, já que existe a crença de que resultados ‘negativos’ serão rejeitados pelas revistas científicas. Isso leva ao ‘efeito gaveta’: muitos experimentos acabam não publicados, não por problemas de execução, mas porque não confirmaram a hipótese original.

A expectativa pelo resultado positivo (e publicável) faz com que um mesmo experimento seja repetido várias vezes até gerar o resultado esperado – o que acontecerá mais cedo ou mais tarde, por força do viés ou do acaso. Qualquer resultado que vá em sentido contrário à hipótese original, por outro lado, será visto como suspeito e possivelmente desconsiderado – afinal, sempre se pode encontrar uma razão para atribuí-lo a alguma falha técnica ou a um erro de procedimento.

Análise concluída e resultado positivo encontrado, o artigo é submetido à revisão por pares. O processo costuma ter duas funções: (1) julgar a qualidade e o rigor metodológico dos experimentos e análises e (2) julgar se eles têm impacto e relevância suficientes para serem publicados em determinada revista. A primeira função, porém, não tem como ser cumprida de forma efetiva, já que, mesmo que os revisores sejam rigorosos, eles não têm acesso a tudo o que foi realizado em um projeto – como experimentos descartados, mudanças na análise e adaptações da hipótese.

Um artigo científico é uma narrativa construída por seus autores a partir de um conjunto selecionado de experimentos, de maneira a contar uma história lógica e impactante, mesmo que não reflita tudo o que foi realizado em um projeto

Atalhos e maquiagem

Na prática, um artigo científico é uma narrativa construída por seus autores a partir de um conjunto selecionado de experimentos, de maneira a contar uma história lógica e impactante, mesmo que não reflita tudo o que foi realizado em um projeto. Isso faz com que ele não seja muito diferente de um perfil de sites de relacionamento: uma seleção de fotos reais, mas que constroem uma versão idealizada de uma pessoa.

No entanto, a crença dogmática da comunidade científica na revisão por pares faz com que um artigo publicado geralmente seja tomado como verdadeiro. A confiança no processo é tanta que, para o avanço da carreira de um cientista, não é necessário que os achados de um artigo sejam reproduzidos – a publicação em si basta para obter reputação, recursos de pesquisa e posições acadêmicas.

A ideia de que a revisão por pares seja capaz de garantir a reprodutibilidade, porém, é uma questão de fé, e não parece sustentar-se à luz da evidência disponível. E, com a ânsia dos pesquisadores de atingir as metas de impacto de certas revistas – o que com frequência leva a ‘atalhos’ metodológicos e ‘maquiagem’ de resultados –, não é absurdo perguntar se a pressão gerada pelo processo não prejudica a confiabilidade da ciência em vez de melhorá-la.

Um clássico estudo do epidemiologista greco-americano John Ioannidis, de 2005, sugere que, com o nível de rigor estatístico utilizado na ciência biomédica, a maior parte dos achados de pesquisa tende a ser falsa, especialmente em áreas com muitos grupos envolvidos, alta competição e flexibilidade de análise. E ainda que, dada a infrequência de estudos de replicação, não tenhamos como comprovar essa hipótese, os poucos dados existentes até agora têm lhe dado razão.

Tudo isso acontece no Brasil e no resto do mundo sem que necessariamente haja má intenção dos envolvidos. Os incentivos vão no sentido de publicar mais, mesmo sem muita certeza se o que se publica é sólido. Ainda assim, como atesta a história de Sean Scott, as consequências podem ser trágicas.

O enigma brasileiro

O crescimento da ciência feita no Brasil nas últimas décadas é apreciável. Dos anos 1990 para cá, o número anual de artigos publicados por brasileiros em revistas científicas indexadas aumentou de menos de 10 mil para quase 70 mil, colocando o país como o 14º produtor mundial de ciência. Tal aumento foi consolidado por meio de intensa cobrança por parte das agências de fomento – justamente para que se publicassem mais artigos. O processo é criticado por ter deixado de lado a ênfase na qualidade – segundo os críticos, o impacto da pesquisa brasileira não teria crescido. Os dados mundiais sobre reprodutibilidade, porém, trazem uma questão ainda mais urgente – quanto da produção científica nacional pode não ser reprodutível?

Algumas iniciativas internacionais buscaram reproduzir amostras sistemáticas de resultados em áreas específicas de pesquisa. Uma replicação de 100 estudos no campo da psicologia mostrou que a taxa de reprodutibilidade estava entre 36% e 47%, dependendo do critério utilizado para definir uma replicação de sucesso. Outra iniciativa, ainda em processo, pretende reproduzir artigos de alto impacto sobre biologia básica do câncer. Das 10 replicações publicadas até agora, em seis delas conseguiu-se reproduzir pelo menos parte dos resultados do artigo original. Das outras quatro, metade não os reproduziu, e metade não pôde ser interpretada devido a diferenças metodológicas.

Em nível nacional, porém, não existe nenhum dado sobre a reprodutibilidade da ciência publicada. É para preencher essa lacuna que iniciamos a Iniciativa Brasileira de Reprodutibilidade, um projeto multicêntrico para estimar a confiabilidade da ciência biomédica brasileira. A iniciativa, baseada no Instituto de Bioquímica Médica da Universidade Federal do Rio de Janeiro e patrocinada pelo Instituto Serrapilheira, pretende selecionar de 50 a 100 experimentos de artigos brasileiros em diferentes áreas da pesquisa biomédica, cada um dos quais será reproduzido em pelo menos três laboratórios diferentes.

Esse esforço exigirá o envolvimento de vários grupos de pesquisa no país, que serão incorporados ao projeto ao longo de 2018. A esperança é que esse esforço coletivo traga uma mudança cultural ampla, colocando a reprodutibilidade em pauta e engajando a comunidade científica do país para avaliá-la e discuti-la. A Iniciativa, que deve levar alguns anos para ser concluída, será a primeira avaliação sistemática da reprodutibilidade da ciência de um país, colocando o Brasil na vanguarda da busca por uma ciência melhor.

A transparência desse processo é necessária para que o mérito de uma afirmação científica possa ser avaliado com base na evidência apresentada, e não na reputação de quem a afirma