Publicar ou perecer
por Simon Schwartzman
Como deve ser feita a apreciação do desempenho acadêmico? A ideia de que cientistas e pesquisadores precisam ser avaliados por sua produtividade, e que essa produtividade se expressa em produtos tangíveis – artigos, patentes e outros – é correta. Não há dúvida de que ela coloca os pesquisadores sob tensão, mas isso é parte da vida. Não há nada de errado no ‘produtivismo’ – se esses profissionais querem ser financiados e sustentados pelo seu trabalho, não há de ser pelos seus belos olhos ou boas intenções. Eles precisam mostrar o que fazem.
Existem, no entanto, alguns riscos importantes que surgem sempre que se busca colocar essa ideia na prática. O primeiro é quando se toma uma tendência geral – uma correlação – como válida e aplicável a situações individuais. Dados mostram que os melhores pesquisadores publicam muito e são muito citados, mas podem existir aqueles com muitas publicações desinteressantes, e outros com poucas publicações e trabalhos, mas de grande impacto.
A única maneira de lidar com isso é entender que o dado estatístico, o indicador, é apenas um dado, que precisa ser interpretado caso a caso pelos pares. Quando pesquisadores ou departamentos de pesquisa são avaliados exclusivamente por seus indicadores, muitas vezes por pessoas ou instituições que nem sequer entendem do conteúdo dos trabalhos, a chance de erros é muito grande.
O segundo problema, bastante geral nas avaliações, é quando o indicador passa a ser mais importante do que aquilo que ele deveria indicar. Se o que importa é o número de publicações e citações, e não o que está sendo publicado ou citado, isso abre a porta para manipular os indicadores – dividir um artigo em três; dar preferência a projetos de curto prazo, em detrimento de projetos de duração mais longa; aprender como escrever para agradar os editores das revistas, sem correr riscos; e combinar com os amigos citações cruzadas – eu cito você, você me cita, e nós dois subimos nos rankings.
O terceiro problema é o chamado ‘efeito Mateus’, descrito pelo sociólogo estadunidense Robert Merton (1910-2003) anos atrás para descrever a concentração da pesquisa nos principais centros e ao redor dos nomes mais famosos (“ao que tem, se lhe dará e terá em abundância, mas ao que não tem será tirado até mesmo o que tem” – Mateus 13:2).
Como os que mais têm trabalham e publicam em inglês nas revistas mais famosas dos países centrais, então mais vale colocar um artigo mais bem comportado junto a esses do que publicar um artigo mais brilhante e criativo em uma revista que ninguém importante vai ler ou comentar.
Existem outros riscos, como os de valorizar mais as publicações acadêmicas do que os trabalhos aplicados, e a pesquisa pública em detrimento da pesquisa industrial, ou supor que áreas de estudo e pesquisa como as ciências sociais, as humanidades e as engenharias deveriam ter o mesmo padrão de publicações do que as ciências naturais.
Nada disso significa que os indicadores de produtividade não sejam importantes, mas sim que eles não podem ser aplicados de forma burocrática e automática. Em última análise, indicadores de publicações e citações não são dados ‘objetivos’, mas agregações das avaliações subjetivas feitas pelos editores das revistas e pelos leitores dos artigos.
Essa subjetividade não pode ser ignorada, mas precisa ser ponderada pelo juízo crítico dos pares que têm a responsabilidade de decidir sobre a qualidade e o futuro profissional de seus colegas em cada caso. É como um médico que precisa usar de sua experiência e do conhecimento do paciente para avaliar o resultado de um exame de laboratório; uma responsabilidade que não pode ser transferida a indicadores de nenhum tipo, por melhores que sejam.
Simon Schwartzman é sociólogo, cientista político e pesquisador do Instituto de Estudos do Trabalho e Sociedade no Rio de Janeiro. Foi presidente do IBGE (1994-1998) e diretor para o Brasil do American Institutes for Research (1999-2002)
___________________________
Ciência distorcida
por Ivan Domingues
O fenômeno do ‘produtivismo’ acadêmico está associado a certas distorções da produção intelectual nas academias, inclusive no Brasil. O termo está carregado de conotação semântica negativa, transparecida no sufixo ‘ismo’, incidindo sobre as obras do intelecto e a explosão do conhecimento dos tempos atuais a carga depreciativa de nossos juízos sobre o processo inteiro.
O produtivismo, que prefiro designar como ‘taylorismo’, acrescenta ao processo de produção de conhecimento um forte viés de ‘administração’ – os métodos racionais desta são transferidos da indústria (produção de bens) para a academia (produção de artigos científicos e outras publicações intelectuais). Os resultados são conhecidos: o conhecimento transformado em ‘mercadoria’ e ‘indústria’, o patenteamento dos processos e a busca de lucro, com produtos e aplicações de ciência e tecnologia vistos como ‘negócios’ ou oportunidades para negócios.
- Se publicar artigos de fato induz o aumento da produtividade do conhecimento, também pode promover a vitória da quantidade sobre a qualidade e o mais desenfreado competitivismo. (foto: Johnny Maroun/Sxc. hu)
Esses métodos, já utilizados nas empresas, caíram feito uma luva nas mãos dos governos, das agências de fomento e das administrações universitárias. Por mais de uma razão: alguns desses órgãos necessitavam ranquear as produções e revistas acadêmicas num ambiente de competição por recursos públicos, de produção em massa e de inflação das publicações; outros pretendiam monitorar o desempenho de funcionários, professores e pesquisadores, como no caso de importantes universidades norte-americanas, às voltas com a tenure (ato administrativo de conferir ou não estabilidade a professores após anos de certa precariedade institucional).
Embora real e já causando seus conhecidos estragos, parece que o taylorismo sequer aparece como problema para a maioria dos colegas, tão legitimado está nos meios acadêmicos, deixando todos felizes justamente por serem ‘produtivos’, como se fosse a coisa mais importante do mundo lançar uma linha a mais no currículo Lattes.
Há mais de um motivo para questionarmos a taylorização. Antes de tudo, é preciso levar em consideração que, se o fenômeno de fato induz aumento da produtividade do conhecimento, o que em si pode ser visto como algo positivo, não é menos verdadeiro que promove a vitória da quantidade sobre a qualidade e o mais desenfreado competitivismo, levando ao famoso ‘publique ou pereça’.
Um ambiente competitivo e de inflação das publicações gera a necessidade de medi-las e padronizá-las, e mostra a outra face do taylorismo: as métricas, em especial para aferir e ranquear mecanicamente tudo o que é produzido e publicado, sem a necessidade de ler e julgar, apenas contando publicações e computando índices de impacto, supondo que a qualidade sairá da quantidade e será, pois, objetiva.
As consequências serão de duas ordens, levando a um conjunto de distorções, não exatamente individuais, mas sistêmicas e coletivas. A mais conhecida e temerária é a concentração do mercado. Assim, segundo estudiosos, cerca de 3 mil revistas hospedam 75% dos artigos científicos publicados no mundo e um número ainda menor (em torno de 300) publica a metade de tudo que é lido e citado por alguém.
Trata-se de mais um exemplo da pertinência do chamado ‘efeito Mateus’ (“quanto mais, mais”), proposto pelo sociólogo Robert Merton, cujo motor é o ‘selo de prestígio’ que acompanha as publicações – todos querem, mas é reservado a poucos. São exemplos os quatro periódicos das ‘ciências duras’, Nature, Science, Cell e Neuron. Já as grandes corporações que hospedam as revistas e controlarão grande parte de livros de visibilidade garantida e com o selo de prestígio são Elsevier, Springer e Wiley-Blackwell.
Quanto ao autor, na outra ponta da cadeia, pressionado por todos os lados, ele será o motor e o veículo de outras tantas distorções, espalhando ilícitos e espertezas e exigindo todo um aparato jurídico para combatê-las: fraudes e plágios, a precipitação das publicações (a corrida para chegar primeiro), o fatiamento da produção (conhecido como ‘técnica do salame’), o requentamento da produção (autoplágio) e os arranjos ou combinações das publicações.
As academias e os editores, por seu turno, estão atentos e se armando contra eles, como revela o escândalo mais recente que atingiu quatro importantes revistas brasileiras (Revista da AssociaçãoMédica Brasileira, Jornal Brasileiro de Pneumologia, Acta Ortopédica Brasileira e Clinics), acusadas de ‘empilhamento de citações’.
Essa situação vem sendo questionada. Harvard e outras universidades norte-americanas de primeira linha estão patrocinando o boicote à Elsevier. Cientistas de prestígio estão se insurgindo contra a visão do conhecimento como negócio e a produção acelerada. E não faltam iniciativas para criar filtros de qualidade, como o F 1000, que hoje conta com mais de 10 mil leitores-pareceristas, cobrindo inúmeras áreas do conhecimento. Em 2011, atingiu a cifra impressionante de 100 mil artigos comentados, e isso sem o automatismo dos algoritmos que ranqueiam sem ninguém ler.
Penso que a qualidade sai da quantidade, depende da escala e é uma questão de métrica. Porém, se a qualidade não for procurada, não será encontrada nunca, nem no miúdo ou no pequeno, nem no avolumado e nos grandes números. Já os remédios para as distorções criadas pelas métricas – que não têm culpa de nada – devem ser buscados fora delas, nas instâncias do julgamento e da interpretação, alma mater dos júris e dos comitês, servindo as bases de dados como indexador e parâmetro. Este é o desafio.
Ivan Domingues é coordenador do Núcleo de Estudos do Pensamento Contemporâneo e professor da Faculdade de Filosofia e Ciências Humanas da Universidade Federal de Minas Gerais
