Originalmente voltados a responder questões sobre a dinâmica da comunicação científica em campos como a ciência da informação e a biblioteconomia, os estudos de cientometria e bibliometria têm gerado indicadores para a avaliação do desempenho de pesquisadores, periódicos e instituições mundo afora.

Apesar de reconhecer a utilidade desses indicadores e da avaliação, estudiosos do campo – e a comunidade científica de maneira geral – têm criticado recorrentemente o peso excessivo que as agências brasileiras de fomento à pesquisa dão a esses fatores puramente quantitativos, desconsiderando o papel social do pesquisador.

Este foi um dos temas discutidos no seminário ‘Citações: usos e limitações’, realizado na última quinta-feira (23/8), na Casa da Ciência (RJ). Na ocasião, a CH On-line conversou com a pesquisadora Jacqueline Leta, da Universidade Federal do Rio de Janeiro (UFRJ) e organizadora do evento. Leta faz coro com os críticos: “Esses indicadores são importantes, mas seu uso tem que ser mais adequado e realizado com muita cautela, diferente do que tem sido feito”.

Especialista em cientometria, a pesquisadora integra um grupo ativo de estudiosos que se dedicam à área. Esse grupo vem se consolidando por meio de encontros que envolvem um número crescente de participantes. Hoje (29/8) é o último dia do 3º Encontro Nacional de Bibliometria e Cientometria (EBCC), em Gramado (RS), no qual Leta também está envolvida.

Nesta entrevista, além de analisar o uso dos indicadores cientométricos nas avaliações de pesquisadores, ela fala sobre outras aplicações dos estudos no campo, destacando duas novas tendências: os mapas da ciência e a webometria.

CH On-line: Qual a diferença entre bibliometria e cientometria?
Jacqueline Leta: Há algum tempo assumi que bibliometria pode ser entendida como sinônimo de cientometria. Há uma grande sobreposição do objeto de estudo e da metodologia que se usa em ambos, de modo que está cada vez mais difícil delimitar esses campos. Hoje, o termo bibliometria já não é mais tão usual entre os especialistas internacionais, enquanto outro apareceu, a informetria, um conceito mais amplo e que trata da informação como um todo, incluindo a comunicação científica. Esses três campos de estudos pretendem gerar medidas para investigar a ciência a partir de seus produtos e insumos.

Quais são esses produtos e que tipo de índice é gerado a partir deles?
Atualmente, os artigos científicos são os produtos mais utilizados para avaliar o desempenho da ciência e dos cientistas, especialmente nas áreas mais experimentais. No caso dos pesquisadores brasileiros, sobretudo dessas áreas, toda a sua produção acadêmica é quantificada e classificada em categorias pelo sistema Qualis da Capes, que toma como parâmetro o fator de impacto das revistas nas quais seus artigos são publicados. O fator de impacto é a média do número de citações por número de artigos de um periódico. Há, portanto, em muitas áreas, pressão para os cientistas publicarem em periódicos com alto fator de impacto. Outros parâmetros também são utilizados para avaliar o desempenho da ciência, como os investimentos feitos na área que dão base para a produção científica. Outro exemplo de input é a quantidade de doutores formados anualmente ou de pessoal qualificado envolvido na atividade.

Há muitas críticas às avaliações feitas com base nesses indicadores. Como você vê a questão?
A avaliação é necessária e acho que ninguém vai negar isso. O problema é como avaliar. Por exemplo, eu posso avaliar o desempenho dos meus alunos exclusivamente pela nota da prova, mas também posso avaliá-los pela participação, frequência e atitudes durante o semestre. Na minha percepção, esta seria uma avaliação mais equilibrada. Mas o modelo de avaliação imposto pelas agências de fomento à pesquisa, principalmente pela Capes, que avalia a pós-graduação – responsável por grande parte da ciência brasileira –, dá peso excessivo a poucos fatores objetivos e desconsidera o papel social do pesquisador. Em muitos casos, para um docente vinculado à pós, conta mais o número de publicações que ele tem do que as atividades de ensino ou extensão que desenvolve. Quando assinei meu contrato com a universidade, estava escrito que seus fins são pesquisa, ensino e extensão. Na pós-graduação, porém, está havendo uma distorção: o que está contando é, basicamente, a pesquisa. Esses indicadores e levantamentos são importantes, mas seu uso tem que ser mais adequado e realizado com muita cautela, diferente do que tem sido feito.

O uso que se faz do fator de impacto dos periódicos para avaliar pesquisadores e sua produção buscam adicionar o aspecto qualitativo ao processo avaliativo. Como você vê a questão?
Revistas com um fator de impacto alto tendem a ser melhores, mas não significa que tudo o que elas publicam é da mesma qualidade. A gente sabe, e a literatura mostra, que existem outros interesses envolvidos na publicação de um artigo, sejam eles políticos, econômicos ou geográficos. Nesse sentido, ter uma avaliação pautada fortemente nesse critério é complicado. No momento em que uma agência determina que periódicos com maior fator de impacto merecem melhor classificação e que, portanto, aqueles que publicam nesses periódicos são mais bem avaliados é porque a agência de fato acredita que ele é um indicador de qualidade. O mundo que tem mais tradição na ciência já superou essa discussão: citação não é igual à qualidade e fator de impacto também não. É uma variável importante de estar nas avaliações, mas não é sinônimo de qualidade. Aqui a gente está reforçando isso.

Existem propostas concretas de como tornar as avaliações mais justas e equilibradas?
Comissões de algumas áreas da Capes já estão buscando algumas alternativas. Na química, por exemplo, revistas brasileiras – veículos importantes para a difusão do conhecimento da área no Brasil – ganharam classificação maior no sistema Qualis mesmo não tendo fator de impacto equivalente.

Além de serem utilizados na avaliação da produtividade científica, que outras aplicações são dadas aos estudos cientométricos?
Originalmente, os indicadores e análises bibliométricos surgiram para responder questões relacionadas à dinâmica da comunicação científica em campos como a ciência da informação e a biblioteconomia. Esses estudos sempre existiram, mas a organização dos dados em bases acessíveis e o interesse estratégico pelos indicadores favoreceram o seu uso por pesquisadores de outros campos e também por gestores. Com relação à dinâmica da comunicação científica, alguns exemplos de estudos possíveis são as análises de envelhecimento ou obsolescência de um campo, tema ou periódico, as análises de redes de colaboração a partir dos estudos de coautoria, nas quais é possível identificar e caracterizar relações entre países, instituições e/ou pesquisadores e também as análises de coocorrência de palavras e termos em periódicos ou áreas, que permitem identificar temas, suas relações e indicar o surgimento de novos campos de estudo, assim como a extinção de outros.

Quais são as novas tendências na área?
Uma temática que está muito forte fora do Brasil são os estudos de mapa da ciência. No meu entendimento, é uma forma de se entender a dinâmica da ciência que vai além dos números. Olha-se para as relações entre as instituições, entre indivíduos, temas e áreas a partir dos autores que aparecem nas colaborações, como os que publicam em conjunto, e autores que aparecem citados também conjuntamente. É possível fazer mapas em diferentes períodos e acompanhar como as relações se modificam ao longo do tempo. Aqui no Brasil ainda estamos no início dessa discussão. Existem ainda os estudos de webometria, que são as métricas na internet e que estão dentro do grande campo da informetria. A principal unidade de análise nesses estudos são os links, que seriam equivalentes às citações nos estudos cientométricos. A partir deles, é possível fazer uma série de análises sobre as relações que se estabelecem no mundo virtual. Também há poucos grupos fazendo esse tipo de estudo no Brasil.

Hoje você participou de um encontro na área e na semana que vem estará em outro. Você diria que a cientometria está ganhando mais espaço no Brasil como campo de estudos?
Sim, graças ao esforço de um grupo ainda pequeno, mas que tem demonstrado grande coesão e sintonia nesse desafio. O 1º EBBC, que foi um primeiro momento de junção desse grupo, contou com pouco mais de 60 pessoas. Já nesta 3ª edição, o evento deve contar com 200 participantes, um grande sucesso de público, além de um extraordinário aumento na qualidade dos trabalhos submetidos. Esse panorama é um grande indicativo de que o evento está se consolidando e se tornando um fórum importante para discutir os diferentes aspectos que o campo se dedica a investigar, o que contribui para formar massa crítica, com qualidade.