Depuis une trentaine d’années, l’évaluation quantitative de la recherche agite le monde scientifique : établissements, laboratoires, revues, mais aussi chercheurs sont évalués, mesurés et classés par le moyen d’indicateurs bibliométriques. Yves Gingras porte un regard d’historien et de sociologue sur les controverses actuelles autour de l’évaluation de la production scientifique.

La Vie des idées : Dans Les dérives de l’évaluation de la recherche, vous montrez comment les outils bibliométriques, apparus dans la première moitié du vingtième siècle, n’ont été mis au service de l’évaluation de la recherche qu’à partir des années 1980. Quels en étaient les usages auparavant, et comment expliquer que leur utilisation à des fins d’évaluation ne soit apparue qu’au cours des trente dernières années ?

Yves Gingras : Comme je le montre au Chapitre 1 de l’ouvrage, l’analyse bibliométrique, c’est-à-dire l’étude de l’évolution du nombre de publications et l’analyse des références (citations) qu’elles contiennent, émerge dans un contexte de gestion des collections des bibliothèques. Par exemple, l’analyse de la distribution de l’âge des références permet de savoir s’il faut rendre disponibles facilement les publications de plus de 10 ans ou si l’on peut les élaguer ou les mettre en entrepôt. Avant les années 1960, ces études se font à la main sur des échantillons limités de revues. Quant à l’index des citations, le fameux « science citation index » inventé par Eugene Garfield, spécialiste en sciences de l’information (pas en évaluation !) au milieu des années 1950, sa fonction première était de faciliter la recherche bibliographique. C’est d’ailleurs encore un outil essentiel de ce point de vue : au-delà de l’égotisme généré par la manie de « compter ses citations », il est en effet utile de voir qui cite vos papiers car cela vous renseigne sur les personnes qui travaillent sur le même sujet que vous et qui publient dans des revues que vous ne consultez pas nécessairement. Mais aujourd’hui, avec internet, cette fonction est souvent assurée par les revues elles-mêmes qui vous envoient – sans que vous le demandiez – des courriels indiquant : « On a cité un de vos papiers ! ». Il y a quelques jours, par exemple, j’ai reçu un courriel de Elsevier dont l’objet était intitulé « Dr. Y. Gingras, your work has been cited ». Cela m’a ainsi permis de voir un article que je n’aurais probablement pas consulté, car je n’aime pas faire de recherche bibliographique ! Une fois informatisées, les données bibliométriques peuvent servir à d’autres fonctions car elles sont faciles à agréger. Ainsi, en 1975 la compagnie de Garfield (L’Institute for Scientific Information) commence à publier le fameux « facteur d’impact » des revues qui permet aux bibliothèques de savoir lesquelles sont les plus citées et donc probablement les plus lues et utilisées. Cet indicateur caractérise la revue et son usage et non pas les articles eux-mêmes, d’où la dérive absurde d’utiliser le facteur d’impact d’une revue pour mesurer la « qualité » d’un chercheur. À ce compte, il serait plus cohérent d’utiliser les citations réelles obtenues par ces articles. Car il faut savoir que même dans une revue comme Nature, 20 % des publications accumulent 80 % des citations. C’est dire que même un article dans Nature n’est pas nécessairement cité. Car toutes les distributions en bibliométrie sont des distributions de type Pareto dont la loi de Lotka est un cas particulier…./…