Quelles bonnes pratiques pour une utilisation responsable de la bibliométrie ?

Le 01/06/2021 (Mis à jour le 25/01/2024 ) communiqué

rythme_changement_evaluation_recherche_elsevier.png

Ces dernières années l’usage d’indicateurs quantitatifs sur la Recherche s’est multiplié, à des fins d’évaluation, en lien avec la stratégie de recherche. (Elsevier)

Ces dernières années l’usage d’indicateurs quantitatifs sur la Recherche s’est multiplié, à des fins d’évaluation, de veille, de pilotage, ou encore pour repérer les acteurs-clefs et les opportunités de partenariat, en lien avec la stratégie de recherche. Aimés et mal-aimés, leur usage est bien souvent critiqué. Cependant, plutôt que d’y renoncer, comment pouvons-nous les utiliser de manière raisonnée ?

>>> Pour télécharger l'image au format .png, cliquez ici

C’est d’ailleurs ce que recommandent les initiatives mondiales telles que le Leiden Manifesto, publié en 2015, la San Francisco Declaration on Research Assessment (DORA), Metric Tide, entre autres. Voici quelques bonnes pratiques pour appliquer ce principe de responsabilité.

Le contexte est important !

On ne le répétera jamais assez: les indicateurs ont seulement un sens dans un contexte, donc les aspects qualitatif et quantitatif doivent impérativement aller de pair. La bibliométrie soutient l’appréciation qualitative des experts, mais ne doit en aucun cas la remplacer. Le choix des métriques joue aussi un rôle important : ce ne seront pas les mêmes indicateurs selon la question posée, l’objet analysé (institution, département, laboratoire…). L’exemple type de la mauvaise utilisation des indicateurs est l’utilisation du Facteur d’Impact pour l’évaluation des chercheurs.

Attention aux manipulations

La question qui revient souvent est, “alors, quelle métrique est la meilleure ? Laquelle choisir ?” Il n’y a pas de métrique parfaite, tout dépend de ce qu’on veut analyser, et il est important de combiner plusieurs indicateurs pour pallier leurs biais respectifs. En outre, la fiabilité du socle de données est essentielle, c’est pourquoi, dans Scopus, tant d’attention est portée à l’équilibre de la couverture disciplinaire et géographique, ainsi qu’à la qualité des données. Il est aussi recommandé par le Leiden Manifesto de remettre en question les indicateurs et de les mettre à jour : un exemple concret est l’évolution récente de la Méthodologie du CiteScore dans Scopus.

Transparence des critères et de la méthodologie d’analyse

Le système boîte noire doit absolument être évité, les métriques et critères doivent être clairs pour les intéressés. Depuis plusieurs années nous travaillons en partenariat avec la communauté scientifique pour créer des indicateurs pertinents en toute transparence, depuis les Snowball metrics, le CiteScore (indicateur totalement ouvert), ou encore plus récemment, avec l’ouverture de la liste des références des publications Elsevier sur Crossref, ouvrant les métadonnées pour les initiatives telles que Open Citations (I4OC). Ces travaux ont permis l’élaboration du SciVal Metric Guidebook, guide de référence à disposition de tous.

En tout état de cause, une métrique n’est pas mauvaise en soit, mais son utilisation peut être maladroite. D’où l’importance d’une utilisation responsable : utiliser ces métriques dans leur contexte, en combinant plusieurs indicateurs pour soutenir l’appréciation qualitative. Sur chacun de ces aspects, il est essentiel d’être formé et guidé. Aussi nos consultants ont mis au point un Programme d'accompagnement et de formation.