Publicité

Quelles bonnes pratiques pour une utilisation responsable de la bibliométrie ?

  • rythme_changement_evaluation_recherche_elsevier.png

    rythme-changement-evaluation-recherche-elsevier
    Ces dernières années l’usage d’indicateurs quantitatifs sur la Recherche s’est multiplié, à des fins d’évaluation, en lien avec la stratégie de recherche. (Elsevier)
  • Ces dernières années l’usage d’indicateurs quantitatifs sur la Recherche s’est multiplié, à des fins d’évaluation, de veille, de pilotage, ou encore pour repérer les acteurs-clefs et les opportunités de partenariat, en lien avec la stratégie de recherche. Aimés et mal-aimés, leur usage est bien souvent critiqué. Cependant, plutôt que d’y renoncer, comment pouvons-nous les utiliser de manière raisonnée ?

    >>> Pour télécharger l'image au format .png, cliquez ici

    C’est d’ailleurs ce que recommandent les initiatives mondiales telles que le Leiden Manifesto, publié en 2015, la San Francisco Declaration on Research Assessment (DORA), Metric Tide, entre autres. Voici quelques bonnes pratiques pour appliquer ce principe de responsabilité. 

    Le contexte est important !

    On ne le répétera jamais assez: les indicateurs ont seulement un sens dans un contexte, donc les aspects qualitatif et quantitatif doivent impérativement aller de pair. La bibliométrie soutient l’appréciation qualitative des experts, mais ne doit en aucun cas la remplacer. Le choix des métriques joue aussi un rôle important :  ce ne seront pas les mêmes indicateurs selon la question posée, l’objet analysé (institution, département, laboratoire…). L’exemple type de la mauvaise utilisation des indicateurs est l’utilisation du Facteur d’Impact pour l’évaluation des chercheurs.

    Attention aux manipulations

    La question qui revient souvent est, “alors, quelle métrique est la meilleure ? Laquelle choisir ?” Il n’y a pas de métrique parfaite, tout dépend de ce qu’on veut analyser, et il est important de combiner plusieurs indicateurs pour pallier leurs biais respectifs. En outre, la fiabilité du socle de données est essentielle, c’est pourquoi, dans Scopus, tant d’attention est portée à l’équilibre de la couverture disciplinaire et géographique, ainsi qu’à la qualité des données. Il est aussi recommandé par le Leiden Manifesto de remettre en question les indicateurs et de les mettre à jour : un exemple concret est l’évolution récente de la Méthodologie du CiteScore dans Scopus.

    Transparence des critères et de la méthodologie d’analyse

    Le système boîte noire doit absolument être évité, les métriques et critères doivent être clairs pour les intéressés. Depuis plusieurs années nous travaillons en partenariat avec la communauté scientifique pour créer des indicateurs pertinents en toute transparence, depuis les Snowball metrics, le CiteScore (indicateur totalement ouvert), ou encore plus récemment, avec l’ouverture de la liste des références des publications Elsevier sur Crossref, ouvrant les métadonnées pour les initiatives telles que Open Citations (I4OC). Ces travaux ont permis l’élaboration du SciVal Metric Guidebook, guide de référence à disposition de tous.

    En tout état de cause, une métrique n’est pas mauvaise en soit, mais son utilisation peut être maladroite. D’où l’importance d’une utilisation responsable : utiliser ces métriques dans leur contexte, en combinant plusieurs indicateurs pour soutenir l’appréciation qualitative.  Sur chacun de ces aspects, il est essentiel d’être formé et guidé. Aussi nos consultants ont mis au point un Programme d'accompagnement et de formation.

    Pour aller plus loin : Elsevier est signataire de DORA et adopte les principes du Leiden Manifesto

    Contactez-nous pour en savoir plus :

    Anne-Catherine Rota
    Relations Institutionnelles, Research Intelligence Elsevier
    a.rota@elsevier.com

    Sarah Clichet Rodrigues, PhD
    Consultant
    s.rodrigues.1@elsevier.com

    els_logo_orange_rgb_0.png

    À lire sur Archimag
    Le chiffre du jour
    dont 290 numéros en accès libre, soit 20 000 pages d'articles... Archimag met à jour sa collection en ligne ! Le magazine de référence des professionnels du management de l'information complète la numérisation de ses anciens numéros jusqu'en décembre 2020 et permet désormais aux internautes de consulter gratuitement ceux couvrant la période de sa création, en juin 1985, jusqu'en décembre 2015.
    Publicité

    Veille 2020.PNG