Edition scientifique : quand la bibliométrie oriente les chercheurs

Souvent accusés d'inciter les chercheurs à faire du chiffre, sans se soucier de la qualité, les indicateurs bibliométriques leur apportent aussi une mine d'informations sur les pôles d'excellence et les thématiques émergentes. Notamment au CHRU de Lille et à l'Inist (CNRS).

Il est conseillé d'écouter ce qu'ont à dire les uns et les autres avant de prendre une décision. Il est aussi préférable de consulter des données chiffrées, neutres, afin de mûrir son choix. La bibliométrie (analyse statistique des publications) offre pour cela de précieuses informations aux chercheurs et décideurs des hôpitaux, selon Patrick Devos, statisticien à la délégation à la recherche clinique et à l'innovation du centre hospitalier régional universitaire (CHRU) de Lille. « Les outils de bibliométrie nous permettent de prendre les décisions non plus seulement à partir de ce que nous disent les gens, mais aussi en nous appuyant sur des faits observés et des données objectives », explique-t-il, bien conscient des débats en cours sur les dérives possibles. Des dérives qui ne sont pas une fatalité pour ce spécialiste, qui souligne la nécessité de faire systématiquement valider les données collectées par les chercheurs eux-mêmes.

Sigaps avec PubMed

Patrick Devos est l'un des principaux porteurs du projet de logiciel de bibliométrie Sigaps (pour « système d’interrogation, de gestion et d’analyse des publications scientifiques »), initié au CHRU de Lille en 2002 afin de faciliter le recensement et l’analyse des publications scientifiques par les établissements ayant des activités de recherche médicale. Le principe ? « Le logiciel interroge PubMed sur la base des noms et des initiales de tous les médecins d'un établissement et il rapatrie automatiquement l'intégralité des notices comme le ferait un médecin qui se connecte à PubMed », précise Patrick Devos. « Partant du principe que nous avons presque tous des homonymes, chaque chercheur valide ensuite les publications dont il est bel et bien l'auteur ou dans lesquels il est cité. » Ce travail de validation par les experts, qui serait très chronophage et difficile à réaliser par les professionnels de l'infodoc, reste indispensable pour s'assurer que les données sélectionnées sont toutes pertinentes, selon Patrick Devos.

Le logiciel Sigaps, évalué en 2003 par 8 CHU, a été mis en exploitation au CHRU de Lille en 2004, puis dans dix CHU supplémentaires à partir de 2005. Fort des premiers succès enregistrés, le CHRU de Lille s'est ensuite vu confier par le ministère de la Santé, en 2006, une mission consistant à « assurer la diffusion et l’utilisation du logiciel Sigaps au sein de l’ensemble des établissements hospitalo-universitaires et à permettre la définition d’un indicateur convenable du niveau de la production scientifique de ces établissements ».

Avec Sigaps, chaque établissement hospitalier est désormais en mesure de constituer des rapports sur l'évolution des travaux de recherche menés en interne. Et ce, « d'un point de vue aussi bien quantitatif que qualitatif », rassure Patrick Devos. « Chaque publication est classée sur une échelle à 6 niveaux – a, b, c, d, e, f – en fonction du facteur d'impact de la revue, pondéré par discipline. » Pour les dirigeants du CHRU de Lille, ces données « permettent d'avoir une vision très fine de ce qu’il se fait dans l'établissement » : l'évolution du nombre de publications dans chacun des quinze pôles - ceux qui sont en forte progression, ceux qui stagnent, voire connaissent des difficultés... - les équipes d'excellence, les principales collaborations à l'international...

Un autre bénéfice réside dans 

la possibilité de « cartographier les thèmes de recherche et de cerner les thèmes qui montent et les sites pilotes », poursuit le même spécialiste. « La bibliographie va nous permettre, par exemple, d'identifier rapidement les experts français publiant des recherches de très haut niveau sur les AVC ».

Sampra avec Web of Science

Mais Sigaps n'est pas figé et devrait être prochainement complété par l'arrivée du logiciel Sampra, en cours de développement par plusieurs CHU, dont le CHRU de Lille. « L'idée est de reprendre toutes les fonctionnalités de Sigaps et de les appliquer sur un nouveau périmètre », souligne Patrick Devos. « Sampra ne recherchera plus dans PubMed, mais dans le Web of Science, une base qui a l'avantage de couvrir tous les champs disciplinaires et de nous proposer des indicateurs absents de PubMed, tel le nombre de citations. » Créée en 1961, et rachetée par Thomson Reuters en 1992, le Web of Science (ex-ISI, pour « Institute for Scientific Information ») est considérée comme l'une des principales plateformes de recherche bibliographique, aux côtés de la base de données Scopus de l'éditeur scientifique Elsevier.

Avec Sampra, qui devrait être déployé sur plusieurs sites pilotes courant octobre, le CHRU de Lille entend aussi, comme avec Sigaps, proposer une solution qui permettra d'éditer en quelques clics des tableaux d'aide à la décision – une fois les données du corpus bibliographique validées par les chercheurs. De quoi, notamment, donner du grain à moudre aux décideurs lorsqu'ils doivent choisir entre un ou plusieurs candidats à un « postdoc » dans l'un des laboratoires de recherche ou bien encore décider d'allouer des fonds à telle ou telle recherche universitaire...

Recherches en terminologie

De façon plus originale, une petite équipe de recherche de l'Inist (Institut de l'information scientifique et technique, CNRS) s'appuie quant à elle actuellement sur un corpus de données Scopus (Elsevier) pour analyser le vocabulaire utilisé pour décrire les recherches. « Nous n'effectuons pas de mesures bibliométriques en tant que telles, mais nous nous appuyons sur toutes ces données pour des études sur le langage, l'idée étant par exemple d'identifier les termes spécifiques et ceux qui relèvent d'un niveau de langage plus générique ou transdisciplinaire », explique la chercheuse Ivana Roche, responsable du service recherche et développement de l'Inist. Dans un descriptif du projet Ubik, s'inscrivant dans le cadre du programme « Elsevier Bibliometric Research Program » et mené conjointement avec l’Université de Montréal et l’Austrian Institute of Technology, l'Inist précise que « l’élaboration de terminologies spécifiques à des domaines donnés a depuis longtemps été utile, autant à la traduction (pour assister le travail des traducteurs) qu’à l’analyse documentaire (spécifiquement, pour développer des vocabulaires d’indexation, des référentiels terminologiques) ».

Dans le passé, l'Inist a déjà participé à d'autres projets de recherche en s'appuyant sur des techniques bibliométriques. Dans le cadre de Prom-Tech (2005-2007), mené conjointement avec l'ARC System Research (Vienne, Autriche) et le Fraunhofer Institut für Systemtechnik und Innovationsforschung (Karlsruhe, Allemagne), les têtes pensantes de l'Inist ont ainsi, par exemple, utilisé des outils de bibliométrie pour identifier « des technologies émergentes et prometteuses ayant des liens forts avec le domaine de la physique », repérer les « communautés scientifiques développant ces technologies » et faciliter « la sélection de thématiques [...] soutenues dans les programmes de R&D du septième programme-cadre de la commission européenne ».

Plus récemment, Ivana Roche précise que les outils de traitement automatique de la langue, combinés à un corpus bibliographique et à des outils de bibliométrie, ont aidé les chercheurs à développer des solutions permettant d'identifier et d'analyser les termes relevant de la recherche fondamentale et ceux qui ont trait à la recherche appliquée. Et ainsi à repérer plus facilement les transferts en cours depuis la recherche fondamentale vers la recherche appliquée. Preuve que bien au-delà de l'évaluation de l'impact des publications, la bibliométrie est désormais aussi à l'origine de découvertes et devrait de plus en plus intéresser les chercheurs de tous horizons. Un signe qui ne trompe pas : les formations à la bibliométrie destinées aux chercheurs de tous statuts se multiplient, tant à l'université Paris Diderot (Paris 7) qu'à l'université de Bretagne occidentale ou à l'Inserm.