Les indicateurs de l’évaluation de la recherche : de l’impact factor à l’h-index
Limites et alternatives d'outils d'évaluation de la recherche scientifique;
Evaluer la qualité de la recherche scientifique est essentiel dans une société où l’innovation et les progrès techniques dépendent en partie de la recherche académique. Les indicateurs tels que l’impact factor, l’eigenfactor ou l’h-index, jouent un rôle utile dans ce processus. Mais ils ne peuvent être l’unique paramètre d’évaluation. Ils sont très souvent utilisés de manière erronée. Il est donc important de comprendre comment ils sont calculés et de connaître leurs limites et les alternatives.
Impact factor, h-index, kesako ?
Comment évaluer la recherche ? Comment juger de l’impact d’une publication scientifique ou des activités d’un individu ? La bibliométrie permet de calculer un chiffre quantifiant, en partie, l’impact d’une publication. Elle permet de s’affranchir des jugements humains qui peuvent parfois être subjectifs et biaisés.
Il existe un classement des revues scientifiques basé sur l’impact factor (IF) des journaux. Celui-ci détermine la réputation des journaux. Il est annuellement publié dans le Journal Citation Report (JCR) de Thomson Reuters et est accessible via le Web of Science pour ceux qui possèdent un compte sur ce site. L’IF est calculé à partir du rapport entre le nombre de citations reçues par un journal pendant deux ans et le nombre d’articles publiés dans ce journal pendant cette même période. Ceci revient à calculer le nombre moyen de citations par articles en deux ans. Les revues Nature et Science obtiennent les IF les plus élevés, généralement proches de 30.
L’eigenfactor est un indicateur similaire quantifiant l’influence des revues sur cinq ans. Cette alternative à l’IF est issue d’un projet académique de l’université de Washington. L’argument de cette initiative est que les citations dans certaines disciplines doivent être étudiées sur un plus long terme.
Certains spécialistes reprochent à ces indicateurs l’étroitesse des paramètres jugés significatifs de l’importance d’une revue. Selon le rapport ‘Citations statistics’ de 2008,
« Juger de l’importance d’un journal en utilisant uniquement l’impact factor est équivalent à évaluer la santé d’une personne en ne connaissant que son poids. »
En effet, ces indicateurs impliquent que l’excellence d’un chercheur puisse se calculer sur la seule base du nombre de publications et des citations. Ceci est bien entendu très réducteur et discutable (voir l’article d’Antoine Blanchard, prestataire pour le monde de la recherche autour du dialogue science-société, « Qu’est ce qu’un bon chercheur ? »).
De plus, s’il l’on considère que le nombre de citations est un paramètre acceptable, il existe encore de nombreux biais comme les citations négatives (lorsqu’un auteur a publié un résultat qui s’avère erroné au vue d’autres études) ou les citations ‘fonctionnelles’ qui permettent, en citant un article précédent, de s’affranchir d’une description de protocole ou des résultats précédents. Lien avec le web sémantique et des indicateurs classifiant les citations selon leur genre : mention, rappel, citation négative…
Aujourd’hui, les indicateurs bibliométriques sont parfois utilisés à tord pour évaluer un individu, un laboratoire, une discipline afin de guider les politiques de pilotage de la recherche. Le nombre de citations est en effet connu pour être un indicateur de l’influence d’un auteur. L’indice de Hirsch, ou h-index, permet donc d’évaluer une partie de l'activité de recherche d’un individu, c'est une mesure souvent prise en compte par des organismes de financement. Il quantifie le nombre de publications d’un individu ainsi que le niveau de citations de ses publications.
D’après Hirsh, « Un scientifique a un indice h si h de [ses] Np articles ont chacun au moins h citations, et les autres (Np - h) articles ont au plus h citations chacun » (extrait de Wikipédia).
On constate la complexité de la mise en œuvre de cette définition. L’onglet ‘My citations’ de Google scholar permet le calcul rapide de son nombre de citations et de son h-index (voir par exemple cette page publique). Plusieurs bases de données (Scopus, Web of Science…) proposent un outil de calcul de l’h-index mais les résultats obtenus sont parfois différents car les bases de données sont parfois partielles. Ce dernier point fait partie des critiques soulevées à l’égard de cet indicateur. En effet, l’h-index comptabilise aussi les publications de collaborations dans lesquelles la liste des auteurs peut atteindre une centaine d’individus. Il défavorise les jeunes scientifiques dont le nombre total de publications sera forcément limité. A l’instar de l’IF, le h-index ne prend pas en compte le ‘type’ des citations. Selon Hirsh, un physique d’h-index compris entre 10 et 20 peut obtenir un poste de cherchant dans une université renommée, 18 pour les postes de professeurs et au-moins 45 pour pouvoir être admis à l’académie des sciences américaines.
Evaluation de la recherche scientifique (c) Michael Nivelet - fotolia.com
D’autres indicateurs existent. Par exemple, le i10-index proposé par Google, ne comptabilise que les publications ayant été citées au moins 10 fois. Le w-index permet de façon similaire de ‘classer’ les scientifiques les plus influents en comptabilisant seulement leurs publications majeures. Notons que grâce à ResearcherID, Google scholar et d’autres sites peuvent aujourd’hui lever l’ambiguïté entre les différents ‘noms’ correspondant à un même auteur, par exemple ‘de Vries’ et ‘Devries’. Il existe aussi une alternative appelée SCImago proposée par Scopus, le gestionnaire de bases de données d’Elsevier. Ce dernier serait similaire au PageRank de Google.
Publish or perish : le cercle vicieux des indicateurs numériques
Les indicateurs, et l’importance qu’on leur donne, influencent le rapport des chercheurs vis-à-vis de la publication. La diffusion des résultats scientifiques avait pour but initial de communiquer de nouvelles informations, données, théories afin de créer un dialogue international au travers duquel chaque auteur participe à l’avancée de la recherche. La publication d’un article présentant des résultats de qualité est aussi la trace permanente de la valeur des travaux conduits par les auteurs. Il est normal que cela entre en compte dans l’évaluation des activités de recherche.
Mais l’utilisation systématique de ces indicateurs implique une série d’effets pervers dont l’uniformisation des pratiques scientifiques, la manipulation des auteurs, la multiplication des publications et le tronçonnement des résultats. La quantification numérique des publications pour juger de la qualité de la recherche a initié le phénomène que l’on nomme en anglais « publish ou perish » littéralement « publie ou péris ». Notons par ailleurs que le très controversé « Classement de Shanghai » juge de la qualité des universités notamment en comptabilisant le nombre d’articles publiés dans les revues Nature et Science.
L’autocitation est une pratique parfois justifiée lorsqu’elle permet de présenter la continuité d’une étude. L’auteur s’affranchit ainsi de la répétition d’un protocole expérimental déjà présenté ou des détails d’un résultat d’une publication précédente. Néanmoins certains auteurs font une utilisation abusive de l’autocitation afin de gonfler artificiellement l’IF des revues dans lesquelles ils publient ainsi que leur h-index. Ces derniers auront aussi tendance à favoriser la citation de leurs articles ou ceux de leurs collègues au détriment d’un article l’ayant précédé. La publication d’un article en début d’année serait aussi un facteur influençant le nombre de citations répertoriées. Les articles de synthèse sont aussi typiquement le genre d’articles trois fois plus cités que les autres et donc favorisant l’h-index et l’IF contrairement à des articles de recherche de fond dont le processus de publication est très long.
Une grande partie du problème réside aussi dans l’irrespect de la notion d’échelle des indicateurs. En effet, chaque indicateur est établi afin de quantifier l’impact d’un article, d’un journal, d’un individu ou d’un laboratoire, un aspect qui devrait être mieux respecté. En effet, il existe trois niveaux d’analyse de la recherche. Le niveau d’analyse dit « micro » s’applique à la production des individus. Le niveau « meso » s’applique à échelonner la production d’institutions, groupes de recherche ou laboratoires. Enfin le niveau « macro » s’applique à l’évaluation scientifique à l’échelle d’un état, d’une ville ou d’une province. Chaque indicateur bibliométrique a une place qui lui est propre dans ce système d’échelle. Ils permettent ainsi l’analyse comparative de pays ayant des politiques de recherche différentes ou de laboratoires de recherche mais ne peuvent permettre la comparaison d’entité de recherche de différentes disciplines ou la production de laboratoires sur des continents différents. En effet, des biais déforment l’évaluation bibliométrique, notamment suivant les différentes disciplines scientifiquesou les moyens alloués à la recherche.
Concernant les sciences sociales, il faut noter que les méthodes bibliographiques doivent être considérées avec précaution. Plusieurs particularités concernant les méthodes de diffusion des résultats scientifiques dans ces domaines sont en lien avec les limites de la bibliométrie classique utilisées en sciences « dures ». Nous pouvons par exemple citer des catégories de documents non-répertoriés dans les bases de calcul ainsi que l’usage de revues totalement propres aux SHS. Leur grande diversité et le caractère parfois local et culturel impliquent que les SHS nécessitent probablement une redéfinition des indicateurs d’évaluation.
Enfin, le manque de transparence des calculateurs d’impact factor et d’h-index pose aussi problème. De nombreux individus les accusent d’être manipulés ou falsifiés. Les demandes d’accès aux données sources sont toujours soit rejetées soit satisfaites par l’envoi de données incomplètes. Le mystère sur le calcul des indicateurs est donc volontairement et jalousement gardé. De plus, l’ensemble du processus classique de publications dans les revues à fort impact provoque un ralentissement de la diffusion de l’information, le délai de publication d’un article dans les revues Nature et Science étant d’au minimum douze mois.
Au final, les indicateurs bibliométriques ont d’importants défauts de transparence. Les paramètres qu’ils quantifient sont restreints et ne sont significatifs que de certains aspects du travail scientifique. Ils ralentissent et détournent le but premier de la publication scientifique, à savoir la diffusion des connaissances. Pour autant, il ne faut pas les rejeter totalement. S’ils sont compris et connus, ils permettent une première évaluation de l’impact d’un journal ou du travail d’un individu. Cette première considération doit être utilisée avec recul et accompagnée d’autres paramètres comme l’évaluation par les pairs. Dans un prochain article, nous reviendrons sur les premiers pas et balbutiements de la bibliométrie. Nous verrons alors qu’il existe une batterie d’indicateurs extrêmement complexes basés sur les métadonnées de publication (auteurs, revues, institutions d’appartenance…). Enfin, le développement du web sémantique couplé à l’accès libre aux textes des publications en open access permettra, dans un futur proche, l’émergence d’indicateurs basés sur une étude plus fine des citations. Nous pouvons imaginer dans un futur proche que des critères qui ne seraient pas seulement de nature quantitative mais aussi qualitative grâce a des outils d’analyses textuelles qui apporteraient un regard plus global sur la production scientifique.
Nous remercions Iana Atanassova pour ses suggestion de liens.
En savoir plus :
Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, 2011,http://www.academie-sciences.fr/activite/rapport/avis170111_synthese.pdf Les nouveaux dangers de la bibliométrie, http://ens-sup.blogspot.fr/2011/01/les-nouveaux-dangers-de-la-bibliometrie.html Bibliologie, bibliométrie et bibliographie http://www.docinfos.fr/extrait-these/391-bibliologie-bibliometrie-et-bibliographie
