Archives par étiquette : bibliométrie

Sur “Les dérives de la bibliométrie”

Spécialiste de sociologie des sciences, Yves Gingras propose dans son dernier ouvrage une réflexion sur l’évaluation de la recherche. Publié aux éditions Raisons d’Agir, l’ouvrage se présente comme une  nouvelle contribution critique aux débats très contemporains sur le sujet. Après d’autres, l’auteur se propose de décortiquer les indicateurs et les classements, et d’en montrer l’inconsistance, voire la nocivité potentielle. On se tromperait pourtant si on ne voyait dans ce livre qu’un énième pamphlet contre le gouvernement de la science contemporaine. Car l’ouvrage propose en fait bien plus qu’une critique – par ailleurs fine et appuyée sur plusieurs décennies d’étude du fonctionnement des sciences. On peut en effet lire ce livre sous au moins trois angles différents : la critique de l’évaluation bibliométrique actuelle, le plaidoyer en faveur d’une réappropriation de ces techniques par les sociologues des sciences, et l’invitation à une bibliométrie réflexive.

 

http://sciences.blogs.liberation.fr/.a/6a00e5500b4a64883301a51156784e970c-300wi

De quoi les citations sont elles le nombre ?

Le premier temps du livre, qui lui donne son titre, propose  une discussion critique des formes d’évaluation quantifiées de la recherche. Gingras rappelle l’histoire des techniques bibliométriques, nées entre science (une volonté de proposer un outil de repérage bibliographique pour les chercheurs d’un même domaine) et politique des sciences (mesurer la « qualité scientifique » d’un auteur). Reprenant les travaux de P. Wouters sur la naissance de la scientométrie, l’auteur montre que les fondateurs du Science Citation Index avaient d’abord pour objectif de proposer un outil de connaissance bibliographique à destination de la communauté scientifique.

Las, leur création leur a échappé et la National Science Foundation, qui financé les premières recherches sur l’outil bibliométrique, développe sur cette base une série d’indicateurs destinés à créer une évaluation scientifique de la science dans les années 1970. S’il ne peut raconter toute l’histoire, Gingras en évoque bien ses principales figures (Derek de Solla Price et sa tentative de créer une « science de la science », parfois avec des visées très appliquées), tout comme il montre l’explosion de la bibliométrie dans la politique des sciences contemporaines.

L’ouvrage revient alors sur les différents index et autres facteurs souvent évoqués pour mesurer la productivité des chercheurs. De manière particulièrement précise, mais toujours stimulante et lisible pour le non-spécialiste, l’auteur évoque les limites fortes de ces outils. Les critiques sont connues. Censé mesurer l’excellence des chercheurs, le h-index saisit en fait leur capacité à écrire de nombreux d’articles modérément cités (un auteur qui publie 7 articles cités 7 fois a un h-index de 7, quand un autre qui publie deux articles cités 100 fois chacun a un h-index de 2). Les classements internationaux des universités écrasent les différences de fonctionnement national et ne mesurent rien in fine. Les champs ont des pratiques de citations particulièrement différentes (qui varient dans le temps), et même à l’intérieur d’un champ, on trouve des variations tellement fortes que l’évaluation s’appuie sur des bases bien instables. De toute façon, le facteur d’impact des revues peut être manipulé via l’autocitation, ou par des revues complices afin d’être indument augmenté (les “cartels de citation”). Enfin, critique classique mais essentielle : ces techniques ne capturent pas la valence d’une citation, et une série de citations négatives (ou dans des revues invisibles, mineures, proches de l’auteur) comptent autant que celles dans une revue centrale.

Faut-il brûler le Web of Science ?

Là où l’ouvrage de Gingras se démarque des discours classiques sur la bibliométrie, c’est qu’il propose non pas de jeter mais de s’en réapproprier les données et les outils,  actuellement monopolisés par les administrateurs de la recherche. Car si elle est une bien piètre mesure de la qualité individuelle des chercheurs, elle peut devenir un outil particulièrement efficace pour la sociologie des sciences. L’auteur nous emmène alors dans un voyage à travers différents travaux qui utilisent la bibliométrie pour revisiter l’histoire des sciences. Dans une version résumée de son article sur la découverte de l’ADN, il montre ainsi, données de citations en main, que la découverte de la double hélice par Watson et Creek a eu une reconnaissance bien plus rapide que ce qu’en disaient les historiens.

Loin de tomber dans la fascination pour son objet critiqué quelques pages plus tôt, l’auteur explique pourquoi la sociologie des sciences peut faire un meilleur usage des données de citation que les administrateurs de sciences. D’abord, la question de la valeur de la citation — problème central de ces indicateurs, qui enregistre indifféremment louanges et critiques — importe peu quand on analyse le destin de controverses scientifiques. Qu’importe en effet que la citation soit positive ou négative, pourvu qu’on voit une discussion émerger. De la même manière, le chercheur qui étudie un champ donné peut contrôler les variations de citations, et ainsi détecter les renvois d’ascenseur, entre chercheurs, entre revues. Finalement, la connaissance  fine du champ permet d’interpréter correctement les données de citation et de les utiliser positivement.

Invitation à la bibliométrie réflexive

Loin de se cantonner à une critique de la bibliométrie, Gingras propose de l’utiliser de manière abondante, mais efficace. La bibliographie de l’ouvrage est, à elle seule, un outil unique pour tout chercheur qui voudrait travailler sur ou avec ces questions de mesure quantifiée de la science. Et à plusieurs reprises, l’expérience de l’auteur, assurément l’un des chercheurs les plus prolifique dans ce domaine (voir l’entretien publié récemment sur le carnet Zilsel), lui permet d’émettre des propositions innovantes. À la fin du livre, l’auteur propose ainsi de réfléchir à ce que serait un indicateur robuste de la productivité de la recherche. Plutôt que de vouer aux gémonies toute mesure quantifiée, il propose une série de critères censés assurer la fiabilité et le bon usage des index ainsi créés. La proposition peut sembler iconoclaste, mais elle a le mérite de poser les bases d’une réflexion sur ce que peut être une aide à l’évaluation par la quantification.

L’ouvrage est donc un tour de force, à la fois dense et plaisant à lire, utile aux spécialistes mais pédagogue pour les néophytes. On pourra noter qu’il est finalement moins question de l’évaluation de la recherche en général que de son versant purement quantitatif. Et que ce faisant, le titre est en décalage avec le contenu, d’autant plus que la tonalité est bien moins critique qu’il ne le suggère. Si on ne saurait en faire le reproche à l’auteur, on peut prolonger la discussion et s’interroger : faut-il recourir à des indicateurs quantitatifs pour juger la science actuelle, ou faut-il tout simplement laisser ces techniques aux sociologues des sciences ? Gingras semble plaider pour des méthodes mixtes qui allient analyse de citation et appréciation substantive.

Mais ce faisant, on occulte les différentes possibilités qui se passent volontiers de la quantification, ou lui font un véritable pied de nez. C’est le cas de l’idée, de plus en plus fréquemment évoquée, de ne juger que sur un nombre très limité de travaux… car on limiterait justement le droit d’un chercheur à publier (par période, par thème). Manière radicale de lutter contre la prolifération de textes que plus personne ne peut lire de toute façon, la proposition a le mérite de poser la clairement la question : ne vaut-il pas mieux écrire un excellent texte qui donne à penser tous les trois ans que publier une succession d’articles inaboutis ? À l’heure où se multiplient les injonctions à publier plus, il peut être salutaire de se poser cette question, quoiqu’elle ait déjà été tranchée depuis longtemps. La scientométrie tend en effet à montrer que les travaux qui restent sont, sauf exceptions, ceux qui ont mis longtemps à être produits.

étienne

Chercheur CNRS (SAGE-Université de Strasbourg). Données numériques, sociologie politique, épistémologie des sciences sociales.

More Posts