Se réapproprier la bibliométrie (II) : Cite me maybe ?

Date 2 décembre 2013

Le blog reprend après quelques mois de pause, tout en continuant à travailler les questions de bibliométrie abordées précédemment. Il s’agit toujours, à partir d’une étude en cours, de questionner ce qu’une bonne connaissance des données bibliométrique peut être et peut permettre de faire, en tant qu’outil sociologique.

ERRATUM : Suite à une erreur dans les lignes de code, le graph de réseau avait des points de taille erronée (corrigé le 7 décembre 2013, merci à LW pour sa remarque).

Sous les dehors de l’objectivité des chiffres, le recours croissant à la bibliométrie comme indicateur de productivité scientifique pose plus de problèmes qu’il n’en résout. Censé déterminer de manière objective la qualité du travail (réduisant par là même la place des scientifiques dans le gouvernement de la science), les différents facteurs d’impact et autres indices mobilisés produisent des résultats difficiles à interpréter. Un article cité l’est-il pour ses qualités ou pour la polémique (parfois scientifiquement peu utile) qu’il suscite ? Un texte important est-il celui qui suscite des programmes de recherche, ou celui qu’on cite de manière routinisée ? Un auteur est-il crédité parce qu’il suscite des recherches innovantes, ou du fait qu’il occupe par exemple une position institutionnelle ou une niche scientifique qui le rendent incontournables ?

À ces remarques bien connues, il faut en ajouter autre, moins souvent évoquée mais tout aussi centrale : la très forte hétérogénéité des pratiques de citation. Que ce soit entre auteurs, dans le temps, d’une discipline ou d’un sous-champ à l’autre, elles varient sensiblement. Cette situation est bien connue des chercheurs qui travaillent sur ce matériau : pour s’en servir, il savent qu’il faut « normaliser » les résultats, par exemple en pondérant le nombre de citations (à un auteur, à un journal) par le nombre total par période et par unité. Et une telle pondération n’est pas une simple opération technique, mais suppose un choix scientifique, en l’occurrence un modèle de l’espace étudié.

Mais qui, au quotidien, prend la peine de le faire ? Les aficionados de Publish or Perish, ce petit logiciel qui permet de vérifier en deux clics si votre voisin de bureau a un meilleur impact factor que vous, ou les tableaux détaillés du Journal of Citation Report, qui offrent une batterie de résultats sur la vitesse de diffusion d’un article, ne les considèrent tout simplement pas et contribuent à les invisibiliser. Les différences sont pourtant prononcées. Et elles devraient remettent en cause les tentatives de comparaison, à moins de faire le travail de normalisation, ce qui est souvent lourd et suppose d’avoir des informations sur l’ensemble des citations.

Prenons l’exemple des revues de sociologie étasuniennes. Les données proviennent de la même source que pour le billet précédent (des données du Web of science largement retravaillées, soit 39 000 articles et 1 694 000 citations). La première remarque est que, comme on le voit sur un échantillon de 35 revues sur 40 années, le nombre moyen de citations par articles a fortement progressé, passant en moyenne de 22 à 56.

BXPLOT-Mean

Code:
Si le fichier mean est au format: year | journal | value:

p <- ggplot(mean2, aes(factor(year), value))+stat_boxplot(geom ='errorbar')
pl<-p + geom_boxplot() + theme(axis.text.x = element_text(angle = 90, hjust = 1))+ ggtitle("Nombre moyen de références bibliographiques dans les articles de sociologie aux États-Unis \n Par journal et par an (1970-2010)\n") + theme(plot.title=element_text(family="Arial", face="bold", size=14))+ labs(x = "\nAnnée", y = "Nombre moyen\n")

Une telle inflation signifie que la signification même de la citation varie au cours du temps. Si on ne prend qu’un indicateur quantitatif, la citation de 1970 « vaut » plus que celle de 2009. Et d’autres changements ont dû survenir. On retrouve ces variations à l’intérieur d’un même champ disciplinaire. Le graphique ci-dessous montre la dispersion des citations pour l’année 2009. On voit bien que si la panacée consiste à avoir de très nombreuses citations, mieux vaut être démographe (le Journal of Marriage and Family est à plus de 4000 références annuelles) que spécialiste des mathématiques (le Journal of Mathematical Sociology, qui en recense moins de 500 par an). Notons qu’on a aussi fait sortir du graphique Social Science and Medicine, qui est à plus de 16.000 citations, du fait d’une publication plus régulière (bimensuelle) mais aussi d’une proximité aux normes de publications dans les revues de médecine (qui ont la main lourde en termes de citations).

BXplot-Name2009

Si le fichier est year | journal | value | position* :
qplot(1, value, data = journals2009, geom = "boxplot", notch=T, xlim=c(0.3,1.7)) + annotate("text", x = journals2009$position, y = journals2009$value, label = journals2009$journal, cex=2.3, colour="#CC3333") + ggtitle("Nombre de références bibliographiques dans les revues de sociologie étasuniennes\n Année 2009\n") + theme(axis.line=element_blank(), axis.text.x=element_blank(), axis.ticks=element_blank()) + labs(x = "", y = "") + theme(plot.title=element_text(family="Arial", face="bold", size=14)) + labs(x = "\n", y = "\nNombre total annuel")

* Parce que certains journaux ont des valeurs proches qui rendent un graphique en ligne illisible, l’astuce consiste ici à faire attribuer une position parmi trois à chaque citation, afin qu'ils se déplacent sur l'axe horizontal.

À condition de prendre le temps et de contrôler ses données, on peut par contre obtenir des résultats intéressants à partir d’une étude des citations. On peut par exemple voir l’émergence de sous-champs, ne serait-ce qu’en regardant l’évolution de l’autocitation de la revue (ie. les articles qui citent des articles de cette revue). C’est clairement ce qui se passe pour Gender & Society et pour Criminology, dont les sujets respectivement s’institutionnalisent ou s’autonomisent au cours de la période. Ce faisant, elles deviennent plus autoréférentielles.

AutocitationSelect


Si les données sont au format : Citing | Cited | year | selfcite_ratio
p<-ggplot(TAB3, aes(x=year, y=ratio, colour=journal)) + ggtitle("L'autocitation au journal dans la sociologie étasunienne\nPar année et par journal (1970-2010)\n")+ theme(axis.text.x = element_text(angle = 90, hjust = 1))+ theme(plot.title=element_text(family="Arial", face="bold", size=14)) + labs(x = "\nAnnée", y = "Taux d'autocitation\n")

[Avec la même technique, on pourrait aussi voir si certains journaux n’essaient pas de faire augmenter artificiellement leur impact factor en rajoutant des citations à des articles qu’ils ont publié récemment]

Une analyse bibliométrique permet aussi de faire apparaître la structure des échanges entre revues. On regarde quelle revue cite quelles autres, et on tente de déterminer la structure des échanges. L’analyse des réseaux est ici plus appropriée, même si on arrive rapidement à saturation puisque le nombre de liens possibles (32*32 revues) est proche du nombre de liens effectifs (une revue cite au moins l’une des 32 autres dans l’année). Sur les conseils de B., j’ai ici fait un peu de ménage en considérant le réseau initial soustrait de sa distribution à l’indépendance. Puis j’ai fait une analyse de modularité pour tenter de détecter des classes à l’intérieur de cet ensemble.

US_Socind5NEW

Sans rentrer dans les détails, ce qu’on voit ici peut se résumer ainsi :

  • La taille du point montre que certaines revues reçoivent beaucoup plus de citations que d’autres. ASR, AJS et Organization studies ont été très citées en 2009. C’est le pendant des analyses précédentes, où on voyait les revues qui citent le plus. Evidemment, il y a une prime aux revues anciennes.
  • La structure du réseau donne à voir un cœur de la disciplines, ie. des revues qui se citent mutuellement et régulièrement (encore une fois, l’absence de lien ne veut pas dire aucune citation dans l’année, mais une citation moindre que ce que donnerait une distribution à l’indépendance). Là, et même si on sait que la preuve visuelle est relativement pauvre en sociologie des réseaux, c’est une analyse des degrés d’intégration qu’on voit ici, avec le centre et les marges d’une discipline.
  • Finalement, l’analyse de modularité (couleurs) permet de voir les revues qui ont les mêmes pratiques de citation. L’algorithme utilisé ici est walktrap (du package igraph), qui donnait les résultats les plus significatifs sociologiquement parmi la palette disponible [http://igraph.sourceforge.net/doc/R/communities.html]. Le principe de la modularité consistant à trouver les divisions optimales au sein d’un réseau, on a ici des petits groupes (pas forcément placés côte à côté, signe que la preuve graphique…). Selon cet algorithme, Social networks et le Journal of Mathematical Sociology ont donc des « pratiques » de citation relativement proches. Le fait que Social science & Medicine soit seul dans sa catégorie n’est pas étonnant : ses pratiques (citation forte, majorité de citations à l’extérieur de la discipline) en font un isolat.
  • [Je suis sûr qu’on peut faire une représentation du réseau avec ggplot aussi, mais je laisse cela à Fr. Briatte pour l’instant.]

    Ces traitements, certains très simples, montrent qu’on ne peut traiter la citation de manière agrégée et sans considération pour les variations d’usages, parfois même à l’intérieur d’un champ. Elles soulignent aussi ce qu’une bibliométrie descriptive offre comme ressources pour comprendre certaines logiques du champ scientifique, à condition qu’on cesse de l’interroger uniquement comme une métrique grossière de la qualité scientifique individuelle.


    Imprimer ce billet Imprimer ce billet

    2 commentaires pour  “Se réapproprier la bibliométrie (II) : Cite me maybe ?”

    1. Fr. a dit le 03/12/2013 à 20:17 :

      Si tu envoies les données, j’envoie le code :P (C’est très simple dès que tu as ton objet de classe network ou sna.)

      Répondre
    2. […] Il réfléchit sur les enjeux que soulèvent ces techniques comme sur leurs pratiques. Dernier billet paru : Se réapproprier la bibliométrie (II) : Cite me maybe ? http://data.hypotheses.org/719 […]

      Répondre

    Laisser un commentaire

    XHTML: Vous pouvez utilisez ces balises :<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <embed style="" type="" id="" height="" width="" src="" object="" allowfullscreen="" allowscriptaccess="" cachebusting="" bgcolor="" quality="" flashvars=""> <iframe width="" height="" frameborder="" scrolling="" marginheight="" marginwidth="" src=""> <object style="" height="" width="" param="" embed=""> <param name="" value="">


    Carnets de recherche