Les modifications apportées après publication sont indiquées en bleu

Intitulé Digital Paper. A Manual for Research and Writing with Library and Internet Material, le dernier ouvrage d’Andrew Abbott est en fait bien plus qu’un manuel. Il s’agit au moins autant d’une réflexion sur les conditions de production du savoir à l’heure d’internet, et sur la manière dont la multiplication des données numériques affecte nos manières de connaître. Objets, méthodes, administration de la preuve, questions de recherches sont, selon l’auteur, affectées par cette transformation de fond.

Le livre, qui alterne entre nostalgie d’une époque que l’auteur sait révolue et conseils pour naviguer sur cet océan des données, est aussi très critique de certains outils. Dans le chapitre 3 (“Fundamentals”), Abbott s’en prend aux bases de données qui prétendent permettre de retrouver toutes les occurrences d’un terme dans le temps, en soulignant les difficultés d’une telle entreprise. La critique est forte. Pour Abbott, on ne peut en aucun cas prétendre tirer des conclusions sur les usages d’un terme. Les données sont sales, les procédures de reconnaissance textuelles se trompent, les bases sont inconnues…tout au plus, on trouvera des informations qu’on n’aurait pas vues autrement.

Un article publié ce mois-ci dans PLOS One vient apporter de l’eau à son moulin. Trois chercheurs de l’université du Vermont se sont intéressés à Google NGram, l’interface de Google qui permet de visualiser la fréquence d’un mot dans le corpus des livres scannés par Google. Si vous ne connaissez pas, allez voir, c’est amusant.

Le résultat est pour le moins sévère. Les auteurs écrivent ainsi que

“Overall, our findings call into question the vast majority of existing claims drawn from the Google Books corpus, and point to the need to fully characterize the dynamics of the corpus before using these data sets to draw broad conclusions about cultural and linguistic evolution”.

Et comme le corpus est, justement, la propriété de Google, il est donc non seulement inaccessible, mais aussi inconnu : on ne sait pas quels livres sont scannés, lesquels ne le sont pas. On ne connait pas les biais de constitution de la base. Et les auteurs de conclure que les conclusions tirées d’une base dont on sait finalement peu, sinon qu’elle est énorme, doivent être considérées avec un peu de recul.

Dans leur livre intitulé Uncharted. Big data as a lens on Human Culture (Michel & Erez, 2013), les principaux concepteurs de NGram racontent comment, doctorants au MIT, ils ont eu l’idée de mettre à profit le travail de numérisation de millions de livres initié par Google quelques années plus tôt afin d’utiliser les résultats à des fins de recherche. L’objectif, raconte ce livre enthousiaste et saturé de discours sur la nouveauté (la révolution! la révolution!), était de se servir de cette masse d’informations numérisées par Google afin d’étudier la culture humaine. Evolutions des langues, périodes de censure, transformation des rapports à Dieu ou à la sexualité, l’interface devait apporter des réponses à des questions restées sans réponse jusqu’à présent. Un article publié trois ans avant dans Science annonçait même la naissance d’un nouveau champ de recherche, sobrement intitulé “Culturomics” et tout aussi sobrement en charge de renouveler l’étude de la culture humaine.

La révolution n’a pas encore eu lieu, et l’article de PLOS One offre des pistes pour comprendre pourquoi. La liste des critiques faites au corpus est en effet longue.

• La première est de souligner qu’entre un événement et la publication d’un livre, il se passe souvent des années. Il renseignent donc peu sur les évolutions culturelles d’une société à un moment donné, mais plutôt sur ce qu’on écrit. La critique peut paraître évidente, elle est loin d’être fatale, mais elle mérite d’être rappelée.
• La seconde est que le corpus est extrêmement biaisé dans sa composition. Selon les époques, ce ne sont pas les mêmes livres qui sont répertoriés. Du fait des partenariats faits par Google avec des universités (pour scanner leurs livres), les ouvrages scientifiques sont très largement sur-représentés. Sans moyen de vérifier par eux même puisqu’ils n’ont pas accès à la base Google, les auteurs ont inventé un test astucieux. Ils ont cherché des termes souvent utilisés en science. Le résultat est assez parlant, comme le montre le graphique ci-dessous.

Cette critique est forte, et elle n’est pas sans rappeler celle faite aux historiens qui prétendaient étudier des populations à l’aune des textes écrits uniquement, oubliant par là-même que l’écriture a longtemps été l’apanage de certains groupes sociaux uniquement. Dans ce cas, c’est plutôt la question du type de sources écrites qui se pose.

Poursuivant cette critique, un article de Wired évoque quelques difficultés. Le texte est plus ludique et mérite vraiment d’être lu, mais si vous êtes pressés, voilà les principales remarques

• L’une est que l’outil recense ce qui est écrit, mais pas ce qui est lu. Le journaliste évoque le fait qu’un livre peut être présent une fois dans la base, mais lu des millions de fois. Le Seigneur des anneaux est finalement assez peu visible dans ces données, en tout cas pas plus que d’obscurs articles scientifiques. Evidemment, on pourrait penser que s’il est lu, il sera cité et discuté, mais tout dépend de la population à laquelle il s’adresse, ce qui nous ramène à la critique précédente sur les biais d’une histoire basée sur les textes et non leurs usages.
• L’autre est que les procédures d’Optical Character Recognition (reconnaissance automatique des caractères), même si elles sont d’une efficacité toujours plus grande et peuvent être particulièrement impressionnantes, peuvent toujours se tromper. Abbott raconte comment un de ses étudiants avait noté une baisse brutale des références au terme “block grant” dans le temps (une forme de transfert monétaire de la part de l’Etat fédéral aux régions). Il attribue cette baisse à une erreur dans la procédure d’OCR : en cherchant “blook grant”, on retombait sur des résultats plausibles. Le journaliste de Wired a lui trouvé un autre exemple : les mentions de “fuck” dans la base.

Faut-il conclure de ce graphe que les ligues de morale ont réussi pendant des années à limiter la vulgarité après un XVIIIè siècle décadent, mais ont définitivement perdu la bataille après 1950? Une raison plus plausible tient à un changement dans la graphie : jusqu’à 1800 environ, le s minuscule ressemblait à un grand f allongé. En fait de “fuck”, l’algorithme repérait des mentions de “suck”. L’article n’explique pas si cette situation constitue un véritable progrès pour la morale, mais il rappelle que les mots susceptibles d’être affectés sont nombreux : case vs. cafe, sunk vs. funk, etc., la liste est longue.

Au vu de ces résultats, les auteurs de l’étude de PLOS appellent les chercheurs à une certaine prudence dans le recours à cette base, alors que les articles qui s’en servent comme source secondaire, voire primaire, s’étaient multipliés depuis cinq ans. Ils appellent aussi à ne pas jeter le bébé avec l’eau du bain. Le travail réalisé par Google est impressionnant, et pourvu qu’il puisse être échantillonné, ou redressé, pourrait donner lieu à de très solides études, et probablement aller dans le sens des promesses de culturomics. Pour cela, il faudrait que les chercheurs, ou tout le monde, ait accès à la base. À quand la base NGram en open data?

Le commentaire de F. Glorieux attire mon attention sur des posts qui avaient déjà étudié la question. Pour plus d’informations, autrement plus détaillées, et parfois précoces, vous pouvez consulter celui-ci sur Resultats (avec de nombreuses commandes utiles pour utiliser NGram), ou celui-là sur Devenir historien (qui propose une revue de littérature précoce mais déjà riche).