Archives par étiquette : open data

Faut-il partager ses données?

Faut-il partager ses données de recherche ? La tendance va en tout cas clairement dans ce sens. Les chercheuses sont de plus en plus nombreuses à mettre les données en ligne sur leur site. Les plateformes qui recensent ces données naissent régulièrement, d’autres s’enrichissent à toute vitesse, et des guides de bonne conduite sont élaborés.

Côté revues, elles sont de plus en plus nombreuses à demander aux auteurs qui publient dans leurs colonnes de mettre en ligne les données (et le cas échéant, le code permettant de produire tableaux et graphiques). Le changement est marqué avec la situation antérieure, où seulement les évaluateurs de l’article pouvaient avoir accès au code, principalement pour des raisons de vérification. Cette mise à disposition a déjà porté ses fruits, comme dans le cas devenu exemplaire d’un article d’économie dans lequel quelques erreurs de manipulatioRRBlundern sous Excel avaient amené les distingués auteurs à sur-évaluer les effets positifs de l’austérité fiscale. Comme les économistes murmurent en général aux oreilles du pouvoir (et ceux là en particulier), ce résultat faux avait eu de lourdes conséquences. Plus généralement, une récente série de tests a montré que les articles scientifiques publiés contenaient des erreurs, ou que leurs résultats centraux n’étaient pas réplicables (voir ici pour la psychologie, mais on en trouve pour chaque discipline, de manière régulière).

Tout semble donc plaider pour la mise à disposition des données et, le cas échéant, du code. L’injonction à la transparence actuelle est peu souvent critiquée, en tout cas en public. Ceux qui refusent de donner à voir les coulisses du travail scientifique sont vite dénoncés comme corporatistes ou archaïques face aux modernes de la science ouverte. La meilleure preuve de cette modernité n’est-elle d’ailleurs pas que les disciplines toujours à la pointe du progrès ont adopté cette méthode (les revues d’économie l’imposent désormais), et que les disciplines bien connues pour leur indécrottable passéisme s’écharpent pour savoir s’il faut le faire (voir ce débat cet été sur l’opportunité d’une telle pratique en sociologie)?

 

Slide1-data-secrecySource: LSE Impact Blog

 

Ouvrez, ouvrez, la boîte aux données

Il faut dire que les arguments en faveur de la diffusion sans restriction sont nombreux. Fournir le code et les données pour la réplication permet de s’assurer que les résultats sont corrects : que les calculs sont bons, qu’il n’y a pas d’erreur dans les méthodes, que les données ne sont pas bidonnées. Normalement, la revue a déjà fait cela, mais outre le fait que ce n’est pas systématique, une évaluatrice peut laisser passer des erreurs, ne pas avoir les compétences requises sur une méthode donnée, être débordée (oui, on travaille sous contraintes)… Bref, plusieurs yeux valent mieux qu’un, et la mise à disposition permet cela.

Les personnes qui ont eu à fournir un “paquet de réplication” à une revue confirment que cette ouverture fait relire son code avec une attention certaine, et qu’elle n’est pas forcément inutile… Par ailleurs, une fois ainsi organisé, il peut en effet être vérifié rapidement par d’autres, qui pourront débusquer vos erreurs. Bien sûr, ca prend plus de temps. Pour ceux qui, comme moi, écrivent du code de manière un peu décousue, ce genre de demandes force aussi à remettre ses données en ordre. Tout cela n’est que de bonne politique, ne serait-ce que pour ses propres archives.

Il y a d’autres avantages. Le travail patiemment réalisé permet non seulement de critiquer ou de valider, mais il peut être employé pour mener d’autres projets. Les données mises à disposition peuvent être croisées avec d’autres pour permettre une meilleure connaissance du sujet, ou utilisée pour poser d’autres questions – parfois très différentes de celle que se posaient les auteurs. Il n’y a par ailleurs pas que les données : le code est souvent riche d’informations. Sur les manières de coder des collègues, sur leurs manières de mettre en place une méthode, sur les trucs qu’ils utilisent pour résoudre des difficultés qu’on peut rencontrer dans nos recherches. Là encore, on peut apprendre beaucoup en allant voir sur ces archives ouvertes que sont les sites des revues qui mettent en place le dépôt de code obligatoire. En termes d’efficacité collective, les gains sont évidents.

La cause semble donc entendue, il faut “passer à l’ouverture”, et vite. Tout en étant très convaincu par ces arguments, il me semble que cette solution présente plus de difficultés qu’on ne veut bien le laisser entendre.

Une vision un peu naïve du travail scientifique

L’idée que la mise à disposition généralisée des données va faire progresser la science repose en partie sur une vision mythifiée de l’activité scientifique. D’abord parce que cette proposition fait comme si la recherche était un espace sans réelle concurrence. Donner ses données, ses codes, c’est en effet permettre à d’autres de s’en saisir, et de publier sur ce sujet, parfois avant que vous n’ayez dit tout ce que vous souhaitiez, parfois même avant la publication. Or s’il faut, dès la première publication sur un jeu de données, le mettre intégralement en ligne et se priver d’exploitations ultérieures parce que d’autres l’auront fait, cela peut poser problème.

Si nous avions toutes un poste, que nous avions toutes accès à suffisamment de ressources pour faire de la recherche, on pourrait se permettre cela. Mais la situation actuelle en est bien éloignée : l’univers scientifique n’est pas un monde d’amateurs intéressés qui financent leur subsistance sur des ressources personnelles. Ce n’est pas non plus la guerre de tous contre tous, mais la raréfaction des financements et l’injonction à “l’excellence” (mesurée à votre quantité d’articles, de fonds récupérés) font que la collaboration gratuite n’est pas encouragée dans ce système. L’argument peut paraître contextuel (le contexte semble toutefois parti pour durer), il est sûrement insuffisant, mais il explique nombre d’oppositions qu’on ne peut pas écarter d’un revers de la main. D’ailleurs, si les économistes ont été si rapides à mettre leurs données en ligne si vite, c’est peut-être que dans la plupart des cas, elles n’ont pas produit les données qu’elles utilisent. Le coût de la mise en ligne d’une base de données publique et de quelques lignes de code de réplication est en effet moindre.

Par ailleurs, l’idée que l’ouverture fait avancer directement la connaissance repose sur une vision fantasmée piledunderdatadu travail scientifique et de la découverte. Penser que des données supplémentaires vont apporter un surplus de connaissance procède d’un triple biais. L’un, qu’on pourrait qualifier d’empiriste, suppose que des données suffisent à faire progresser le savoir. C’est vrai à un certain niveau (on sait plus de choses sur le cas précis), mais est-ce que cela fait progresser d’autres formes de connaissance, conceptuelle par exemple ? Non seulement ce n’est pas nécessaire, mais la relation est parfois inverse: coincés sous des piles de données, les chercheurs ne parviennent pas (ou ne cherchent pas) à généraliser.

Une autre biais, qu’on pourrait qualifier d’incrémentaliste, propose une image du travail scientifique comme cumulation permanente. Or si cumulation il y a probablement (encore que tout le monde n’est pas d’accord), elle ne se fait certainement pas de manière linéaire. Les connaissances évoluent (un terme plus approprié que “progressent”), mais par à-coups, et certainement pas toujours dans la même direction. Un surplus de données permet le plus souvent de partir dans une autre direction, de donner à voir des aspects jusque là négligés par les approches classiques. Le savoir produit est alors autre, plutôt que supérieur.

Enfin, un dernier biais (inductiviste) tend lui à représenter la recherche en activité qui part des données pour généraliser, faire des découvertes. C’est mal connaître l’histoire des sciences, et oublier l’ensemble des manières qui permettent de générer de nouvelles idées – parfois assez éloignées de la paillasse, du terrain, de l’ordinateur. Parfois, c’est une lecture, une méthode découverte ailleurs et transposée à sur nos objets qui fait que l’on “découvre”. Et il y a bien d’autres éléments qui peuvent faire évoluer les connaissances, comme les outils utilisés, le contexte politique et financier, l’état du champ, etc. Bref, plus de données ne veut pas dire un surplus de connaissance, parce que le fait de regarder les données n’est qu’une des modalités de la découverte.

La division du travail scientifique et ses périls

Ceci dit, s’il ne s’agissait que de ça, on pourrait se dire que ce n’est pas si grave. Certains se perdront dans les données, d’autres y perdront, mais collectivement la recherche y gagnera. Encore une fois, rien ne l’assure vraiment. En cause cette fois, la division du travail scientifique que produit cette mise à disposition.

Au niveau individuel d’abord. Dans un texte très riche sur l’ouverture des données publiques (open data) dans l’administration publique, J. Denis et S. Goeta expliquent bien que les “données” de l’administration, pour être mises à disposition, sont dépouillées de toutes les informations que les agents peuvent leur ajouter quand ils les utilisent. Notes, remarques supplémentaires, codes couleurs permettent en effet à celles qui les manipulent d’en tirer profit. Cette purification se fait donc à un coût : la déperdition de certaines informations. Or, les travaux de sociologie des sciences ont bien souligné que les scientifiques fondent leurs décisions non tant sur des données que sur des “savoirs implicites” relatifs à ces données (Collins 2001). Sont-elles fiables ? L’enregistreur a t-il une particularité connue ? Sait-on autre chose sur ce lieu, cet atome, cette personne ? Cette information est perdue. Citant les travaux sur les grandes bases de données de Geoffrey Bowker, Goeta et Denis rappellent qu’il faut beaucoup de métadonnées pour permettre une collaboration efficace.

La mise à disposition de données risque donc de ne pas tenir toutes ses promesses, ou en tout cas celles que lui prêtent ses plus fervents supporters. L’éloignement entre le producteur et l’utilisateur des informations est même source de nombreuses erreurs, et si la division entre “codeurs” et “chercheurs” a souvent mauvaise presse en sciences, c’est parce qu’elle est une cause de problèmes bien connue. Vraie à l’échelle individuelle, cette remarque vaut à l’échelle collective. L’accès aux données pourrait accroître la division entre producteurs et consommateurs de données, et reconfigurer en profondeur la manière de faire de la recherche, avec des personnes spécialisées dans l’interprétation de données produite par d’autres. Les sciences sociales sociales croyaient en avoir fini avec la recherche en chambre, la voilà qui revient par la fenêtre.

Reconfigurations

Reconfigurations : c’est sûrement le terme qui décrit le mieux ce que fait la diffGEN_100_L204usion croissante de données que les chercheuses n’ont pas produites elles-mêmes. Sans avoir les avantages qu’on lui prête parfois, le mouvement mérite l’attention. Les personnes qui ont expérimenté le système, et ceux qui s’intéressent à la questions des archives des sciences sociales (les collègues de BeQuali entre autres) ont sûrement des choses à dire. En attendant, et afin d’y contribuer, Genèses vient de mettre à disposition les données et le codes (R) utilisés pour l’article sur les transformations de l’interdisciplinarité en France paru le mois dernier. On écrira peut-être quelque chose dessus bientôt, mais vous pouvez déjà reproduire les graphiques, utiliser les données, déceler les erreurs possibles, etc. [Voir sur le site de Genèses].

 

Quelques références supplémentaires:

étienne

Chercheur CNRS (SAGE-Université de Strasbourg). Données numériques, sociologie politique, épistémologie des sciences sociales.

More Posts

Fuck / NGram

Les modifications apportées après publication sont indiquées en bleu

Intitulé Digital Paper. A Manual for Research and Writing with Library and Internet Material, le dernier ouvrage d’Andrew Abbott est en fait bien plus qu’un manuel. Il s’agit au moins autant d’une réflexion sur les conditions de production du savoir à l’heure d’internet, et sur la manière dont la multiplication des données numériques affecte nos manières de connaître. Objets, méthodes, administration de la preuve, questions de recherches sont, selon l’auteur, affectées par cette transformation de fond.

AbbottLe livre, qui alterne entre nostalgie d’une époque que l’auteur sait révolue et conseils pour naviguer sur cet océan des données, est aussi très critique de certains outils. Dans le chapitre 3 (« Fundamentals »), Abbott s’en prend aux bases de données qui prétendent permettre de retrouver toutes les occurrences d’un terme dans le temps, en soulignant les difficultés d’une telle entreprise. La critique est forte. Pour Abbott, on ne peut en aucun cas prétendre tirer des conclusions sur les usages d’un terme. Les données sont sales, les procédures de reconnaissance textuelles se trompent, les bases sont inconnues…tout au plus, on trouvera des informations qu’on n’aurait pas vues autrement.

Un article publié ce mois-ci dans PLOS One vient apporter de l’eau à son moulin. Trois chercheurs de l’université du Vermont se sont intéressés à Google NGram, l’interface de Google qui permet de visualiser la fréquence d’un mot dans le corpus des livres scannés par Google. Si vous ne connaissez pas, allez voir, c’est amusant.

Le résultat est pour le moins sévère. Les auteurs écrivent ainsi que

« Overall, our findings call into question the vast majority of existing claims drawn from the Google Books corpus, and point to the need to fully characterize the dynamics of the corpus before using these data sets to draw broad conclusions about cultural and linguistic evolution ».

Et comme le corpus est, justement, la propriété de Google, il est donc non seulement inaccessible, mais aussi inconnu : on ne sait pas quels livres sont scannés, lesquels ne le sont pas. On ne connait pas les biais de constitution de la base. Et les auteurs de conclure que les conclusions tirées d’une base dont on sait finalement peu, sinon qu’elle est énorme, doivent être considérées avec un peu de recul.

Dans leur livre intitulé Uncharted. Big data as a lens on Human Culture (Michel & Erez, 2013), les principaux concepteurs de NGram racontent comment, doctorants au MIT, ils ont eu l’idée de mettre à profit le travail de numérisation de millions de livres initié par Google quelques années plus tôt afin d’utiliser les résultats à des fins de recherche. L’objectif, raconte ce livre enthousiaste et saturé de discours sur la nouveauté (la révolution! la révolution!), était de se servir de cette masse d’informations numérisées par Google afin d’étudier la culture humaine. Evolutions des langues, périodes de censure, transformation des rapports à Dieu ou à la sexualité, l’interface devait apporter des réponses à des questions restées sans réponse jusqu’à présent. Un article publié trois ans avant dans Science annonçait même la naissance d’un nouveau champ de recherche, sobrement intitulé « Culturomics » et tout aussi sobrement en charge de renouveler l’étude de la culture humaine.

La révolution n’a pas encore eu lieu, et l’article de PLOS One offre des pistes pour comprendre pourquoi. La liste des critiques faites au corpus est en effet longue.

  • La première est de souligner qu’entre un événement et la publication d’un livre, il se passe souvent des années. Il renseignent donc peu sur les évolutions culturelles d’une société à un moment donné, mais plutôt sur ce qu’on écrit. La critique peut paraître évidente, elle est loin d’être fatale, mais elle mérite d’être rappelée.
  • La seconde est que le corpus est extrêmement biaisé dans sa composition. Selon les époques, ce ne sont pas les mêmes livres qui sont répertoriés. Du fait des partenariats faits par Google avec des universités (pour scanner leurs livres), les ouvrages scientifiques sont très largement sur-représentés. Sans moyen de vérifier par eux même puisqu’ils n’ont pas accès à la base Google, les auteurs ont inventé un test astucieux. Ils ont cherché des termes souvent utilisés en science. Le résultat est assez parlant, comme le montre le graphique ci-dessous.

ModelDataFigure

Cette critique est forte, et elle n’est pas sans rappeler celle faite aux historiens qui prétendaient étudier des populations à l’aune des textes écrits uniquement, oubliant par là-même que l’écriture a longtemps été l’apanage de certains groupes sociaux uniquement. Dans ce cas, c’est plutôt la question du type de sources écrites qui se pose.

Poursuivant cette critique, un article de Wired évoque quelques difficultés. Le texte est plus ludique et mérite vraiment d’être lu, mais si vous êtes pressés, voilà les principales remarques

  • L’une est que l’outil recense ce qui est écrit, mais pas ce qui est lu. Le journaliste évoque le fait qu’un livre peut être présent une fois dans la base, mais lu des millions de fois. Le Seigneur des anneaux est finalement assez peu visible dans ces données, en tout cas pas plus que d’obscurs articles scientifiques. Evidemment, on pourrait penser que s’il est lu, il sera cité et discuté, mais tout dépend de la population à laquelle il s’adresse, ce qui nous ramène à la critique précédente sur les biais d’une histoire basée sur les textes et non leurs usages.
  • L’autre est que les procédures d’Optical Character Recognition (reconnaissance automatique des caractères), même si elles sont d’une efficacité toujours plus grande et peuvent être particulièrement impressionnantes, peuvent toujours se tromper. Abbott raconte comment un de ses étudiants avait noté une baisse brutale des références au terme « block grant » dans le temps (une forme de transfert monétaire de la part de l’Etat fédéral aux régions). Il attribue cette baisse à une erreur dans la procédure d’OCR : en cherchant « blook grant », on retombait sur des résultats plausibles. Le journaliste de Wired a lui trouvé un autre exemple : les mentions de « fuck » dans la base.

Ffuck

Faut-il conclure de ce graphe que les ligues de morale ont réussi pendant des années à limiter la vulgarité après un XVIIIè siècle décadent, mais ont définitivement perdu la bataille après 1950? Une raison plus plausible tient à un changement dans la graphie : jusqu’à 1800 environ, le s minuscule ressemblait à un grand f allongé. En fait de « fuck », l’algorithme repérait des mentions de « suck ». L’article n’explique pas si cette situation constitue un véritable progrès pour la morale, mais il rappelle que les mots susceptibles d’être affectés sont nombreux : case vs. cafe, sunk vs. funk, etc., la liste est longue.

Au vu de ces résultats, les auteurs de l’étude de PLOS appellent les chercheurs à une certaine prudence dans le recours à cette base, alors que les articles qui s’en servent comme source secondaire, voire primaire, s’étaient multipliés depuis cinq ans. Ils appellent aussi à ne pas jeter le bébé avec l’eau du bain. Le travail réalisé par Google est impressionnant, et pourvu qu’il puisse être échantillonné, ou redressé, pourrait donner lieu à de très solides études, et probablement aller dans le sens des promesses de culturomics. Pour cela, il faudrait que les chercheurs, ou tout le monde, ait accès à la base. À quand la base NGram en open data?

Le commentaire de F. Glorieux attire mon attention sur des posts qui avaient déjà étudié la question. Pour plus d’informations, autrement plus détaillées, et parfois précoces, vous pouvez consulter celui-ci sur Resultats (avec de nombreuses commandes utiles pour utiliser NGram), ou celui-là sur Devenir historien (qui propose une revue de littérature précoce mais déjà riche).

étienne

Chercheur CNRS (SAGE-Université de Strasbourg). Données numériques, sociologie politique, épistémologie des sciences sociales.

More Posts

Sciences sociales et internet : actualités

Après une période période pionnière, les sciences sociales de l' »internet » connaissent une croissance rapide. Ce mois-ci, plusieurs publications ou événements montrent la structuration rapide de ce sous-champ émergent.

Conférence

La conférence Penser l’écosystème des données, sur les enjeux de la libération des données, aura lieu toute la journée du 14 février à Paris. Elle réunira de nombreux chercheurs de SHS intéressés à la production et aux usages multiple des informations numériques. Interdiscipinaire, la conférence est aussi internationale et promet d’être riche. À ne pas rater (attention, il faut s’inscrire).

Manuel

Ce Manuel d’analyse du web, ouvrage collectif dirigé par C. Barats (Paris-V), propose une série d’analyses sur le web pour les chercheurs en sciences sociales. Les différentes contributions, rédigées par des spécialistes français du domaine, montrent bien le double objectif de l’ouvrage. Il s’agit en effet de présenter des outils et des méthodes d’analyse du web, mais tout autant de prendre internet et ses usages comme objets.

Une première partie présente certains enjeux théoriques, mais aussi méthodologiques. Une section méthode est elle consacrée à différentes techniques d’analyses du web (textométrie, sémiologie, et ethnographie). Les contributions de la dernière partie présentent elles des méthodes d’approche plus quantitatives des usages du web. Les contributions, courtes, rendent la lecture facile et permettent de naviguer facilement dans l’ouvrage. Par ailleurs, des encadrés complètent les textes en informant, au-delà de la réflexion méthodologique, sur les outils concrets disponibles.

Revue

Enfin, on peut mentionner la naissance de la revue en ligne RESET, explicitement consacrée aux Recherches en Sciences Sociales sur l’Internet. Les appels à contributions pour les numéros à venir montrent le spectre large couvert par la revue : famille, troubles mentaux et jeux en ligne, etc. Le premier numéro traite d’internet et classes sociales, avec là aussi une grande variété : pratiques numériques des adolescents, ségrégation spatiale, et même un texte sur Bourdieu et les rencontres en ligne (plutôt La distinction 2.0 que l’e-Bal des célibataires).

étienne

Chercheur CNRS (SAGE-Université de Strasbourg). Données numériques, sociologie politique, épistémologie des sciences sociales.

More Posts

Vers une data-sociologie?

Pierre Mercklé vient de publier (sur Quanti) une présentation que nous avions faite en juin sur le thème des « big data » en sciences sociales. Elle propose un premier tour d’horizon des outils de collecte automatisée de données sur internet et évoque plusieurs enjeux dont il sera question ici

Ces vingt dernières années ont vu le développement de techniques et d’outils informatiques qui permettent d’automatiser la collecte et la mise en forme de données, en particulier celles provenant d’internet[1]. Plus puissantes et plus faciles d’accès, ils sont aussi de plus en plus utilisés dans de nombreuses professions. Leur diffusion intéresse donc les chercheurs en sciences sociales, à la fois parce qu’elles permettent de collecter rapidement des informations sur divers aspects du monde social, mais aussi parce qu’elle conteste un peu plus leur monopole dans la production de données quantitatives. On se propose ici de réaliser un rapide tour d’horizon sur cette question qui souligne le potentiel, et évoque certains enjeux, du recours croissant à ces méthodes pour nos disciplines…. Lire la suite sur Quanti

Voir aussi les remarques et compléments apportés sur Polit’bistro

étienne

Chercheur CNRS (SAGE-Université de Strasbourg). Données numériques, sociologie politique, épistémologie des sciences sociales.

More Posts