Faut-il partager ses données de recherche ? La tendance va en tout cas clairement dans ce sens. Les chercheuses sont de plus en plus nombreuses à mettre les données en ligne sur leur site. Les plateformes qui recensent ces données naissent régulièrement, d’autres s’enrichissent à toute vitesse, et des guides de bonne conduite sont élaborés.

Côté revues, elles sont de plus en plus nombreuses à demander aux auteurs qui publient dans leurs colonnes de mettre en ligne les données (et le cas échéant, le code permettant de produire tableaux et graphiques). Le changement est marqué avec la situation antérieure, où seulement les évaluateurs de l’article pouvaient avoir accès au code, principalement pour des raisons de vérification. Cette mise à disposition a déjà porté ses fruits, comme dans le cas devenu exemplaire d’un article d’économie dans lequel quelques erreurs de manipulation sous Excel avaient amené les distingués auteurs à sur-évaluer les effets positifs de l’austérité fiscale. Comme les économistes murmurent en général aux oreilles du pouvoir (et ceux là en particulier), ce résultat faux avait eu de lourdes conséquences. Plus généralement, une récente série de tests a montré que les articles scientifiques publiés contenaient des erreurs, ou que leurs résultats centraux n’étaient pas réplicables (voir ici pour la psychologie, mais on en trouve pour chaque discipline, de manière régulière).

Tout semble donc plaider pour la mise à disposition des données et, le cas échéant, du code. L’injonction à la transparence actuelle est peu souvent critiquée, en tout cas en public. Ceux qui refusent de donner à voir les coulisses du travail scientifique sont vite dénoncés comme corporatistes ou archaïques face aux modernes de la science ouverte. La meilleure preuve de cette modernité n’est-elle d’ailleurs pas que les disciplines toujours à la pointe du progrès ont adopté cette méthode (les revues d’économie l’imposent désormais), et que les disciplines bien connues pour leur indécrottable passéisme s’écharpent pour savoir s’il faut le faire (voir ce débat cet été sur l’opportunité d’une telle pratique en sociologie)?

 

Source: LSE Impact Blog

 

Ouvrez, ouvrez, la boîte aux données

Il faut dire que les arguments en faveur de la diffusion sans restriction sont nombreux. Fournir le code et les données pour la réplication permet de s’assurer que les résultats sont corrects : que les calculs sont bons, qu’il n’y a pas d’erreur dans les méthodes, que les données ne sont pas bidonnées. Normalement, la revue a déjà fait cela, mais outre le fait que ce n’est pas systématique, une évaluatrice peut laisser passer des erreurs, ne pas avoir les compétences requises sur une méthode donnée, être débordée (oui, on travaille sous contraintes)… Bref, plusieurs yeux valent mieux qu’un, et la mise à disposition permet cela.

Les personnes qui ont eu à fournir un “paquet de réplication” à une revue confirment que cette ouverture fait relire son code avec une attention certaine, et qu’elle n’est pas forcément inutile… Par ailleurs, une fois ainsi organisé, il peut en effet être vérifié rapidement par d’autres, qui pourront débusquer vos erreurs. Bien sûr, ca prend plus de temps. Pour ceux qui, comme moi, écrivent du code de manière un peu décousue, ce genre de demandes force aussi à remettre ses données en ordre. Tout cela n’est que de bonne politique, ne serait-ce que pour ses propres archives.

Il y a d’autres avantages. Le travail patiemment réalisé permet non seulement de critiquer ou de valider, mais il peut être employé pour mener d’autres projets. Les données mises à disposition peuvent être croisées avec d’autres pour permettre une meilleure connaissance du sujet, ou utilisée pour poser d’autres questions – parfois très différentes de celle que se posaient les auteurs. Il n’y a par ailleurs pas que les données : le code est souvent riche d’informations. Sur les manières de coder des collègues, sur leurs manières de mettre en place une méthode, sur les trucs qu’ils utilisent pour résoudre des difficultés qu’on peut rencontrer dans nos recherches. Là encore, on peut apprendre beaucoup en allant voir sur ces archives ouvertes que sont les sites des revues qui mettent en place le dépôt de code obligatoire. En termes d’efficacité collective, les gains sont évidents.

La cause semble donc entendue, il faut “passer à l’ouverture”, et vite. Tout en étant très convaincu par ces arguments, il me semble que cette solution présente plus de difficultés qu’on ne veut bien le laisser entendre.

Une vision un peu naïve du travail scientifique

L’idée que la mise à disposition généralisée des données va faire progresser la science repose en partie sur une vision mythifiée de l’activité scientifique. D’abord parce que cette proposition fait comme si la recherche était un espace sans réelle concurrence. Donner ses données, ses codes, c’est en effet permettre à d’autres de s’en saisir, et de publier sur ce sujet, parfois avant que vous n’ayez dit tout ce que vous souhaitiez, parfois même avant la publication. Or s’il faut, dès la première publication sur un jeu de données, le mettre intégralement en ligne et se priver d’exploitations ultérieures parce que d’autres l’auront fait, cela peut poser problème.

Si nous avions toutes un poste, que nous avions toutes accès à suffisamment de ressources pour faire de la recherche, on pourrait se permettre cela. Mais la situation actuelle en est bien éloignée : l’univers scientifique n’est pas un monde d’amateurs intéressés qui financent leur subsistance sur des ressources personnelles. Ce n’est pas non plus la guerre de tous contre tous, mais la raréfaction des financements et l’injonction à “l’excellence” (mesurée à votre quantité d’articles, de fonds récupérés) font que la collaboration gratuite n’est pas encouragée dans ce système. L’argument peut paraître contextuel (le contexte semble toutefois parti pour durer), il est sûrement insuffisant, mais il explique nombre d’oppositions qu’on ne peut pas écarter d’un revers de la main. D’ailleurs, si les économistes ont été si rapides à mettre leurs données en ligne si vite, c’est peut-être que dans la plupart des cas, elles n’ont pas produit les données qu’elles utilisent. Le coût de la mise en ligne d’une base de données publique et de quelques lignes de code de réplication est en effet moindre.

Par ailleurs, l’idée que l’ouverture fait avancer directement la connaissance repose sur une vision fantasmée du travail scientifique et de la découverte. Penser que des données supplémentaires vont apporter un surplus de connaissance procède d’un triple biais. L’un, qu’on pourrait qualifier d’empiriste, suppose que des données suffisent à faire progresser le savoir. C’est vrai à un certain niveau (on sait plus de choses sur le cas précis), mais est-ce que cela fait progresser d’autres formes de connaissance, conceptuelle par exemple ? Non seulement ce n’est pas nécessaire, mais la relation est parfois inverse: coincés sous des piles de données, les chercheurs ne parviennent pas (ou ne cherchent pas) à généraliser.

Une autre biais, qu’on pourrait qualifier d’incrémentaliste, propose une image du travail scientifique comme cumulation permanente. Or si cumulation il y a probablement (encore que tout le monde n’est pas d’accord), elle ne se fait certainement pas de manière linéaire. Les connaissances évoluent (un terme plus approprié que “progressent”), mais par à-coups, et certainement pas toujours dans la même direction. Un surplus de données permet le plus souvent de partir dans une autre direction, de donner à voir des aspects jusque là négligés par les approches classiques. Le savoir produit est alors autre, plutôt que supérieur.

Enfin, un dernier biais (inductiviste) tend lui à représenter la recherche en activité qui part des données pour généraliser, faire des découvertes. C’est mal connaître l’histoire des sciences, et oublier l’ensemble des manières qui permettent de générer de nouvelles idées – parfois assez éloignées de la paillasse, du terrain, de l’ordinateur. Parfois, c’est une lecture, une méthode découverte ailleurs et transposée à sur nos objets qui fait que l’on “découvre”. Et il y a bien d’autres éléments qui peuvent faire évoluer les connaissances, comme les outils utilisés, le contexte politique et financier, l’état du champ, etc. Bref, plus de données ne veut pas dire un surplus de connaissance, parce que le fait de regarder les données n’est qu’une des modalités de la découverte.

La division du travail scientifique et ses périls

Ceci dit, s’il ne s’agissait que de ça, on pourrait se dire que ce n’est pas si grave. Certains se perdront dans les données, d’autres y perdront, mais collectivement la recherche y gagnera. Encore une fois, rien ne l’assure vraiment. En cause cette fois, la division du travail scientifique que produit cette mise à disposition.

Au niveau individuel d’abord. Dans un texte très riche sur l’ouverture des données publiques (open data) dans l’administration publique, J. Denis et S. Goeta expliquent bien que les “données” de l’administration, pour être mises à disposition, sont dépouillées de toutes les informations que les agents peuvent leur ajouter quand ils les utilisent. Notes, remarques supplémentaires, codes couleurs permettent en effet à celles qui les manipulent d’en tirer profit. Cette purification se fait donc à un coût : la déperdition de certaines informations. Or, les travaux de sociologie des sciences ont bien souligné que les scientifiques fondent leurs décisions non tant sur des données que sur des “savoirs implicites” relatifs à ces données (Collins 2001). Sont-elles fiables ? L’enregistreur a t-il une particularité connue ? Sait-on autre chose sur ce lieu, cet atome, cette personne ? Cette information est perdue. Citant les travaux sur les grandes bases de données de Geoffrey Bowker, Goeta et Denis rappellent qu’il faut beaucoup de métadonnées pour permettre une collaboration efficace.

La mise à disposition de données risque donc de ne pas tenir toutes ses promesses, ou en tout cas celles que lui prêtent ses plus fervents supporters. L’éloignement entre le producteur et l’utilisateur des informations est même source de nombreuses erreurs, et si la division entre “codeurs” et “chercheurs” a souvent mauvaise presse en sciences, c’est parce qu’elle est une cause de problèmes bien connue. Vraie à l’échelle individuelle, cette remarque vaut à l’échelle collective. L’accès aux données pourrait accroître la division entre producteurs et consommateurs de données, et reconfigurer en profondeur la manière de faire de la recherche, avec des personnes spécialisées dans l’interprétation de données produite par d’autres. Les sciences sociales sociales croyaient en avoir fini avec la recherche en chambre, la voilà qui revient par la fenêtre.

Reconfigurations

Reconfigurations : c’est sûrement le terme qui décrit le mieux ce que fait la diffusion croissante de données que les chercheuses n’ont pas produites elles-mêmes. Sans avoir les avantages qu’on lui prête parfois, le mouvement mérite l’attention. Les personnes qui ont expérimenté le système, et ceux qui s’intéressent à la questions des archives des sciences sociales (les collègues de BeQuali entre autres) ont sûrement des choses à dire. En attendant, et afin d’y contribuer, Genèses vient de mettre à disposition les données et le codes (R) utilisés pour l’article sur les transformations de l’interdisciplinarité en France paru le mois dernier. On écrira peut-être quelque chose dessus bientôt, mais vous pouvez déjà reproduire les graphiques, utiliser les données, déceler les erreurs possibles, etc. [Voir sur le site de Genèses].

 

Quelques références supplémentaires:

• Une tribune dans le journal Le Monde republiée sur le site deuxième labo qui détaille les arguments en faveur de l’ouverture.
• Un symposium sur cette injonction dans la science politique qualitative étatsunienne.
• Un blog de politistes (étatsuniens) en faveur de la réplication.
• L’initiative Data Access – Research Transparency en science politique étatsunienne, et ses critiques (merci à Fr. Briatte)