La reproductibilité est souvent réclamée comme la moindre des choses en science, et pourtant, en forçant un peu le trait, on pourrait avancer que quasiment rien n’est jamais reproduit : personne ne veut essayer, et quand quelqu’un essaye, ça ne marche pas. Ce qui est nouveau, c’est que cela semble rédhibitoire dans le cadre de bonnes pratiques scientifiques, au nom de la crédibilité de la science, et des initiatives pour y remédier commencent à fleurir.
La reproductibilité est aussi complexe parce que, bien que simple à imaginer en apparence, le concept recouvre tout un tas de pratiques qui posent des questions :
Est ce que les deux études de nature sont de la reproductibilité ou pas?
Paradoxalement, malgré le flou qui l’entoure et la faible activité de reproduction en pratique, la reproductibilité est souvent citée comme “la moindre des choses” dans les bonnes pratiques scientifiques, voire un “gold standard” de la science. Elle est par exemple prégnante dans la critique de l’activité de publication et en particulier du protocole de peer reviewing. La nécessité de la reproductibilité est ainsi souvent brandie comme un principe moral indiscutable, et les conditions de la réalisation de ce principe sont souvent hypothétiques. La critique de l’activité de reviewing, par exemple, existe de plus en plus et des propositions sont envisagées (Ross-Hellauer, 2017), mais cette remise en cause, parfois appliquée dans des revues scientifiques d’avant garde, se heurte à l’immobilisme des revues les plus prestigieuses, celles qui pèsent le plus.
Raoul ? Sur critique du peer reviewing
Reproduire des expériences en histoire des sciences : Joule et les brasseries
Cette reproduction dépendait de trop de savoirs tacites. Le but de cette “technique littéraire” (litterary technology) n’était effectivement pas (et n’est toujours pas dans les publications aujourd’hui) exactement la reproductibilité, mais plutôt la légitimité.
Check Disunity of sciences, 1996 & Norton 2010.
De fait, une grosse partie de l’activité computationnelle est réalisée par des scientifiques dont ce n’est pas le métier : ni dans le coding, ni dans le management, ni dans la diffusion et le licensing. La définition et l’organisation de bonnes pratiques sont des préoccupations des chercheurs Bénureau et Rougier, 2018 Stodden, 2016
Au moins trois types de transparence:
* data transparency : “Providing full access to data itself”
* analytic transparency : “Information about data analysis”
*production transparency : “Process of data collection”
But de pre-registration (Nosek et al. 2017) peut également participer à une recherche plus reproductible. L’une de ses finalités est de prévenir les risques de HARKing - Hypothesizing After the Results are Known.
Le terme “transparence” renvoie donc plutôt au fait de rendre accessibles à son lectorat les éléments sur lesquels s’est construit le raisonnement: : sources citées, données analysées ou description des données, corpus, etc. La notion de traçabilité occupe donc une place centrale. L’accent n’est pas mis sur le fait d’aboutir aux mêmes conclusions.
la démultiplication des données disponibles (corpus numérisés, catalogues de références, sources en texte intégral, données obtenues grâce à des logiciels, etc.) et leur fragilité (obsolescence des supports, des formats et des logiciels) constituent autant d’atteintes potentielles à la traçabilité de la recherche.
Le codebook, un exemple d’outil pour les méthodes qualitatives
Ses recherches ont porté sur les politiques de santé publique en Europe, la sociologie des mouvements sociaux, la sociologie de la quantification, et l’analyse de réseaux appliquée à la collaboration législative ([son site])(https://f.briatte.org/)