#0 Posons le décor : la crise de la reproductibilité.
**Besoin de crédibilité et de réputation des scientifiques** : l’exemple historique des premières expérimentations de pompes à air : asseoir sa réputation et sa crédibilité par le spectable (… cf. la pile électrique et les expé de Leyden), puis, autre scientifique, par les tiers de bonne foi et la narration de l’expérience devant des tiers de bonnes foi (gens bien nés) => création de la communauté “scientifique” Royal Society et des premières correspondances entre scientifiques (ancêtres des revues)
**Une notion, un vocabulaire non fixé.**
“Crise de la reproductibilité”, “replicability”? “repeatability”? “checking”? “robustness”?
Typologie du vocabulaire (Nature, 2016) Baker, M. Muddled meanings hamper efforts to fix reproducibility crisis. *Nature* (2016). [https://doi.org/10.1038/nature.2016.20076](https://doi.org/10.1038/nature.2016.20076)
Concept émergent depuis 2010’s (cf. [Google Trends)](https://trends.google.com/trends/explore?date=all&q=%2Fm%2F012mc030,%2Fm%2F0hgq9rc,research%20integrity). Article wikipédia depuis 2015 (EN) et 2016 (FR). Numéro spécial de **Nature** 14 février 2016, dont une grande enquête de plusieurs centaines de scientifiques systématiquement citée depuis, etc. 2018
Reproduire, pour plusieurs buts
1. Vertus épistémologiques :** faire et refaire les expé, pour avancer en connaissance ). Ex. Le venin des serpents sur les grenouilles
2. Reproduire pour l’histoire des sciences :** comprendre les contextes et les **savoirs tacites. E**x : Joule et les brasseurs de bière
Emporter l’adhésio**n (légitimité sc.) : la pompe à air de Robert Boyle (18e)
L'avènement de la pompe à air au XVIIe siècle est un exemple canonique. La crédibilité des expériences sur le vide de Otto von Guericke était basée sur le spectacle. L'exceptionnalité de ses démonstrations publiques et l'appareillage complexe et unique de la pompe à vide rendait la reproduction inenvisageable, si ce n'est pour Guericke lui-même (pour la garantie du succès de ses spectacles).
Les expériences sur le vide de Robert Boyle, basées sur le même principe expérimental, mais sur un appareillage différent, avaient besoin d'autre chose pour gagner en crédibilité. Le succès de ses expériences dépendait de manière critique du savoir faire experimental de Hooke. Pour emporter l'adhésion sur le résultat de ses expériences, Boyle a eu recours à des témoins bien choisis (les gentlemen à la base de la fondation de la Royal Society, dignes de confiance puisqu'aristocrates). Au dela, la description la plus précise possible par écrit des expériences et des appareillages dans un compte rendu certifié par des gentlemen (et qui est l'ancêtre de la publication telle qu'on la connait aujourd'hui) consiste en ce que les historiens Shapin et Schaeffer ([Shapin et Schaffer, 1989](https://press.princeton.edu/books/paperback/9780691178165/leviathan-and-the-air-pump)) ont appelé un témoin virtuel (virtual witness), consigné par écrit. Il faut noter que personne, malgré les tentatives de Huyghens en France notamment, n'a réussi à reproduire une pompe à air fonctionnelle à l'aide de ces publications : Cette reproduction dépendait de trop de savoirs tacites. Le but de cette "technique littéraire" (litterary technology) n'était effectivement pas (et n'est toujours pas dans les publications aujourd'hui) exactement la reproductibilité, mais plutôt la légitimité.
**4) Etudier les controverses scientifiques** : ex. ondes gravitiationnelles
“L'école de la SSK (pour Sociology of Scientific Knowledge) s'est particulièrement intéressée aux controverses scientifiques, parce qu'elles permettent d'en savoir plus sur ce qui se passe vraiment dans la **science en train de se faire (knowledge in the making)** par rapport à une situation sans problème. Étudier les controverses, c'est augmenter les chances de comprendre les formes de savoir tacite qui conditionnent la reproduction, qui n'apparaissent pas dans les publications, et qui surgissent au grand jour parce que des chercheurs contestent.”
## II. Les 6 modes de reproductiibilité de Leonelli :
#### 1 Reproductibilité Computationnelle (possible et souhaitable)
ex **essais cliniques en médecine** ou la **physique des particules** ) et où, par conséquent, la reproductibilité est un canon de l'activité scientifique : elle est désirée et essentielle. Dans cette catégorie, contrairement (selon elle) à la première, "les circonstances de la production des données sont de première importance pour les expérimentateurs". Ces domaines sont caractérisés par un gros contrôle sur les conditions, une attente de reproductibilité sur les motifs (patterns) de données résultant de l'expérience plutôt que sur les données exactes sortantes, et typiquement sur l'utilisation de la statistique pour trancher quant à la validité de reproduction de ces motifs.
#### 3 Reproducibilité Indirecte ou Hypothétique: Expériences Semi-Standardisées
Ici, certains détails significatifs des protocoles échappent fatalement au contrôle des expérimentateurs". Cela concerne par exemple la recherche sur les **organismes modèles** (rats de labo), la **psychologie sociale**, ou la **neuroscience** : toutes ces activités scientifiques ont en commun d'être impossibles à standardiser complètement.
#### 4 Reproducibilité par Expertise: Expériences Non-Standard et Objets de Recherche Rares
Ici, "le fait d'être significatif est moins lié au contrôle des conditions expérimentales qu'à l'expertise de la gestion des conditions exceptionnelles". Ce sont les **sciences du rare** qui sont ici concernées : en **archéologie**, la répétiton est tout simplement impossible et sans objet. ". Dans cette catégorie, la vertu épistémique se trouve dans l'expertise : "**l'expertise reproductible** se définit comme la compréhension qu'un expérimentateur qualifié travaillant avec des méthodes similaires sur les mêmes matériaux à ce moment et cet endroit précis produirait des résultats similaires".
#### 5 Observation Reproductible: Études de Cas Non-expérimentales
Les deux dernières catégories concernent les **sciences de l'observation** : "enquêtes, descriptions, études de cas qui documentent des circonstances uniques". L'**expertise** y est encore une fois clé pour l' **"observation reproductible".** "La reproductibilté de l'observation consiste en la compréhension que n'importe quel chercheur qualifié travaillant avec les mêmes méthodes, au même endroit au même moment, obtiendrait des résultats similaires, au moins dans les motifs". Leonelli cite la **sociologie** mais aussi la **radiologie** et IRM etc.)
Ici "l'idée même de reproductibilité est écartée au profit de la subjectivité, et d'une dépendance inévitable du contexte pour les résultats de recherche". En **anthropologie**, la reproductibilité n'a pas de sens : "les anthropologues ne peuvent pas compter sur la reproductibilité en tant que critère épistémique pour la validité et la qualité de leurs données. Ils se concentrent du coup sur la documentation du processus de production des données".
Là où la reproductibilité n'a pas de sens, les communautés scientifiques font reposer leur crédibilité sur d'autres vertus épistémiques. La **réflexivité**, par exemple, (dont de nombreuses sciences pourraient s'inspirer). “Le concept de réflexivité est essentiel dans ces méthodes : il requiert des chercheurs une compréhension la plus complète possible de leur propre influence".
La conclusion de Leonelli à propos de cette typologie en six catégories est que ***l'exigence de reproductibilité (en tant que moyen d'obtenir la fiabilité) pose problème,*** et ce encore plus si elle est définie dans un sens étroit, basé sur des préceptes qui n'ont de sens que dans un seul domaine scientifique. Elle pose problème pour la vitalité de champs scientifiques différents pour lesquels cette exigence peut être sans objet, voire contre-productive. Certains vont même plus loin et voient dans l'exigence de reproductibilité globale "one size fits all" une tentative de ***ghettoïsation des sciences*** qui ne correspondraient pas à ce standard trop facilement accepté comme universel ([Penders et al. 2019](https://www.mdpi.com/2304-6775/7/3/52)).
## III. La crise et le discours de crise
La narration de la reproductibilité en tant que crise pose question : Pourquoi est-on en crise maintenant, c'est-à-dire depuis les années 2010? Pourquoi est-on en crise en même temps dans des domaines distincts (psychologie, épidémiologie, sciences computationnelles...) ? Quel est le lien avec la narration de la science ouverte ? Quel est le lien avec la crise de l'accès ouvert aux publications, et la question de l'ouverture des données qui lui est liée ([Hocquet,2018](https://theconversation.com/debat-l-open-science-une-expression-floue-et-ambigue-108187)) ? Quels sont les enjeux ? Comment et pourquoi ces éléments de discours sont ils repris/amorcés/amplifiés par des institutions (sociétés savantes, institutions nationales...) ? Quelle vision normative de ce que devrait être la "bonne science" cela traduit-il ? En quoi cette narration est-elle liée à une crise de confiance (des citoyens, des institutions) envers la science et comment est-elle gérée (par les institutions) ? Sans pouvoir répondre à toutes ces questions, ce bref mémo tente de donner quelques pistes.
**La crise dans les discours médiatiques**
Concomitance avec la crise des publications et avec la revendication de l’**Open Access** (et plus largement désormais **Open Science**) : volonté de **transparence**, qualité des publications et critique du **peerreviewing**.
La reproductibilité est revendiquée comme le "**gold standard**", l'étalon qui permet la confiance dans l'activité scientifique, confiance de la part de la communauté des chercheurs eux-mêmes mais aussi pour les institutions scientifiques de financement, et les citoyens. Le lien entre publication, transparence et reproductibilité est particulièrement prégnant dans la critique du peer-reviewing qui accompagne le mouvement de l'Open Access.
**Crise en psychologie.**
**Crise dans les essais cliniques** sur les traitements thérapeutiques (liés au développement de l’EBM)
**Crise des statistiques / “MetaScience” des statisticiens et pb éthiques**
'autre angle de contestation est porté par les statisticiens. La publication de 2005 de Ioannidis "Why Most Published Research Findings Are False" (au titre particulièrement nuancé) est de loin la plus citée ([Ioannidis, 2005](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124)). Au point que depuis, un champ scientifique auto-proclamé appelé "[méta-science](https://en.wikipedia.org/wiki/Metascience)", imaginé par des statisticiens censé analyser les problèmes de reproductibilité en science, se concentre exclusivement sur les problèmes posés par la statistique et analyse la question exclusivement sous l'angle des bonnes pratiques statistiques, en les élevant au rang de parangon de LA méthode scientifique, comme si elle était unique.
Il est de fait frappant que la quasi unanimité de la médiatisation de la crise concerne le traitement statistique des résultats des expériences, et ce dans les deux domaines évoqués ici et dans la plupart des autres. L'omniprésence des traitements statistiques, d'abord en tant que pratique scientifique de plus en plus répandue au-delà des cercles d'experts du domaine, puis en tant que sujet de débat médiatique représente la troisième dynamique en question. Les problèmes épistémiques de reproductibilité sont pourtant bien plus divers que cette seule question, mais la reproductibilité statistique est de loin la plus médiatique.
