# INTRO du MOOC : Posons le décor, la crise de la reproductibilité.
**Résumé :**
* Historique, vocabulaire et intérêts d'une recherche reproductible
* Typologie, limites et critique de la reproductibilité
* Liens avec l'open science (exigence de transparence, pb qualité du peerreviewing etc.)

Mis de côté via Zotero :
- Liens entre Science ouverte et impératif de Reproductibilité
- Reproductibilité en SHS. Problématiques RGPD/Anonymisation. Outils d'enquêtes (Sphinx), littérométrie, Humanités numériques 
- Controverses statistiques (métascience)
- Des outils : markdown, Python, Latex, Graphviz, Libguides Latex, Humanités numériques
- ReScience C (github) : "reproductible science is good, replicated science "
- CASCAD Certification Agency for Scientific Code & Data

## I. Notion de recherche reproductible 
### Historique : la reproductibilité, un besoin ancien. 

**Besoin de crédibilité et de réputation des scientifiques**

Référence en matière d'histoire des sciences : le livre *Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life*, de Steven Shapin and Simon Schaffer, 1989. 

- du **spectacle** du vide et des pompes à air (XVIIe, Otto von Guericke) pour asseoir sa réputation et sa crédibilité (cf. la pile électrique et les expé de Leyden)
- à la **narration auprès de tiers** de bonne foi de ses expériences (Boyle, vs Hobbes) 
- => création de la communauté “scientifique” de la **Royal Society** et des premières correspondances écrites entre scientifiques (ancêtres des **revues**)

**Un vocabulaire non fixé**
“Crise de la reproductibilité”, “replicability”? “repeatability”? “checking”? “robustness”?

Typologie du vocabulaire (Nature, 2016) Baker, M., "Muddled meanings hamper efforts to fix reproducibility crisis.", *Nature* (2016) [https://doi.org/10.1038/nature.2016.20076](https://doi.org/10.1038/nature.2016.20076)

**Concept émergent depuis 2010’s** (cf. [Google Trends)](https://trends.google.com/trends/explore?date=all&q=%2Fm%2F012mc030,%2Fm%2F0hgq9rc,research%20integrity). Article wikipédia depuis 2015 (EN) et 2016 (FR). Numéro spécial de **Nature** 14 février 2016, dont une grande enquête de plusieurs centaines de scientifiques systématiquement citée depuis, etc. 2018

### Reproduire, pour plusieurs buts

1. **Vertus épistémologiques** : faire et refaire les expé, pour avancer en connaissance. Ex. Le venin des serpents sur les grenouilles
2. Reproduire pour l’**histoire des sciences** : comprendre les contextes et les **savoirs tacites** Ex : Joule et les brasseurs de bière
3. **Emporter l’adhésion** (légitimité sc.) : la pompe à air de Robert Boyle (18e)
4. **Etudier les controverses scientifiques** : ex. ondes gravitiationnelles

> “L'école de la SSK (pour Sociology of Scientific Knowledge) s'est particulièrement intéressée aux controverses scientifiques, parce qu'elles permettent d'en savoir plus sur ce qui se passe vraiment dans la science en train de se faire (***knowledge in the making***) par rapport à une situation sans problème. Étudier les controverses, c'est augmenter les chances de comprendre les formes de **savoir tacite** qui conditionnent la reproduction, qui n'apparaissent pas dans les publications, et qui surgissent au grand jour parce que des chercheurs contestent.” 

## II. Les 6 modes de reproductibilité de Leonelli :

### 1. Reproductibilité Computationnelle (possible et souhaitable)

### 2. Reproductibilité Expérimentale Directe: Expériences Standardisées

ex **essais cliniques en médecine** ou la **physique des particules** et où, par conséquent, la reproductibilité est un canon de l'activité scientifique : elle est désirée et essentielle. Dans cette catégorie, contrairement à la première : 
> "les circonstances de la production des données sont de première importance pour les expérimentateurs". Ces domaines sont caractérisés par un gros contrôle sur les conditions, une attente de reproductibilité sur les motifs (patterns) de données résultant de l'expérience plutôt que sur les données exactes sortantes, et typiquement sur l'utilisation de la statistique pour trancher quant à la validité de reproduction de ces motifs.

### 3. Reproductibilité Indirecte ou Hypothétique: Expériences Semi-Standardisées

Ici, "certains détails significatifs des protocoles échappent fatalement au contrôle des expérimentateurs". Cela concerne par exemple la recherche sur les **organismes modèles** (rats de labo), la **psychologie sociale**, ou la **neuroscience** : toutes ces activités scientifiques ont en commun d'être impossibles à standardiser complètement.

### 4. Reproductibilité par Expertise: Expériences Non-Standard et Objets de Recherche Rares

>  Ici, "le fait d'être significatif est moins lié au contrôle des conditions expérimentales qu'à l'expertise de la gestion des conditions exceptionnelles". Ce sont les **sciences du rare** qui sont ici concernées : en **archéologie**, la répétiton est tout simplement impossible et sans objet. ". Dans cette catégorie, la vertu épistémique se trouve dans l'expertise : "**l'expertise reproductible** se définit comme la compréhension qu'un expérimentateur qualifié travaillant avec des méthodes similaires sur les mêmes matériaux à ce moment et cet endroit précis produirait des résultats similaires".

#### 5. Observation Reproductible: Études de Cas Non-expérimentales

> Les deux dernières catégories concernent les **sciences de l'observation** : "enquêtes, descriptions, études de cas qui documentent des circonstances uniques". L'**expertise** y est encore une fois clé pour l' **"observation reproductible".** "La reproductibilté de l'observation consiste en la compréhension que n'importe quel chercheur qualifié travaillant avec les mêmes méthodes, au même endroit au même moment, obtiendrait des résultats similaires, au moins dans les motifs". Leonelli cite la **sociologie** mais aussi la **radiologie** et IRM etc.)

#### 6. Recherche Non-Reproductible: Observation Participante

> Ici "l'idée même de reproductibilité est écartée au profit de la subjectivité, et d'une dépendance inévitable du contexte pour les résultats de recherche". En **anthropologie**, la reproductibilité n'a pas de sens : "les anthropologues ne peuvent pas compter sur la reproductibilité en tant que critère épistémique pour la validité et la qualité de leurs données. Ils se concentrent du coup sur la documentation du processus de production des données".

> Là où la reproductibilité n'a pas de sens, les communautés scientifiques font reposer leur crédibilité sur d'autres vertus épistémiques. La **réflexivité**, par exemple, (dont de nombreuses sciences pourraient s'inspirer). “Le concept de réflexivité est essentiel dans ces méthodes : il requiert des chercheurs une compréhension la plus complète possible de leur propre influence".

> La conclusion de Leonelli à propos de cette typologie en six catégories est que ***l'exigence de reproductibilité (en tant que moyen d'obtenir la fiabilité) pose problème,*** et ce encore plus si elle est définie dans un sens étroit, basé sur des préceptes qui n'ont de sens que dans un seul domaine scientifique. Elle pose problème pour la vitalité de champs scientifiques différents pour lesquels cette exigence peut être sans objet, voire contre-productive. Certains vont même plus loin et voient dans l'exigence de reproductibilité globale "one size fits all" une tentative de ***ghettoïsation des sciences*** qui ne correspondraient pas à ce standard trop facilement accepté comme universel ([Penders et al. 2019](https://www.mdpi.com/2304-6775/7/3/52)).

## III. La crise et les discours de crise

> La narration de la reproductibilité en tant que crise pose question : Pourquoi est-on en crise maintenant, c'est-à-dire depuis les années 2010? Pourquoi est-on en crise en même temps dans des domaines distincts (psychologie, épidémiologie, sciences computationnelles...) ? Quel est le lien avec la narration de la science ouverte ? Quel est le lien avec la crise de l'accès ouvert aux publications, et la question de l'ouverture des données qui lui est liée ([Hocquet,2018](https://theconversation.com/debat-l-open-science-une-expression-floue-et-ambigue-108187)) ? Quels sont les enjeux ? Comment et pourquoi ces éléments de discours sont ils repris/amorcés/amplifiés par des institutions (sociétés savantes, institutions nationales...) ? Quelle vision normative de ce que devrait être la "bonne science" cela traduit-il ? En quoi cette narration est-elle liée à une crise de confiance (des citoyens, des institutions) envers la science et comment est-elle gérée (par les institutions) ? Sans pouvoir répondre à toutes ces questions, ce bref mémo tente de donner quelques pistes.

**La crise dans les discours médiatiques**

Concomitance avec la crise des publications et avec la revendication de l’**Open Access** (et plus largement désormais **Open Science**) : volonté de **transparence**, qualité des publications et critique du **peerreviewing**.


> La reproductibilité est revendiquée comme le "**gold standard**", l'étalon qui permet la confiance dans l'activité scientifique, confiance de la part de la communauté des chercheurs eux-mêmes mais aussi pour les institutions scientifiques de financement, et les citoyens. Le lien entre publication, transparence et reproductibilité est particulièrement prégnant dans la critique du peer-reviewing qui accompagne le mouvement de l'Open Access. 

**Crise en psychologie.**

**Crise dans les essais cliniques** sur les traitements thérapeutiques (liés au développement de l’EBM)

**Crise des statistique**s / “MetaScience” des statisticiens et pb éthiques


> L'autre angle de contestation est porté par les statisticiens. La publication de 2005 de Ioannidis "Why Most Published Research Findings Are False" (au titre particulièrement nuancé) est de loin la plus citée ([Ioannidis, 2005](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124)). Au point que depuis, un champ scientifique auto-proclamé appelé "[méta-science](https://en.wikipedia.org/wiki/Metascience)", imaginé par des statisticiens censé analyser les problèmes de reproductibilité en science, se concentre exclusivement sur les problèmes posés par la statistique et analyse la question exclusivement sous l'angle des bonnes pratiques statistiques, en les élevant au rang de parangon de LA méthode scientifique, comme si elle était unique. 


> Il est de fait frappant que la quasi unanimité de la médiatisation de la crise concerne le traitement statistique des résultats des expériences, et ce dans les deux domaines évoqués ici et dans la plupart des autres. L'omniprésence des traitements statistiques, d'abord en tant que pratique scientifique de plus en plus répandue au-delà des cercles d'experts du domaine, puis en tant que sujet de débat médiatique représente la troisième dynamique en question. Les problèmes épistémiques de reproductibilité sont pourtant bien plus divers que cette seule question, mais la reproductibilité statistique est de loin la plus médiatique.