- ReScience C (github) : "reproductible science is good, replicated science "
- CASCAD Certification Agency for Scientific Code & Data
## I. Notion de recherche reproductible
### Historique : la reproductibilité, un besoin ancien.
Historique et buts d'une recherche reproductible
**Besoin de crédibilité et de réputation des scientifiques**
Vocabulaire
Littérométrie
ReScience C :
Article de Nature
Google Trends "crise de la reproductibilité / Retraction Watch"
Article Wikipedia
Référence en matière d'histoire des sciences : le livre *Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life*, de Steven Shapin and Simon Schaffer, 1989.
- du **spectacle** du vide et des pompes à air (XVIIe, Otto von Guericke) pour asseoir sa réputation et sa crédibilité (cf. la pile électrique et les expé de Leyden)
- à la **narration auprès de tiers** de bonne foi de ses expériences (Boyle, vs Hobbes)
- => création de la communauté “scientifique” de la **Royal Society** et des premières correspondances écrites entre scientifiques (ancêtres des **revues**)
## I. Notion de recherche reproductible
**Un vocabulaire non fixé**
### Historique : la reproductibilité, un besoin ancien.
** Besoin de crédibilité et de réputation des scientifiques** : l’exemple historique des premières expérimentations de pompes à air : asseoir sa réputation et sa crédibilité par le spectable (… cf. la pile électrique et les expé de Leyden), puis, autre scientifique, par les tiers de bonne foi et la narration de l’expérience devant des tiers de bonnes foi (gens bien nés) => création de la communauté “scientifique” Royal Society et des premières correspondances entre scientifiques (ancêtres des revues)
**Une notion, un vocabulaire non fixé.**
“Crise de la reproductibilité”, “replicability”? “repeatability”? “checking”? “robustness”?
“Crise de la reproductibilité”, “replicability”? “repeatability”? “checking”? “robustness”?
Typologie du vocabulaire (Nature, 2016) Baker, M. Muddled meanings hamper efforts to fix reproducibility crisis. *Nature* (2016).[https://doi.org/10.1038/nature.2016.20076](https://doi.org/10.1038/nature.2016.20076)
Typologie du vocabulaire (Nature, 2016) Baker, M., "Muddled meanings hamper efforts to fix reproducibility crisis.", *Nature* (2016)[https://doi.org/10.1038/nature.2016.20076](https://doi.org/10.1038/nature.2016.20076)
**Concept émergent depuis 2010’s** (cf. [Google Trends)](https://trends.google.com/trends/explore?date=all&q=%2Fm%2F012mc030,%2Fm%2F0hgq9rc,research%20integrity). Article wikipédia depuis 2015 (EN) et 2016 (FR). Numéro spécial de **Nature** 14 février 2016, dont une grande enquête de plusieurs centaines de scientifiques systématiquement citée depuis, etc. 2018
**Concept émergent depuis 2010’s** (cf. [Google Trends)](https://trends.google.com/trends/explore?date=all&q=%2Fm%2F012mc030,%2Fm%2F0hgq9rc,research%20integrity). Article wikipédia depuis 2015 (EN) et 2016 (FR). Numéro spécial de **Nature** 14 février 2016, dont une grande enquête de plusieurs centaines de scientifiques systématiquement citée depuis, etc. 2018
### Reproduire, pour plusieurs buts
### Reproduire, pour plusieurs buts
1.**Vertus épistémologiques** :** faire et refaire les expé, pour avancer en connaissance ). Ex. Le venin des serpents sur les grenouilles
1.**Vertus épistémologiques** : faire et refaire les expé, pour avancer en connaissance. Ex. Le venin des serpents sur les grenouilles
2.**Reproduire pour l’histoire des sciences** :** comprendre les contextes et les **savoirs tacites** Ex : Joule et les brasseurs de bière
2.Reproduire pour l’**histoire des sciences** : comprendre les contextes et les **savoirs tacites** Ex : Joule et les brasseurs de bière
3.**Emporter l’adhésion** (légitimité sc.) : la pompe à air de Robert Boyle (18e)
3.**Emporter l’adhésion** (légitimité sc.) : la pompe à air de Robert Boyle (18e)
> L'avènement de la pompe à air au XVIIe siècle est un exemple canonique. La crédibilité des expériences sur le vide de Otto von Guericke était basée sur le spectacle. L'exceptionnalité de ses démonstrations publiques et l'appareillage complexe et unique de la pompe à vide rendait la reproduction inenvisageable, si ce n'est pour Guericke lui-même (pour la garantie du succès de ses spectacles).
>
> Les expériences sur le vide de Robert Boyle, basées sur le même principe expérimental, mais sur un appareillage différent, avaient besoin d'autre chose pour gagner en crédibilité. Le succès de ses expériences dépendait de manière critique du savoir faire experimental de Hooke. Pour emporter l'adhésion sur le résultat de ses expériences, Boyle a eu recours à des témoins bien choisis (les gentlemen à la base de la fondation de la Royal Society, dignes de confiance puisqu'aristocrates). Au dela, la description la plus précise possible par écrit des expériences et des appareillages dans un compte rendu certifié par des gentlemen (et qui est l'ancêtre de la publication telle qu'on la connait aujourd'hui) consiste en ce que les historiens Shapin et Schaeffer ([Shapin et Schaffer, 1989](https://press.princeton.edu/books/paperback/9780691178165/leviathan-and-the-air-pump)) ont appelé un témoin virtuel (virtual witness), consigné par écrit. Il faut noter que personne, malgré les tentatives de Huyghens en France notamment, n'a réussi à reproduire une pompe à air fonctionnelle à l'aide de ces publications : Cette reproduction dépendait de trop de savoirs tacites. Le but de cette "technique littéraire" (litterary technology) n'était effectivement pas (et n'est toujours pas dans les publications aujourd'hui) exactement la reproductibilité, mais plutôt la légitimité.
4.**Etudier les controverses scientifiques** : ex. ondes gravitiationnelles
4.**Etudier les controverses scientifiques** : ex. ondes gravitiationnelles
> “L'école de la SSK (pour Sociology of Scientific Knowledge) s'est particulièrement intéressée aux controverses scientifiques, parce qu'elles permettent d'en savoir plus sur ce qui se passe vraiment dans la **science en train de se faire (knowledge in the making)** par rapport à une situation sans problème. Étudier les controverses, c'est augmenter les chances de comprendre les formes de savoir tacite qui conditionnent la reproduction, qui n'apparaissent pas dans les publications, et qui surgissent au grand jour parce que des chercheurs contestent.”
> “L'école de la SSK (pour Sociology of Scientific Knowledge) s'est particulièrement intéressée aux controverses scientifiques, parce qu'elles permettent d'en savoir plus sur ce qui se passe vraiment dans la science en train de se faire (***knowledge in the making***) par rapport à une situation sans problème. Étudier les controverses, c'est augmenter les chances de comprendre les formes de **savoir tacite** qui conditionnent la reproduction, qui n'apparaissent pas dans les publications, et qui surgissent au grand jour parce que des chercheurs contestent.”
## II. Les 6 modes de reproductibilité de Leonelli :
## II. Les 6 modes de reproductibilité de Leonelli :
...
@@ -49,7 +50,7 @@ ex **essais cliniques en médecine** ou la **physique des particules** et où, p
...
@@ -49,7 +50,7 @@ ex **essais cliniques en médecine** ou la **physique des particules** et où, p
### 3. Reproductibilité Indirecte ou Hypothétique: Expériences Semi-Standardisées
### 3. Reproductibilité Indirecte ou Hypothétique: Expériences Semi-Standardisées
Ici, certains détails significatifs des protocoles échappent fatalement au contrôle des expérimentateurs". Cela concerne par exemple la recherche sur les **organismes modèles** (rats de labo), la **psychologie sociale**, ou la **neuroscience** : toutes ces activités scientifiques ont en commun d'être impossibles à standardiser complètement.
Ici, "certains détails significatifs des protocoles échappent fatalement au contrôle des expérimentateurs". Cela concerne par exemple la recherche sur les **organismes modèles** (rats de labo), la **psychologie sociale**, ou la **neuroscience** : toutes ces activités scientifiques ont en commun d'être impossibles à standardiser complètement.
### 4. Reproductibilité par Expertise: Expériences Non-Standard et Objets de Recherche Rares
### 4. Reproductibilité par Expertise: Expériences Non-Standard et Objets de Recherche Rares
...
@@ -82,7 +83,7 @@ Concomitance avec la crise des publications et avec la revendication de l’**Op
...
@@ -82,7 +83,7 @@ Concomitance avec la crise des publications et avec la revendication de l’**Op
**Crise dans les essais cliniques** sur les traitements thérapeutiques (liés au développement de l’EBM)
**Crise dans les essais cliniques** sur les traitements thérapeutiques (liés au développement de l’EBM)
**Crise des statistiques / “MetaScience” des statisticiens et pb éthiques**
**Crise des statistique**s / “MetaScience” des statisticiens et pb éthiques
> L'autre angle de contestation est porté par les statisticiens. La publication de 2005 de Ioannidis "Why Most Published Research Findings Are False" (au titre particulièrement nuancé) est de loin la plus citée ([Ioannidis, 2005](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124)). Au point que depuis, un champ scientifique auto-proclamé appelé "[méta-science](https://en.wikipedia.org/wiki/Metascience)", imaginé par des statisticiens censé analyser les problèmes de reproductibilité en science, se concentre exclusivement sur les problèmes posés par la statistique et analyse la question exclusivement sous l'angle des bonnes pratiques statistiques, en les élevant au rang de parangon de LA méthode scientifique, comme si elle était unique.
> L'autre angle de contestation est porté par les statisticiens. La publication de 2005 de Ioannidis "Why Most Published Research Findings Are False" (au titre particulièrement nuancé) est de loin la plus citée ([Ioannidis, 2005](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124)). Au point que depuis, un champ scientifique auto-proclamé appelé "[méta-science](https://en.wikipedia.org/wiki/Metascience)", imaginé par des statisticiens censé analyser les problèmes de reproductibilité en science, se concentre exclusivement sur les problèmes posés par la statistique et analyse la question exclusivement sous l'angle des bonnes pratiques statistiques, en les élevant au rang de parangon de LA méthode scientifique, comme si elle était unique.