Skip to content

M
mooc-rr-ressources
Commit a21a2b7b authored by Konrad Hinsen's avatar Konrad Hinsen
Browse files
Options

Traduction anglaise exo 1 module 4

parent 1d66becc
Show whitespace changes
Inline Side-by-side
Showing with 184 additions and 33 deletions
module4/ressources/exo1.html
View file @ a21a2b7b
<div id="content"> <div id="outline-container-orgc50e61e" class="outline-2">
<div id="table-of-contents"> <h2 id="orgc50e61e">Exercice 1 : Ré-exécuter n'est pas répliquer&#x2026;</h2>
<h2>Table of Contents</h2> <div class="outline-text-2" id="text-orgc50e61e">
<div id="text-table-of-contents">
<ul style="margin:0 0;">
<li style="margin-bottom:0;"><a href="#orga4fb7ce">Exercice 1 : Ré-exécuter n'est pas répliquer&#x2026;</a></li>
</ul>
</div>
</div>
<div id="outline-container-orga4fb7ce" class="outline-2">
<h2 id="orga4fb7ce">Exercice 1 : Ré-exécuter n'est pas répliquer&#x2026;</h2>
<div class="outline-text-2" id="text-orga4fb7ce">
<p> <p>
Même si la terminologie peut varier d'un auteur ou d'une communauté à Même si la terminologie peut varier d'un auteur ou d'une communauté à
l'autre, il est important de comprendre que l'on peut distinguer l'autre, il est important de comprendre que l'on peut distinguer
...@@ -55,7 +45,7 @@ vous avez pu utiliser dans le module 2). Cet exercice peut donc se ...@@ -55,7 +45,7 @@ vous avez pu utiliser dans le module 2). Cet exercice peut donc se
faire à deux niveaux : faire à deux niveaux :
</p> </p>
<ol class="org-ol"> <ol class="org-ol">
<li style="margin-bottom:0;">un niveau facile pour ceux qui repartiront du code dans le langage <li>un niveau facile pour ceux qui repartiront du code dans le langage
qu'ils n'auront initialement pas utilisé et se contenteront de le qu'ils n'auront initialement pas utilisé et se contenteront de le
ré-exécuter. Pour cela, nul besoin de maîtriser la régression ré-exécuter. Pour cela, nul besoin de maîtriser la régression
logistique, il suffit de bien inspecter les sorties produites et de logistique, il suffit de bien inspecter les sorties produites et de
...@@ -64,7 +54,7 @@ ceux qui ré-exécuteraient le notebook Python dans l'environnement ...@@ -64,7 +54,7 @@ ceux qui ré-exécuteraient le notebook Python dans l'environnement
Jupyter du MOOC, n'hésitez pas à consulter <a href="https://www.fun-mooc.fr/courses/course-v1:inria+41016+session01bis/jump_to_id/4ab5bb42ca1e45c8b0f349751b96d405">les ressources de la Jupyter du MOOC, n'hésitez pas à consulter <a href="https://www.fun-mooc.fr/courses/course-v1:inria+41016+session01bis/jump_to_id/4ab5bb42ca1e45c8b0f349751b96d405">les ressources de la
section 4A du module 2</a> qui expliquent comment y importer un section 4A du module 2</a> qui expliquent comment y importer un
notebook.</li> notebook.</li>
<li style="margin-bottom:0;">un niveau plus difficile pour ceux qui souhaiteront le réécrire <li>un niveau plus difficile pour ceux qui souhaiteront le réécrire
complètement (éventuellement dans un autre langage que R ou Python, complètement (éventuellement dans un autre langage que R ou Python,
l'expérience peut être d'autant plus intéressante que nous n'avons l'expérience peut être d'autant plus intéressante que nous n'avons
pas testé ces variations). Là, si les fonctions de calcul d'une pas testé ces variations). Là, si les fonctions de calcul d'une
...@@ -78,41 +68,41 @@ Vous pourrez alors discuter sur le forum des succès et des échecs que ...@@ -78,41 +68,41 @@ Vous pourrez alors discuter sur le forum des succès et des échecs que
vous aurez pu rencontrer. Pour cela : vous aurez pu rencontrer. Pour cela :
</p> </p>
<ul class="org-ul"> <ul class="org-ul">
<li style="margin-bottom:0;"><b>Vous publierez auparavant dans votre dépôt les différents notebooks</b> <li><b>Vous publierez auparavant dans votre dépôt les différents notebooks</b>
en prenant bien soin d'enrichir votre document des informations en prenant bien soin d'enrichir votre document des informations
(numéros de version, etc.) sur votre système et sur les (numéros de version, etc.) sur votre système et sur les
bibliothèques installées.</li> bibliothèques installées.</li>
<li style="margin-bottom:0;">Vous indiquerez votre résultat (que ça soit un succès ou échec à <li>Vous indiquerez votre résultat (que ça soit un succès ou échec à
obtenir les mêmes résultats) en <b>remplissant ce <a href="https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md">tableau</a></b> (vous avez obtenir les mêmes résultats) en <b>remplissant ce <a href="https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md">tableau</a></b> (vous avez
les droits d'édition donc il vous suffit d'éditer les fichiers via les droits d'édition donc il vous suffit d'éditer les fichiers via
l'interface GitLab). Vous vérifierez les valeurs obtenues pour : l'interface GitLab). Vous vérifierez les valeurs obtenues pour :
<ol class="org-ol"> <ol class="org-ol">
<li style="margin-bottom:0;">les coefficients de la pente et de l'intercept</li> <li>les coefficients de la pente et de l'intercept</li>
<li style="margin-bottom:0;">les estimations d'erreur de ces coefficients</li> <li>les estimations d'erreur de ces coefficients</li>
<li style="margin-bottom:0;">le goodness of fit</li> <li>le goodness of fit</li>
<li style="margin-bottom:0;">la figure</li> <li>la figure</li>
<li style="margin-bottom:0;">la zone de confiance</li> <li>la zone de confiance</li>
</ol></li> </ol></li>
<li style="margin-bottom:0;"><p> <li><p>
Pour chacun vous indiquerez si le résultat est : Pour chacun vous indiquerez si le résultat est :
</p> </p>
<ul class="org-ul"> <ul class="org-ul">
<li style="margin-bottom:0;">identique</li> <li>identique</li>
<li style="margin-bottom:0;">proche à moins de trois décimales</li> <li>proche à moins de trois décimales</li>
<li style="margin-bottom:0;">très différent</li> <li>très différent</li>
<li style="margin-bottom:0;">non fonctionnel (pas de résultat obtenu)</li> <li>non fonctionnel (pas de résultat obtenu)</li>
</ul> </ul>
<p> <p>
Vous indiquerez également dans ce tableau : Vous indiquerez également dans ce tableau :
</p> </p>
<ul class="org-ul"> <ul class="org-ul">
<li style="margin-bottom:0;">un lien vers votre espace gitlab contenant les différents notebooks</li> <li>un lien vers votre espace gitlab contenant les différents notebooks</li>
<li style="margin-bottom:0;">le nom du système d'exploitation utilisé</li> <li>le nom du système d'exploitation utilisé</li>
<li style="margin-bottom:0;">le langage utilisé et son numéro de version</li> <li>le langage utilisé et son numéro de version</li>
<li style="margin-bottom:0;">les numéros des principales bibliothèques utilisées <li>les numéros des principales bibliothèques utilisées
<ul class="org-ul"> <ul class="org-ul">
<li style="margin-bottom:0;">Python : numpy, pandas, matplotlib, statsmodels&#x2026;</li> <li>Python : numpy, pandas, matplotlib, statsmodels&#x2026;</li>
<li style="margin-bottom:0;">R : BLAS, ggplot, dplyr si chargées</li> <li>R : BLAS, ggplot, dplyr si chargées</li>
</ul></li> </ul></li>
</ul></li> </ul></li>
</ul> </ul>
...@@ -130,4 +120,103 @@ observées et nous vous l'enverrons à la fin du MOOC. ...@@ -130,4 +120,103 @@ observées et nous vous l'enverrons à la fin du MOOC.
</p> </p>
</div> </div>
</div> </div>
<div id="outline-container-org55f722b" class="outline-2">
<h2 id="org55f722b" style="color: #b62567;">Re-execution is not replication&#x2026;</h2>
<div class="outline-text-2" id="text-org55f722b">
<p style="color: #b62567;">
Unfortunately terminology varies a lot between authors and
communities, but it is important to understand the distinction between
different levels of "replication". You can be satisfied with
re-running the code and get exactly the same results, but you can also
try to obtain similar results using a similar approach, changing for
example the programming language, computational method, etc. An
article we recommend on this topic is
<a href="https://arxiv.org/abs/1708.08205">https://arxiv.org/abs/1708.08205</a>.
</p>
<p style="color: #b62567;">
Often the devil is in the details that one would have never thought
about, and we have had our share of surprises while preparing this
MOOC, in particular with the exercise on the Challenger catastrophe
from module 2. We therefore propose in this exercise that you re-do a
part of this analysis, following the example of Siddhartha Dallal and
co-authors almost 30 years ago in their article <i>Risk Analysis of the
Space Shuttle: Pre-Challenger Prediction of Failure</i>, published in the
<i>Journal of the American Statistical Association</i> (Vol. 84, No. 408,
Déc., 1989), but using a different language of your choosing (Python,
R, Julia, SAS&#x2026;).
</p>
<p style="color: #b62567;">
Our experience shows that the estimations of slope and intercept are
generally the same, but there can be differences when looking at
variance estimators and R<sup>2</sup> in more detail. Another source of
surprises is the final graphical presentation, depending on the
versions of the libraries that are used.
</p>
<p style="color: #b62567;">
The computations to be done are described at
<a href="https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/">https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/</a>
together with instructions for contributing.
</p>
<p style="color: #b62567;">
You will find there our replications of the computations by Dallal <i>et
al.</i> (in R), one in Python and one in R (very similar to what you have
used in module 2). This exercise can be done at two levels:
</p>
<ol class="org-ol">
<li style="color: #b62567;">an easy level at which you start from the code in the language that you did not use initially, and content yourself with re-executin it. This doesn't require mastering logistic regression, it is sufficien to inspect the outputs produced and check that they correspond to the expected values. For those who want to re-execute the Python notebook in our MOOC's Jupyter environment, check <a href="https://www.fun-mooc.fr/courses/course-v1:inria+41016+session01bis/jump_to_id/4ab5bb42ca1e45c8b0f349751b96d405">the resources for sequence 4A of module 2</a> that explain how to import a notebook.</li>
<li style="color: #b62567;">a more difficult level at which you rewrite the analysis completely, possibly in a different language than Python or R, which makes the exercise more interesting because we have not tested such variants. If logistic regression is not already implemented for your language, you will need a good understanding of it in order to write the code yourself, which of course makes the exercise even more instructive.</li>
</ol>
<p style="color: #b62567;">
You can discuss your successes or failures on the forum, after following these instructions:
</p>
<ul class="org-ul">
<li style="color: #b62567;"><b>First, publish your notebooks in your repository</b>, taking care to enrich your document with information about your system and your libraries (version numbers etc.).</li>
<li style="color: #b62567;">Indicate your result by adding to this <a href="https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md">table</a> (you have write permissions, so you can simply edit it via the GitLab interface). Check the values obtained for:
<ol class="org-ol">
<li style="color: #b62567;">the slope and intercept coefficients</li>
<li style="color: #b62567;">the error estimates for these coefficients</li>
<li style="color: #b62567;">the goodness of fit</li>
<li style="color: #b62567;">the plot</li>
<li style="color: #b62567;">the confidence region</li>
</ol></li>
<li><p style="color: #b62567;">
For each of these values, specify if your result is
</p>
<ul class="org-ul">
<li style="color: #b62567;">identical</li>
<li style="color: #b62567;">close, to three decimal places</li>
<li style="color: #b62567;">very different</li>
<li style="color: #b62567;">non functional (no result obtained)</li>
</ul>
<p style="color: #b62567;">
Also provide in this table:
</p>
<ul class="org-ul">
<li style="color: #b62567;">a link to your GitLab workspace with your notebook(s)</li>
<li style="color: #b62567;">your operating system</li>
<li style="color: #b62567;">the language you used, with the version number</li>
<li style="color: #b62567;">version numbers for the main libraries
<ul class="org-ul">
<li style="color: #b62567;">Python: numpy, pandas, matplotlib, statsmodels&#x2026;</li>
<li style="color: #b62567;">R: BLAS, ggplot, dplyr if used</li>
</ul></li>
</ul></li>
</ul>
<p style="color: #b62567;">
Don't worry if these instructions seem confusing, they are reproduced above the <a href="https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md">table</a> and you will quickly notice if something is missing when you try to add your data.
</p>
<p style="color: #b62567;">
We will compile a synthesis of the principal divergences observes and make it available at the end of the MOOC.
</p>
</div>
</div>
</div> </div>
module4/ressources/exo1.org
View file @ a21a2b7b
...@@ -93,3 +93,65 @@ ce tableau. ...@@ -93,3 +93,65 @@ ce tableau.
Nous effectuerons une synthèse illustrant les principales divergences Nous effectuerons une synthèse illustrant les principales divergences
observées et nous vous l'enverrons à la fin du MOOC. observées et nous vous l'enverrons à la fin du MOOC.
* Exercice 1: Re-execution is not replication...
Unfortunately terminology varies a lot between authors and
communities, but it is important to understand the distinction between
different levels of "replication". You can be satisfied with
re-running the code and get exactly the same results, but you can also
try to obtain similar results using a similar approach, changing for
example the programming language, computational method, etc. An
article we recommend on this topic is
[[https://arxiv.org/abs/1708.08205]].
Often the devil is in the details that one would have never thought
about, and we have had our share of surprises while preparing this
MOOC, in particular with the exercise on the Challenger catastrophe
from module 2. We therefore propose in this exercise that you re-do a
part of this analysis, following the example of Siddhartha Dallal and
co-authors almost 30 years ago in their article /Risk Analysis of the
Space Shuttle: Pre-Challenger Prediction of Failure/, published in the
/Journal of the American Statistical Association/ (Vol. 84, No. 408,
Déc., 1989), but using a different language of your choosing (Python,
R, Julia, SAS...).
Our experience shows that the estimations of slope and intercept are
generally the same, but there can be differences when looking at
variance estimators and R^2 in more detail. Another source of
surprises is the final graphical presentation, depending on the
versions of the libraries that are used.
The computations to be done are described at
[[https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/][https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/]]
together with instructions for contributing.
You will find there our replications of the computations by Dallal /et
al./ (in R), one in Python and one in R (very similar to what you have
used in module 2). This exercise can be done at two levels:
1. an easy level at which you start from the code in the language that you did not use initially, and content yourself with re-executin it. This doesn't require mastering logistic regression, it is sufficien to inspect the outputs produced and check that they correspond to the expected values. For those who want to re-execute the Python notebook in our MOOC's Jupyter environment, check [[https://www.fun-mooc.fr/courses/course-v1:inria+41016+session01bis/jump_to_id/4ab5bb42ca1e45c8b0f349751b96d405][the resources for sequence 4A of module 2]] that explain how to import a notebook.
2. a more difficult level at which you rewrite the analysis completely, possibly in a different language than Python or R, which makes the exercise more interesting because we have not tested such variants. If logistic regression is not already implemented for your language, you will need a good understanding of it in order to write the code yourself, which of course makes the exercise even more instructive.
You can discuss your successes or failures on the forum, after following these instructions:
- *First, publish your notebooks in your repository*, taking care to enrich your document with information about your system and your libraries (version numbers etc.).
- Indicate your result by adding to this [[https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md][table]] (you have write permissions, so you can simply edit it via the GitLab interface). Check the values obtained for:
1) the slope and intercept coefficients
2) the error estimates for these coefficients
3) the goodness of fit
4) the plot
5) the confidence region
- For each of these values, specify if your result is
- identical
- close, to three decimal places
- very different
- non functional (no result obtained)
Also provide in this table:
- a link to your GitLab workspace with your notebook(s)
- your operating system
- the language you used, with the version number
- version numbers for the main libraries
- Python: numpy, pandas, matplotlib, statsmodels...
- R: BLAS, ggplot, dplyr if used
Don't worry if these instructions seem confusing, they are reproduced above the [[https://app-learninglab.inria.fr/gitlab/moocrr-session1/moocrr-reproducibility-study/blob/master/results.md][table]] and you will quickly notice if something is missing when you try to add your data.
We will compile a synthesis of the principal divergences observes and make it available at the end of the MOOC.
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment