From a87e6a715ac588ea485d6d3daa736b96643c004b Mon Sep 17 00:00:00 2001 From: "A.Changenet" Date: Mon, 5 Apr 2021 19:22:03 +0100 Subject: [PATCH] final --- .DS_Store | Bin 0 -> 10244 bytes .gitignore | 4 + ...mplatedowncute.Rmd => Journal_de_bord.Rmd} | 80 ++++++++++++++++++ journal/Readme.md | 11 +-- mooc-rr.Rproj | 13 +++ 5 files changed, 99 insertions(+), 9 deletions(-) create mode 100644 .DS_Store create mode 100644 .gitignore rename Htmltemplatedowncute/{Htmltemplatedowncute.Rmd => Journal_de_bord.Rmd} (58%) create mode 100644 mooc-rr.Rproj diff --git a/.DS_Store b/.DS_Store new file mode 100644 index 0000000000000000000000000000000000000000..4cc0093264f6e4a72d17404a205132c9efbfdfcb GIT binary patch literal 10244 zcmeHMYiu0V6+WNi#4|UqaR~9wV#iAyHwNs~j)UzGC#)YyeT}RQv^#4Xmi%bNwVhY4qgqeSZwTfGT3X`kU9%na{PCWoCmk)z794%4;HW7UMz&Up zZA0!zCf)BIcZRK{KKt3n&0Se%oP8P`$$0tEv_EWBjwHO1yqCy1U7jZg`$IYBXinbk z^E268j~X~^S$W^N)ZuaNxYNs{*>stF($2A*n@Rh7oUG5XF5av^-aN7B>}YLWL({tU z&aRV-mn^j^mkF_tBb3g$m%C1O_k^3u9od`kN1SxZO&=Z{cYQbMIRoj$s8dc}d?*f0BgvJPK$ zx2TV-F|C9#;Im))5$B6W)AG%MEBR;Cre788|yn&9JtcgX7vg-MK+* zG%C?(4vl0+N7)}=cW;iw4eKf6pnUfw2|u@U%t`a>rSILybh6p!I&___YHvH~9abh~iHFZr${@feT1ai;J%I2Rskwk{W|&nO=MxJZNW ztmS8~tZQg&Y1UjG`?F~;lRnHE3DpW3WiCiD8+hbUtKQ31T<}x@l4ptw zswO8pm0k6;<_HrDIe~4gQt8`_4a^R4mA2cN9WF&b1~_F$;NWr`#u)R%ah0yuF+Y40 zx8hqWNq>mD@eqEDU*icpiQnKEJdc+(Xp4!vL$?c8yfPa|#%d{_+1O64b9r##Kr zdx8E;uhT#1eE=0)n^Yl!b5PCHu_mZbn$U(0Rikub3$|h#`mmkxw;O{P!ahb}N}@jHOJ%|rIYjoW?Raj; yeMPl9!+pVSmeR+Aano8VbGB3FEcI^wr~YR^xc)Eh_Lh`#;rc(=@&2N(|NjT>7xf(g literal 0 HcmV?d00001 diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..5b6a065 --- /dev/null +++ b/.gitignore @@ -0,0 +1,4 @@ +.Rproj.user +.Rhistory +.RData +.Ruserdata diff --git a/Htmltemplatedowncute/Htmltemplatedowncute.Rmd b/Htmltemplatedowncute/Journal_de_bord.Rmd similarity index 58% rename from Htmltemplatedowncute/Htmltemplatedowncute.Rmd rename to Htmltemplatedowncute/Journal_de_bord.Rmd index 0977f26..cbb2073 100644 --- a/Htmltemplatedowncute/Htmltemplatedowncute.Rmd +++ b/Htmltemplatedowncute/Journal_de_bord.Rmd @@ -147,6 +147,86 @@ git reset et git restore +# Module 3 +* Dans une analyse réplicable, les codes sont fourni ainsi que les calculs. +* Donc plus facile a vérifier et refaire + +## Etude de cas + +* Toutes modifs doit pouvoir être refaite ! + + + +* Here are two useful functions: + + * `all(diff(data$date) == 7)` : Functions diff look at the difference between iteration and all look at wether the values are true for an entire vector (here all the differences) + * `with(tail(data, 200), plot(date, inc, type="l", xlab="Date", ylab="Incidence hebdomadaire"))` : Here the function with evaluate an expression within a constructed environement from data. (Here from the end of the dataset. ) + + +# Module 4 La réalité du terrain + +## L'enfer des données + +* Les données sont diverses et volumineuse + * Souvent pas d'observations pour toutes les variables a chaque pas de temps (= colonnes différentes longueur). + * Format texte => Format binaire. pour plusieurs raisons. + * Garder les métadonées du format texte. + * Problème du boutisme (petit ou grand à spécifier) + * FITS et HDF5 => Deux formats binaires. + * FITSio avec R ; 3 paquets avec R. +* Comment archiver les données car Git pas bien adapté. + * Zenodo ou Figshare permettent de déposer ses données (au format binaire par exemple, mais pas de contrainte) + + + + +## L'enfer du logiciel + +* Passage à l'échelle (plus gros code, plus de données...) + * Org mode permets d'avoir une meilleur vue (structure) mais quand même. + * Workflow. La représentation en graph permet d'avoiur une vu d'ensemble plus claire. + * Pas de façon simple/mature de passer d'un notebook à un workflow + * Code exéuté de manière fonctionnelle. + * Notebook plus séquenciel. Workflow permets explication parallèle. + * Exemples: Galaxy, Kepler, Taverna, Pegasus... + * Légers: dask, **drake** (spécial pour R), swift, snakemake... + * Hybrides: SOS-notebook + * Checkpoint et cache + * Supercalculateur + +* Environnement complexe .... + * dépendances... => Sur macOS => brew gestionnaire de gestion de paquets (comme apt pour linux). + * Environnement contrôlé: + * Machine virtuelle ou conteneur (docker) + * Conserver le bazarre: CDE, ReproZip: figer un environnement et le partager avec un collègue. Mais figé. + * Ou faire le ménage: Docker/Singularity, Guix/Nix. Installer juste le nécessaire et l'expliciter. + * L'épreuve du temps. + * Python 2 et 3 + * Différence entere version de mac et des calculs. Ou entre mac et windows. + * => Intégration continue pour tester la reconstructibilité et fonctiuonnalité => Outil [popper](https://getpopper.io/) + +* Archivage : Software Heritage; HAL +* Gestion des environnements: dockerhub, nix, repository ... code clean. + + + +## L'enfer du calcul + +* Problème des arrondi implicite dans chaque opérations +* Importance des ordres des opérations donc. Compilateur changent cet ordre ! +* Compilations peut être rendue reproductible. +* Calcul parallèle => adapter l'ordre des opérations. Minimiser son impact est un sujet actuel. +* Calcul = Plateforme + logiciel + données. + +### Nombres aléatoires + +* DEéfinir la graine dans le code d'application. + +# Conclusions + + + + diff --git a/journal/Readme.md b/journal/Readme.md index f56eb60..98b5fb2 100644 --- a/journal/Readme.md +++ b/journal/Readme.md @@ -1,9 +1,2 @@ -# Journal de bord du Mooc / Mooc's logbook - -FR - -Espace réservé au journal de bord du Mooc - -EN - -Reserved for the Mooc's logbook \ No newline at end of file +# MOOC_Recherche_Reproductible +This is the folder containing all notes and info about the mooc diff --git a/mooc-rr.Rproj b/mooc-rr.Rproj new file mode 100644 index 0000000..8e3c2eb --- /dev/null +++ b/mooc-rr.Rproj @@ -0,0 +1,13 @@ +Version: 1.0 + +RestoreWorkspace: Default +SaveWorkspace: Default +AlwaysSaveHistory: Default + +EnableCodeIndexing: Yes +UseSpacesForTab: Yes +NumSpacesForTab: 2 +Encoding: UTF-8 + +RnwWeave: Sweave +LaTeX: pdfLaTeX -- 2.18.1