@@ -11,10 +11,6 @@ dépendances. L'intégration continue est un moyen d'y arriver mais je
dirais que notre objectif n'est pas d'en faire des experts de
développement logiciel et de l'intégration continue.
Il est possible de s'arrêter à l'étape 3. Ceux qui veulent allez plus
loin vont jusqu'à l'étape 6. Et ceux qui veulent vraiment contrôler
finement, passent par l'étape 7 et aller au delà.
Ayant peu d'expérience avec Docker, je me suis appuyé sur la
[[https://people.irisa.fr/Anthony.Baire/docker-tutorial.pdf][présentation d'Anthony Baire]] pour préparer cette séquence.
...
...
@@ -37,83 +33,75 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
- Mettre en place un test pour s'assurer de sa robustesse (*Continuous
Integration*) en déportant son exécution dans des environnements
controllés
* Table des matières :TOC:
* Table des matières et Progression :TOC:
- [[#objectifs-et-problématique][Objectifs et Problématique]]
- [[#problématiques][Problématiques:]]
- [[#objectifs][Objectifs]]
- [[#progression][Progression]]
- [[#automatiser-lexécution-dun-notebook][Automatiser l'exécution d'un notebook]]
- [[#identifier-les-dépendances][Identifier les dépendances]]
- [[#sassurer-que-docker-est-bien-installé][S'assurer que docker est bien installé]]
- [[#récupérer-une-image-de-base][Récupérer une image de base]]
- [[#exécuter-une-commande-dans-un-conteneur][Exécuter une commande dans un conteneur]]
- [[#docker-en-interactif][Docker en interactif]]
- [[#installer-tous-les-paquets-dont-on-a-besoin][Installer tous les paquets dont on a besoin]]
- [[#gérer-ses-conteneurs-et-figer-un-environnement][Gérer ses conteneurs et figer un environnement]]
- [[#exécuter-notre-notebook-dans-ce-nouvel-environnemnt][Exécuter notre notebook dans ce nouvel environnemnt]]
- [[#conclusion][Conclusion]]
- [[#automatiser-la-construction-dun-environnement-et-le-partager][Automatiser la construction d'un environnement et le partager.]]
- [[#automatiser-la-construction-de-son-environnement][Automatiser la construction de son environnement]]
- [[#mettre-son-image-à-disposition][Mettre son image à disposition]]
- [[#tester-que-votre-code-sexécute-correctement-ailleurs-que-sur-votre-machine][Tester que votre code s'exécute correctement ailleurs que sur votre machine.]]
- [[#création-dun-projet-test-et-mise-en-place-de-lintégration-continue][Création d'un projet test et mise en place de l'intégration continue]]
- [[#et-maintenant-jupyter-avec-notre-image-docker][Et maintenant, Jupyter avec notre image docker!]]
- [[#améliorer-le-test][Améliorer le test]]
- [[#aller-plus-loin][Aller plus loin]]
- [[#time-machine][Time machine]]
- [[#debian-stretch-with-packages-from-march-2018][Debian Stretch with packages from march 2018]]
- [[#ressources][Ressources]]
- [[#jupyter][Jupyter]]
- [[#rstudio][Rstudio]]
- [[#emacs][Emacs]]
- [[#docker-for-windows][Docker for windows]]
* Progression
1. Familiarisation avec le principe de conteneur.
- Premiers pas avec Docker
- S'assurer que docker est bien installé
- Récupérer une image de base
- Exécuter une commande dans un conteneur
- Utiliser docker en interactif (réaliser qu'il n'y a pas d'effet
de bord)
- Partager un répertoire avec un conteneur
- Utiliser docker pour travailler au jour le jour
- Lancement de Jupyter/Rstudio/Emacs
- (Exécuter un notebook dans un environnement sans interaction)
- Limitations:
- Instabilité de cet environnement (latest vs. un plus vieux)
- Que contient-il vraiment ?
- Besoin de choses en plus ? en moins ?
- Perméabilité si vous installez des choses dans cet
environnement (à moins de le figer)
- Bonne pratique: repérer le tag et bien le préciser
2. Créer son propre environnement, automatiser sa construction et le partage
- Récupérer une image de base
- Installer tous les paquets dont on a besoin
- Gérer ses conteneurs et figer un environnement
- Automatiser la construction de son environnement
- Mettre son image à disposition
- Limitations:
- On peut figer son environnement mais on n'a pas expliqué
comment le faire. Le dockerfile est un bon point de départ mais
s'il s'appuie sur des cibles "mouvantes", ça sera insuffisant
dans quelques temps.
- Bonne pratique: Indiquer la recette (le Dockerfile), les
versions exactes des logiciels utilisés pour permettre à
quelqu'un d'autre de facilement en faire une variation
- [Optionnel] Exemple de reconstruction d'un environnement tel
qu'on aurait pu le faire il y a un an et demi/deux ans.
3. Mettre en place un test et utiliser l'intégration continue pour
s'assurer de la robustesse d'un code.
Point de départ: un notebook
- Exécuter ce notebook dans un conteneur et mettre en place un test
(nbconvert, diff)
- Activer l'intégration continue pour que ce test soit exécuté à
chaque commit dans le conteneur de notre choix
- Rajouter un test pour repérer si des environnements plus à jour
cassent notre test
* Autre progression :noexport:
- [[#séquence-1-familiarisation-avec-le-principe-de-conteneur][Séquence 1: Familiarisation avec le principe de conteneur]]
- [[#11-premiers-pas-avec-docker][1.1 Premiers pas avec Docker]]
- [[#12a-utiliser-docker-pour-travailler-au-jour-le-jour-jupyter][1.2(A) Utiliser docker pour travailler au jour le jour: Jupyter]]
- [[#12b-utiliser-docker-pour-travailler-au-jour-le-jour-rstudio][1.2(B) Utiliser docker pour travailler au jour le jour: Rstudio]]
- [[#12c-utiliser-docker-pour-travailler-au-jour-le-jour-emacs][1.2(C) Utiliser docker pour travailler au jour le jour: Emacs]]
- [[#13-limitations][1.3 Limitations]]
- [[#séquence-2-créer-son-propre-environnement-automatiser-sa-construction-et-le-partage][Séquence 2: Créer son propre environnement, automatiser sa construction et le partage]]
- [[#21-récupérer-une-image-de-base][2.1 Récupérer une image de base]]
- [[#22-installer-tous-les-paquets-dont-on-a-besoin][2.2 Installer tous les paquets dont on a besoin]]
- [[#23-gérer-ses-conteneurs-et-figer-un-environnement][2.3 Gérer ses conteneurs et figer un environnement]]
- [[#24-automatiser-la-construction-de-son-environnement][2.4 Automatiser la construction de son environnement]]
- [[#25-mettre-son-image-à-disposition][2.5 Mettre son image à disposition]]
- [[#26-limitations][2.6 Limitations]]
- [[#27-exemple-de-reconstruction-dun-vieil-environnement-optionnel][2.7 Exemple de reconstruction d'un "vieil" environnement (Optionnel)]]
- [[#séquence-3-mettre-en-place-un-test-et-utiliser-lintégration-continue-pour-sassurer-de-la-robustesse-dun-code][Séquence 3: Mettre en place un test et utiliser l'intégration continue pour s'assurer de la robustesse d'un code]]
- [[#31-exécuter-ce-notebook-dans-un-conteneur-et-mettre-en-place-un-test][3.1 Exécuter ce notebook dans un conteneur et mettre en place un test]]
- [[#32-activer-lintégration-continue-pour-que-ce-test-soit-exécuté-à-chaque-commit-dans-le-conteneur-de-notre-choix][3.2 Activer l'intégration continue pour que ce test soit exécuté à chaque commit dans le conteneur de notre choix]]
- [[#33-rajouter-un-test-pour-repérer-si-des-environnements-plus-à-jour-cassent-notre-test][3.3 Rajouter un test pour repérer si des environnements plus à jour cassent notre test]]
- [[#34-limitations][3.4 Limitations]]
* Séquence 1: Familiarisation avec le principe de conteneur
** 1.1 Premiers pas avec Docker
- S'assurer que docker est bien installé
- Récupérer une image de base
- Exécuter une commande dans un conteneur
- Utiliser docker en interactif (réaliser qu'il n'y a pas d'effet
de bord)
- Partager un répertoire avec un conteneur
** 1.2(A) Utiliser docker pour travailler au jour le jour: Jupyter
- (Exécuter un notebook dans un environnement sans interaction)
** 1.2(B) Utiliser docker pour travailler au jour le jour: Rstudio
** 1.2(C) Utiliser docker pour travailler au jour le jour: Emacs
** 1.3 Limitations
- Instabilité de cet environnement (latest vs. un plus vieux)
- Que contient-il vraiment ?
- Besoin de choses en plus ? en moins ?
- Perméabilité si vous installez des choses dans cet
environnement (à moins de le figer)
- Bonne pratique: repérer le tag et bien le préciser
* Séquence 2: Créer son propre environnement, automatiser sa construction et le partage
** 2.1 Récupérer une image de base
** 2.2 Installer tous les paquets dont on a besoin
** 2.3 Gérer ses conteneurs et figer un environnement
** 2.4 Automatiser la construction de son environnement
** 2.5 Mettre son image à disposition
** 2.6 Limitations
- On peut figer son environnement mais on n'a pas expliqué
comment le faire. Le dockerfile est un bon point de départ mais
s'il s'appuie sur des cibles "mouvantes", ça sera insuffisant
dans quelques temps.
- Bonne pratique: Indiquer la recette (le Dockerfile), les
versions exactes des logiciels utilisés pour permettre à
quelqu'un d'autre de facilement en faire une variation
** 2.7 Exemple de reconstruction d'un "vieil" environnement (Optionnel)
(tel qu'on aurait pu le faire il y a un an et demi/deux ans)
* Séquence 3: Mettre en place un test et utiliser l'intégration continue pour s'assurer de la robustesse d'un code
Point de départ: un notebook
** 3.1 Exécuter ce notebook dans un conteneur et mettre en place un test
- Utiliser nbconvert et diff
** 3.2 Activer l'intégration continue pour que ce test soit exécuté à chaque commit dans le conteneur de notre choix
** 3.3 Rajouter un test pour repérer si des environnements plus à jour cassent notre test
** 3.4 Limitations
- Qui a "raison" ? Comment savoir ce qui a causé la différence ?
* Old notes :noexport:
** Autre progression :noexport:
1. Automatiser l'exécution d'un notebook sur sa machine -> script. Pas
de contrôle du tout de l'environnement. *Où stoquer le résultat?*
*Comment indiquer si c'est OK ?*
...
...
@@ -127,7 +115,7 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
recette ?
6. Reconstruire un environnement particulier? Une vieille debian par
exemple ?
* Automatiser l'exécution d'un notebook
** Automatiser l'exécution d'un notebook
Commençons par un notebook tout simple, celui de challenger, et
vérifions qu'il s'exécute bien sur "ma machine". Je commence par créer
un répertoire pour ce notebook.
...
...
@@ -291,7 +279,7 @@ et les valeurs de Log-Likelihood et de Deviance sont très
différentes. Que s'est-il passé ? A priori, ce sont des bibliothèques
python différentes qui ont été utilisées et qui expliquent ces
différences. Nous allons voir comment contrôler tout ceci.
* Identifier les dépendances
** Identifier les dépendances
Je vais vous montrer comment créer et manipuler une image et un
conteneur docker sur ma machine pas à pas. Vous n'aurez pas forcément
à réaliser ce genre de choses par la suite sur votre machine mais il
...
...
@@ -314,7 +302,7 @@ différentes ou identiques.
conteneurs différents pour vérifier si votre programme fonctionne
toujours bien.
** S'assurer que docker est bien installé
*** S'assurer que docker est bien installé
Je suis sur une machine linux (une debian) et j'ai donc installé
docker via le paquet =docker.io=. J'ai aussi pris soin de me mettre dans
le groupe docker pour ne pas avoir à passer root à chaque fois. Voici
...
...
@@ -347,7 +335,7 @@ Server:
OS/Arch: linux/amd64
Experimental: false
#+end_example
** Récupérer une image de base
*** Récupérer une image de base
Nous pouvons commener. L'idée pour bien contrôler son environnement va
être de partir d'un environnement minimaliste et dans lequel notre
notebook aura d'ailleurs peu de chances de s'exécuter. Je partirai
...
...
@@ -386,7 +374,7 @@ debian stable 40e13c3c9aab 12 day
Mon image apparaît. Elle fait 114MB et a été construite il y a 12
jours.
** Exécuter une commande dans un conteneur
*** Exécuter une commande dans un conteneur
Grâce à la commande docker run, je vais pouvoir exécuter des commandes
dans le conteneur que je viens de télécharger. Par exemple, comme ceci.
#+begin_src shell :session *shell* :results output :exports both
...
...
@@ -450,7 +438,7 @@ peu comme si un mini-système d'exploitation démarrait, exécutait cette
commande et s'éteignait... C'est un peu pénible d'avoir à toujours
préfixer par =docker run=, donc une solution simple consiste à lancer
docker en mode interactif.
** Docker en interactif
*** Docker en interactif
À partir de maintenant, il vous faudra bien faire attention à
distinguer les commandes qui sont lancées sur mon système de base de
celles qui sont lancées dans notre conteneur docker.
...
...
@@ -647,7 +635,7 @@ python3 --version
#+RESULTS:
: Python 3.7.2rc1
** Installer tous les paquets dont on a besoin
*** Installer tous les paquets dont on a besoin
Bien, j'ai python3 mais ça ne suffira pas pour exécuter mon notebook. Il me
faudra aussi bien sûr =jupyter= et différents paquets comme =matplotlib=,
