@@ -11,10 +11,6 @@ dépendances. L'intégration continue est un moyen d'y arriver mais je
...
@@ -11,10 +11,6 @@ dépendances. L'intégration continue est un moyen d'y arriver mais je
dirais que notre objectif n'est pas d'en faire des experts de
dirais que notre objectif n'est pas d'en faire des experts de
développement logiciel et de l'intégration continue.
développement logiciel et de l'intégration continue.
Il est possible de s'arrêter à l'étape 3. Ceux qui veulent allez plus
loin vont jusqu'à l'étape 6. Et ceux qui veulent vraiment contrôler
finement, passent par l'étape 7 et aller au delà.
Ayant peu d'expérience avec Docker, je me suis appuyé sur la
Ayant peu d'expérience avec Docker, je me suis appuyé sur la
[[https://people.irisa.fr/Anthony.Baire/docker-tutorial.pdf][présentation d'Anthony Baire]] pour préparer cette séquence.
[[https://people.irisa.fr/Anthony.Baire/docker-tutorial.pdf][présentation d'Anthony Baire]] pour préparer cette séquence.
...
@@ -37,83 +33,75 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
...
@@ -37,83 +33,75 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
- Mettre en place un test pour s'assurer de sa robustesse (*Continuous
- Mettre en place un test pour s'assurer de sa robustesse (*Continuous
Integration*) en déportant son exécution dans des environnements
Integration*) en déportant son exécution dans des environnements
controllés
controllés
* Table des matières :TOC:
* Table des matières et Progression :TOC:
- [[#objectifs-et-problématique][Objectifs et Problématique]]
- [[#objectifs-et-problématique][Objectifs et Problématique]]
- [[#problématiques][Problématiques:]]
- [[#problématiques][Problématiques:]]
- [[#objectifs][Objectifs]]
- [[#objectifs][Objectifs]]
- [[#progression][Progression]]
- [[#séquence-1-familiarisation-avec-le-principe-de-conteneur][Séquence 1: Familiarisation avec le principe de conteneur]]
- [[#automatiser-lexécution-dun-notebook][Automatiser l'exécution d'un notebook]]
- [[#11-premiers-pas-avec-docker][1.1 Premiers pas avec Docker]]
- [[#identifier-les-dépendances][Identifier les dépendances]]
- [[#12a-utiliser-docker-pour-travailler-au-jour-le-jour-jupyter][1.2(A) Utiliser docker pour travailler au jour le jour: Jupyter]]
- [[#sassurer-que-docker-est-bien-installé][S'assurer que docker est bien installé]]
- [[#12b-utiliser-docker-pour-travailler-au-jour-le-jour-rstudio][1.2(B) Utiliser docker pour travailler au jour le jour: Rstudio]]
- [[#récupérer-une-image-de-base][Récupérer une image de base]]
- [[#12c-utiliser-docker-pour-travailler-au-jour-le-jour-emacs][1.2(C) Utiliser docker pour travailler au jour le jour: Emacs]]
- [[#exécuter-une-commande-dans-un-conteneur][Exécuter une commande dans un conteneur]]
- [[#13-limitations][1.3 Limitations]]
- [[#docker-en-interactif][Docker en interactif]]
- [[#séquence-2-créer-son-propre-environnement-automatiser-sa-construction-et-le-partage][Séquence 2: Créer son propre environnement, automatiser sa construction et le partage]]
- [[#installer-tous-les-paquets-dont-on-a-besoin][Installer tous les paquets dont on a besoin]]
- [[#21-récupérer-une-image-de-base][2.1 Récupérer une image de base]]
- [[#gérer-ses-conteneurs-et-figer-un-environnement][Gérer ses conteneurs et figer un environnement]]
- [[#22-installer-tous-les-paquets-dont-on-a-besoin][2.2 Installer tous les paquets dont on a besoin]]
- [[#exécuter-notre-notebook-dans-ce-nouvel-environnemnt][Exécuter notre notebook dans ce nouvel environnemnt]]
- [[#23-gérer-ses-conteneurs-et-figer-un-environnement][2.3 Gérer ses conteneurs et figer un environnement]]
- [[#conclusion][Conclusion]]
- [[#24-automatiser-la-construction-de-son-environnement][2.4 Automatiser la construction de son environnement]]
- [[#automatiser-la-construction-dun-environnement-et-le-partager][Automatiser la construction d'un environnement et le partager.]]
- [[#25-mettre-son-image-à-disposition][2.5 Mettre son image à disposition]]
- [[#automatiser-la-construction-de-son-environnement][Automatiser la construction de son environnement]]
- [[#26-limitations][2.6 Limitations]]
- [[#mettre-son-image-à-disposition][Mettre son image à disposition]]
- [[#27-exemple-de-reconstruction-dun-vieil-environnement-optionnel][2.7 Exemple de reconstruction d'un "vieil" environnement (Optionnel)]]
- [[#tester-que-votre-code-sexécute-correctement-ailleurs-que-sur-votre-machine][Tester que votre code s'exécute correctement ailleurs que sur votre machine.]]
- [[#séquence-3-mettre-en-place-un-test-et-utiliser-lintégration-continue-pour-sassurer-de-la-robustesse-dun-code][Séquence 3: Mettre en place un test et utiliser l'intégration continue pour s'assurer de la robustesse d'un code]]
- [[#création-dun-projet-test-et-mise-en-place-de-lintégration-continue][Création d'un projet test et mise en place de l'intégration continue]]
- [[#31-exécuter-ce-notebook-dans-un-conteneur-et-mettre-en-place-un-test][3.1 Exécuter ce notebook dans un conteneur et mettre en place un test]]
- [[#et-maintenant-jupyter-avec-notre-image-docker][Et maintenant, Jupyter avec notre image docker!]]
- [[#32-activer-lintégration-continue-pour-que-ce-test-soit-exécuté-à-chaque-commit-dans-le-conteneur-de-notre-choix][3.2 Activer l'intégration continue pour que ce test soit exécuté à chaque commit dans le conteneur de notre choix]]
- [[#améliorer-le-test][Améliorer le test]]
- [[#33-rajouter-un-test-pour-repérer-si-des-environnements-plus-à-jour-cassent-notre-test][3.3 Rajouter un test pour repérer si des environnements plus à jour cassent notre test]]
- [[#aller-plus-loin][Aller plus loin]]
- [[#34-limitations][3.4 Limitations]]
- [[#time-machine][Time machine]]
- [[#debian-stretch-with-packages-from-march-2018][Debian Stretch with packages from march 2018]]
* Séquence 1: Familiarisation avec le principe de conteneur
- [[#ressources][Ressources]]
** 1.1 Premiers pas avec Docker
- [[#jupyter][Jupyter]]
- S'assurer que docker est bien installé
- [[#rstudio][Rstudio]]
- Récupérer une image de base
- [[#emacs][Emacs]]
- Exécuter une commande dans un conteneur
- [[#docker-for-windows][Docker for windows]]
- Utiliser docker en interactif (réaliser qu'il n'y a pas d'effet
* Progression
1. Familiarisation avec le principe de conteneur.
- Premiers pas avec Docker
- S'assurer que docker est bien installé
- Récupérer une image de base
- Exécuter une commande dans un conteneur
- Utiliser docker en interactif (réaliser qu'il n'y a pas d'effet
de bord)
de bord)
- Partager un répertoire avec un conteneur
- Partager un répertoire avec un conteneur
- Utiliser docker pour travailler au jour le jour
** 1.2(A) Utiliser docker pour travailler au jour le jour: Jupyter
- Lancement de Jupyter/Rstudio/Emacs
- (Exécuter un notebook dans un environnement sans interaction)
- (Exécuter un notebook dans un environnement sans interaction)
** 1.2(B) Utiliser docker pour travailler au jour le jour: Rstudio
- Limitations:
** 1.2(C) Utiliser docker pour travailler au jour le jour: Emacs
- Instabilité de cet environnement (latest vs. un plus vieux)
** 1.3 Limitations
- Que contient-il vraiment ?
- Instabilité de cet environnement (latest vs. un plus vieux)
- Besoin de choses en plus ? en moins ?
- Que contient-il vraiment ?
- Perméabilité si vous installez des choses dans cet
- Besoin de choses en plus ? en moins ?
- Perméabilité si vous installez des choses dans cet
environnement (à moins de le figer)
environnement (à moins de le figer)
- Bonne pratique: repérer le tag et bien le préciser
- Bonne pratique: repérer le tag et bien le préciser
2. Créer son propre environnement, automatiser sa construction et le partage
* Séquence 2: Créer son propre environnement, automatiser sa construction et le partage
- Récupérer une image de base
** 2.1 Récupérer une image de base
- Installer tous les paquets dont on a besoin
** 2.2 Installer tous les paquets dont on a besoin
- Gérer ses conteneurs et figer un environnement
** 2.3 Gérer ses conteneurs et figer un environnement
- Automatiser la construction de son environnement
** 2.4 Automatiser la construction de son environnement
- Mettre son image à disposition
** 2.5 Mettre son image à disposition
- Limitations:
** 2.6 Limitations
- On peut figer son environnement mais on n'a pas expliqué
- On peut figer son environnement mais on n'a pas expliqué
comment le faire. Le dockerfile est un bon point de départ mais
comment le faire. Le dockerfile est un bon point de départ mais
s'il s'appuie sur des cibles "mouvantes", ça sera insuffisant
s'il s'appuie sur des cibles "mouvantes", ça sera insuffisant
dans quelques temps.
dans quelques temps.
- Bonne pratique: Indiquer la recette (le Dockerfile), les
- Bonne pratique: Indiquer la recette (le Dockerfile), les
versions exactes des logiciels utilisés pour permettre à
versions exactes des logiciels utilisés pour permettre à
quelqu'un d'autre de facilement en faire une variation
quelqu'un d'autre de facilement en faire une variation
- [Optionnel] Exemple de reconstruction d'un environnement tel
** 2.7 Exemple de reconstruction d'un "vieil" environnement (Optionnel)
qu'on aurait pu le faire il y a un an et demi/deux ans.
(tel qu'on aurait pu le faire il y a un an et demi/deux ans)
3. Mettre en place un test et utiliser l'intégration continue pour
* Séquence 3: Mettre en place un test et utiliser l'intégration continue pour s'assurer de la robustesse d'un code
s'assurer de la robustesse d'un code.
Point de départ: un notebook
** 3.1 Exécuter ce notebook dans un conteneur et mettre en place un test
Point de départ: un notebook
- Utiliser nbconvert et diff
- Exécuter ce notebook dans un conteneur et mettre en place un test
** 3.2 Activer l'intégration continue pour que ce test soit exécuté à chaque commit dans le conteneur de notre choix
(nbconvert, diff)
** 3.3 Rajouter un test pour repérer si des environnements plus à jour cassent notre test
- Activer l'intégration continue pour que ce test soit exécuté à
** 3.4 Limitations
chaque commit dans le conteneur de notre choix
- Qui a "raison" ? Comment savoir ce qui a causé la différence ?
- Rajouter un test pour repérer si des environnements plus à jour
* Old notes :noexport:
cassent notre test
** Autre progression :noexport:
* Autre progression :noexport:
1. Automatiser l'exécution d'un notebook sur sa machine -> script. Pas
1. Automatiser l'exécution d'un notebook sur sa machine -> script. Pas
de contrôle du tout de l'environnement. *Où stoquer le résultat?*
de contrôle du tout de l'environnement. *Où stoquer le résultat?*
*Comment indiquer si c'est OK ?*
*Comment indiquer si c'est OK ?*
...
@@ -127,7 +115,7 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
...
@@ -127,7 +115,7 @@ Ayant peu d'expérience avec Docker, je me suis appuyé sur la
recette ?
recette ?
6. Reconstruire un environnement particulier? Une vieille debian par
6. Reconstruire un environnement particulier? Une vieille debian par
exemple ?
exemple ?
* Automatiser l'exécution d'un notebook
** Automatiser l'exécution d'un notebook
Commençons par un notebook tout simple, celui de challenger, et
Commençons par un notebook tout simple, celui de challenger, et
vérifions qu'il s'exécute bien sur "ma machine". Je commence par créer
vérifions qu'il s'exécute bien sur "ma machine". Je commence par créer
un répertoire pour ce notebook.
un répertoire pour ce notebook.
...
@@ -291,7 +279,7 @@ et les valeurs de Log-Likelihood et de Deviance sont très
...
@@ -291,7 +279,7 @@ et les valeurs de Log-Likelihood et de Deviance sont très
différentes. Que s'est-il passé ? A priori, ce sont des bibliothèques
différentes. Que s'est-il passé ? A priori, ce sont des bibliothèques
python différentes qui ont été utilisées et qui expliquent ces
python différentes qui ont été utilisées et qui expliquent ces
différences. Nous allons voir comment contrôler tout ceci.
différences. Nous allons voir comment contrôler tout ceci.
* Identifier les dépendances
** Identifier les dépendances
Je vais vous montrer comment créer et manipuler une image et un
Je vais vous montrer comment créer et manipuler une image et un
conteneur docker sur ma machine pas à pas. Vous n'aurez pas forcément
conteneur docker sur ma machine pas à pas. Vous n'aurez pas forcément
à réaliser ce genre de choses par la suite sur votre machine mais il
à réaliser ce genre de choses par la suite sur votre machine mais il
...
@@ -314,7 +302,7 @@ différentes ou identiques.
...
@@ -314,7 +302,7 @@ différentes ou identiques.
conteneurs différents pour vérifier si votre programme fonctionne
conteneurs différents pour vérifier si votre programme fonctionne
toujours bien.
toujours bien.
** S'assurer que docker est bien installé
*** S'assurer que docker est bien installé
Je suis sur une machine linux (une debian) et j'ai donc installé
Je suis sur une machine linux (une debian) et j'ai donc installé
docker via le paquet =docker.io=. J'ai aussi pris soin de me mettre dans
docker via le paquet =docker.io=. J'ai aussi pris soin de me mettre dans
le groupe docker pour ne pas avoir à passer root à chaque fois. Voici
le groupe docker pour ne pas avoir à passer root à chaque fois. Voici
...
@@ -347,7 +335,7 @@ Server:
...
@@ -347,7 +335,7 @@ Server:
OS/Arch: linux/amd64
OS/Arch: linux/amd64
Experimental: false
Experimental: false
#+end_example
#+end_example
** Récupérer une image de base
*** Récupérer une image de base
Nous pouvons commener. L'idée pour bien contrôler son environnement va
Nous pouvons commener. L'idée pour bien contrôler son environnement va
être de partir d'un environnement minimaliste et dans lequel notre
être de partir d'un environnement minimaliste et dans lequel notre
notebook aura d'ailleurs peu de chances de s'exécuter. Je partirai
notebook aura d'ailleurs peu de chances de s'exécuter. Je partirai
...
@@ -386,7 +374,7 @@ debian stable 40e13c3c9aab 12 day
...
@@ -386,7 +374,7 @@ debian stable 40e13c3c9aab 12 day
Mon image apparaît. Elle fait 114MB et a été construite il y a 12
Mon image apparaît. Elle fait 114MB et a été construite il y a 12
jours.
jours.
** Exécuter une commande dans un conteneur
*** Exécuter une commande dans un conteneur
Grâce à la commande docker run, je vais pouvoir exécuter des commandes
Grâce à la commande docker run, je vais pouvoir exécuter des commandes
dans le conteneur que je viens de télécharger. Par exemple, comme ceci.
dans le conteneur que je viens de télécharger. Par exemple, comme ceci.
#+begin_src shell :session *shell* :results output :exports both
#+begin_src shell :session *shell* :results output :exports both
...
@@ -450,7 +438,7 @@ peu comme si un mini-système d'exploitation démarrait, exécutait cette
...
@@ -450,7 +438,7 @@ peu comme si un mini-système d'exploitation démarrait, exécutait cette
commande et s'éteignait... C'est un peu pénible d'avoir à toujours
commande et s'éteignait... C'est un peu pénible d'avoir à toujours
préfixer par =docker run=, donc une solution simple consiste à lancer
préfixer par =docker run=, donc une solution simple consiste à lancer
docker en mode interactif.
docker en mode interactif.
** Docker en interactif
*** Docker en interactif
À partir de maintenant, il vous faudra bien faire attention à
À partir de maintenant, il vous faudra bien faire attention à
distinguer les commandes qui sont lancées sur mon système de base de
distinguer les commandes qui sont lancées sur mon système de base de
celles qui sont lancées dans notre conteneur docker.
celles qui sont lancées dans notre conteneur docker.
...
@@ -647,7 +635,7 @@ python3 --version
...
@@ -647,7 +635,7 @@ python3 --version
#+RESULTS:
#+RESULTS:
: Python 3.7.2rc1
: Python 3.7.2rc1
** Installer tous les paquets dont on a besoin
*** Installer tous les paquets dont on a besoin
Bien, j'ai python3 mais ça ne suffira pas pour exécuter mon notebook. Il me
Bien, j'ai python3 mais ça ne suffira pas pour exécuter mon notebook. Il me
faudra aussi bien sûr =jupyter= et différents paquets comme =matplotlib=,
faudra aussi bien sûr =jupyter= et différents paquets comme =matplotlib=,
