Commit 25c67878 authored by Anthony Scemama's avatar Anthony Scemama

Fin Module 2

parent ffd9ed50
# -*- coding: utf-8 -*-
# -*- mode: org -*-
#+TITLE: Reproducible Research Notes
#+AUTHOR: Anthony Scemama
#+CATEGORY: Notes
#+TAGS: [ TOOLS : ORGMODE(o) EMACS(e) SPACEMACS(s) R(r) PYTHON(p) ]
#+STARTUP: content
* Emacs installation :EMACS:
** Install Emacs via miniconda:
#+begin_src bash
conda update -n base -c defaults conda
conda install -c conda-forge emacs r-parsedate
#+end_src
** Install Spacemacs :SPACEMACS:
[[https://www.spacemacs.org/][Spacemacs website]]
#+begin_src bash
git clone https://github.com/syl20bnr/spacemacs ~/.emacs.d
#+end_src
and activate the *org* layer.
** Install
* Spacemacs memo :SPACEMACS:
- Open ~/.spacemacs file : SPC f e d
* Org-mode memo :ORGMODE:
[[https://orgmode.org/manual][Org-mode Manual]]
** General
- C-c / : Sparse tree
- Drawers contain info we don't normally want to see
:DRAWERNAME:
Hidden info
:END:
** Tables
- Move table columns with M-LEFT
- Insert column with M-S-RIGHT
- Kill column with M-S-LEFT
- org-table-export : possible latex export
- Formulas
| x | y |
|---+---|
| 1 | 2 |
| 2 | 4 |
#+TBLFM: $2=$1*1
#+TBLFM: $2=$1*2
| Task 1 | Task 2 | Total |
|---------+----------+----------|
| 2:12 | 1:00 | 03:12:00 |
| 2:15 | 1:47 | 04:02 |
| 3:02:20 | -2:07:00 | 0.92 |
#+TBLFM: @2$3=$1+$2;T::@3$3=$1+$2;U::@4$3=$1+$2;t
** Plots
#+PLOT: title:"Citas" ind:1 deps:(3) type:2d with:histograms set:"yrange [0:]"
| Sede | Max cites | H-index |
|-----------+-----------+---------|
| Chile | 257.72 | 21.39 |
| Leeds | 165.77 | 19.68 |
| Sao Paolo | 71.00 | 11.50 |
| Stockholm | 134.19 | 14.33 |
| Morelia | 257.56 | 17.67 |
M-x org-plot/gnuplot
* Resources
** Links
* [[http://kitchingroup.cheme.cmu.edu/blog/][Blog]]
* [[https://www.youtube.com/watch?v=IsSMs-4GlT8&list=FLQp2VLAOlvq142YN3JO3y8w&app=desktop][Video]]
* Models for LaTex: [[https://github.com/schnorr/ieeeorg][IEEE]], [[https://github.com/schnorr/wileyorg][Wiley]], [[https://github.com/schnorr/acmorg][ACM]], [[https://github.com/schnorr/llncsorg][LNCS]]
** Examples
* [[https://github.com/norvig/pytudes/blob/master/ipynb/Economics.ipynb][Jupyter]], [[https://github.com/jupyter/jupyter/wiki/A-gallery-of-interesting-Jupyter-Notebooks][Gallery]], [[https://nbviewer.jupyter.org/url/www.inp.nsk.su/~grozin/python/sympy.ipynb][SymPy tutorial]]
*
* Git configuration
login: 27c0641acb9e5727b9680a9b3481db8e
password: ce21b85a28
* Nice HTML rendering
#+begin_src html
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/htmlize.css"/>
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/readtheorg.css"/>
#+HTML_HEAD: <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.3/jquery.min.js"></script>
#+HTML_HEAD: <script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.4/js/bootstrap.min.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
#+end_src
#+TITLE: Votre titre #+TITLE: Savoir faire un calcul simple soi-même
#+AUTHOR: Votre nom #+AUTHOR: Anthony Scemama
#+DATE: La date du jour #+DATE: Wed Apr 1 21:55:23 CEST 2020
#+LANGUAGE: fr #+LANGUAGE: fr
# #+PROPERTY: header-args :eval never-export # #+PROPERTY: header-args :eval never-export
...@@ -11,83 +11,24 @@ ...@@ -11,83 +11,24 @@
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script> #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script> #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
* Quelques explications
Ceci est un document org-mode avec quelques exemples de code
python. Une fois ouvert dans emacs, ce document peut aisément être
exporté au format HTML, PDF, et Office. Pour plus de détails sur
org-mode vous pouvez consulter https://orgmode.org/guide/.
Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera
compilé en html. Tout le code contenu sera ré-exécuté, les résultats
récupérés et inclus dans un document final. Si vous ne souhaitez pas
ré-exécuter tout le code à chaque fois, il vous suffit de supprimer
le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce
document.
Comme nous vous l'avons montré dans la vidéo, on inclue du code
python de la façon suivante (et on l'exécute en faisant ~C-c C-c~):
#+begin_src python :results output :exports both
print("Hello world!")
#+end_src
#+RESULTS:
: Hello world!
Voici la même chose, mais avec une session python, donc une
persistance d'un bloc à l'autre (et on l'exécute toujours en faisant
~C-c C-c~).
#+begin_src python :results output :session :exports both #+begin_src python :results output :session :exports both
import numpy import numpy as np
x=numpy.linspace(-15,15)
print(x) raw_data = [ 14.0, 7.6, 11.2, 12.8, 12.5, 9.9, 14.9, 9.4, 16.9, 10.2, 14.9, 18.1, 7.3, 9.8, 10.9,12.2, 9.9, 2.9, 2.8, 15.4, 15.7, 9.7, 13.1, 13.2, 12.3, 11.7, 16.0, 12.4, 17.9, 12.2, 16.2, 18.7, 8.9, 11.9, 12.1, 14.6, 12.1, 4.7, 3.9, 16.9, 16.8, 11.3, 14.4, 15.7, 14.0, 13.6, 18.0, 13.6, 19.9, 13.7, 17.0, 20.5, 9.9, 12.5, 13.2, 16.1, 13.5, 6.3, 6.4, 17.6, 19.1, 12.8, 15.5, 16.3, 15.2, 14.6, 19.1, 14.4, 21.4, 15.1, 19.6, 21.7, 11.3, 15.0, 14.3, 16.8, 14.0, 6.8, 8.2, 19.9, 20.4, 14.6, 16.4, 18.7, 16.8, 15.8, 20.4, 15.8, 22.4, 16.2, 20.3, 23.4, 12.1, 15.5, 15.4, 18.4, 15.7, 10.2, 8.9, 21.0 ]
data = np.array(raw_data)
mu = np.mean(data)
sigma = np.std(data,ddof=1)
print ("mu = ", mu)
print ("min = ", np.min(data))
print ("max = ", np.max(data))
print ("median = ", np.median(data))
print ("sigma = ", sigma)
#+end_src #+end_src
#+RESULTS: #+RESULTS:
#+begin_example : mu = 14.113000000000001
[-15. -14.3877551 -13.7755102 -13.16326531 -12.55102041 : min = 2.8
-11.93877551 -11.32653061 -10.71428571 -10.10204082 -9.48979592 : max = 23.4
-8.87755102 -8.26530612 -7.65306122 -7.04081633 -6.42857143 : median = 14.5
-5.81632653 -5.20408163 -4.59183673 -3.97959184 -3.36734694 : sigma = 4.334094455301447
-2.75510204 -2.14285714 -1.53061224 -0.91836735 -0.30612245
0.30612245 0.91836735 1.53061224 2.14285714 2.75510204
3.36734694 3.97959184 4.59183673 5.20408163 5.81632653
6.42857143 7.04081633 7.65306122 8.26530612 8.87755102
9.48979592 10.10204082 10.71428571 11.32653061 11.93877551
12.55102041 13.16326531 13.7755102 14.3877551 15. ]
#+end_example
Et enfin, voici un exemple de sortie graphique:
#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results
import matplotlib.pyplot as plt
plt.figure(figsize=(10,5))
plt.plot(x,numpy.cos(x)/x)
plt.tight_layout()
plt.savefig(matplot_lib_filename)
print(matplot_lib_filename)
#+end_src
#+RESULTS:
[[file:./cosxsx.png]]
Vous remarquerez le paramètre ~:exports results~ qui indique que le code
ne doit pas apparaître dans la version finale du document. Nous vous
recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre
(indiquer ~both~) car l'objectif est que vos analyses de données soient
parfaitement transparentes pour être reproductibles.
Attention, la figure ainsi générée n'est pas stockée dans le document
org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas
de le committer si vous voulez que votre analyse soit lisible et
compréhensible sur GitLab.
Enfin, n'oubliez pas que nous vous fournissons dans les ressources de
ce MOOC une configuration avec un certain nombre de raccourcis
claviers permettant de créer rapidement les blocs de code python (en
faisant ~<p~, ~<P~ ou ~<PP~ suivi de ~Tab~).
Maintenant, à vous de jouer! Vous pouvez effacer toutes ces
informations et les remplacer par votre document computationnel.
#+TITLE: Votre titre #+TITLE: Savoir faire un calcul simple soi-même
#+AUTHOR: Votre nom #+AUTHOR: Anthony Scemama
#+DATE: La date du jour #+DATE: Wed Apr 1 21:55:23 CEST 2020
#+LANGUAGE: fr #+LANGUAGE: fr
# #+PROPERTY: header-args :eval never-export # #+PROPERTY: header-args :eval never-export
...@@ -11,83 +11,50 @@ ...@@ -11,83 +11,50 @@
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script> #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script> #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
* Quelques explications
Ceci est un document org-mode avec quelques exemples de code
python. Une fois ouvert dans emacs, ce document peut aisément être
exporté au format HTML, PDF, et Office. Pour plus de détails sur
org-mode vous pouvez consulter https://orgmode.org/guide/.
Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera
compilé en html. Tout le code contenu sera ré-exécuté, les résultats
récupérés et inclus dans un document final. Si vous ne souhaitez pas
ré-exécuter tout le code à chaque fois, il vous suffit de supprimer
le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce
document.
Comme nous vous l'avons montré dans la vidéo, on inclue du code
python de la façon suivante (et on l'exécute en faisant ~C-c C-c~):
#+begin_src python :results output :exports both
print("Hello world!")
#+end_src
#+RESULTS:
: Hello world!
Voici la même chose, mais avec une session python, donc une
persistance d'un bloc à l'autre (et on l'exécute toujours en faisant
~C-c C-c~).
#+begin_src python :results output :session :exports both #+begin_src python :results output :session :exports both
import numpy import numpy as np
x=numpy.linspace(-15,15)
print(x) raw_data = [ 14.0, 7.6, 11.2, 12.8, 12.5, 9.9, 14.9, 9.4, 16.9, 10.2, 14.9, 18.1, 7.3, 9.8, 10.9,12.2, 9.9, 2.9, 2.8, 15.4, 15.7, 9.7, 13.1, 13.2, 12.3, 11.7, 16.0, 12.4, 17.9, 12.2, 16.2, 18.7, 8.9, 11.9, 12.1, 14.6, 12.1, 4.7, 3.9, 16.9, 16.8, 11.3, 14.4, 15.7, 14.0, 13.6, 18.0, 13.6, 19.9, 13.7, 17.0, 20.5, 9.9, 12.5, 13.2, 16.1, 13.5, 6.3, 6.4, 17.6, 19.1, 12.8, 15.5, 16.3, 15.2, 14.6, 19.1, 14.4, 21.4, 15.1, 19.6, 21.7, 11.3, 15.0, 14.3, 16.8, 14.0, 6.8, 8.2, 19.9, 20.4, 14.6, 16.4, 18.7, 16.8, 15.8, 20.4, 15.8, 22.4, 16.2, 20.3, 23.4, 12.1, 15.5, 15.4, 18.4, 15.7, 10.2, 8.9, 21.0 ]
data = np.array(raw_data)
mu = np.mean(data)
sigma = np.std(data,ddof=1)
print ("mu = ", mu)
print ("min = ", np.min(data))
print ("max = ", np.max(data))
print ("median = ", np.median(data))
print ("sigma = ", sigma)
#+end_src #+end_src
#+RESULTS: #+RESULTS:
#+begin_example : mu = 14.113000000000001
[-15. -14.3877551 -13.7755102 -13.16326531 -12.55102041 : min = 2.8
-11.93877551 -11.32653061 -10.71428571 -10.10204082 -9.48979592 : max = 23.4
-8.87755102 -8.26530612 -7.65306122 -7.04081633 -6.42857143 : median = 14.5
-5.81632653 -5.20408163 -4.59183673 -3.97959184 -3.36734694 : sigma = 4.334094455301447
-2.75510204 -2.14285714 -1.53061224 -0.91836735 -0.30612245
0.30612245 0.91836735 1.53061224 2.14285714 2.75510204
3.36734694 3.97959184 4.59183673 5.20408163 5.81632653
6.42857143 7.04081633 7.65306122 8.26530612 8.87755102
9.48979592 10.10204082 10.71428571 11.32653061 11.93877551
12.55102041 13.16326531 13.7755102 14.3877551 15. ]
#+end_example
Et enfin, voici un exemple de sortie graphique: #+begin_src python :results output file :session :var matplot_lib_filename="./seq.png" :exports both
#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results import matplotlib.pyplot as plt
import matplotlib.pyplot as plt
plt.figure(figsize=(10,5)) plt.clf()
plt.plot(x,numpy.cos(x)/x) plt.plot(data)
plt.tight_layout()
plt.savefig(matplot_lib_filename) plt.savefig(matplot_lib_filename)
print(matplot_lib_filename) print(matplot_lib_filename)
#+end_src #+end_src
#+RESULTS: #+RESULTS:
[[file:./cosxsx.png]] [[file:./seq.png]]
Vous remarquerez le paramètre ~:exports results~ qui indique que le code * Histogram
ne doit pas apparaître dans la version finale du document. Nous vous #+begin_src python :results output file :session :var matplot_lib_filename="./hist.png" :exports both
recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre import matplotlib.pyplot as plt
(indiquer ~both~) car l'objectif est que vos analyses de données soient
parfaitement transparentes pour être reproductibles.
Attention, la figure ainsi générée n'est pas stockée dans le document plt.clf()
org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas plt.hist(data)
de le committer si vous voulez que votre analyse soit lisible et
compréhensible sur GitLab.
Enfin, n'oubliez pas que nous vous fournissons dans les ressources de plt.savefig(matplot_lib_filename)
ce MOOC une configuration avec un certain nombre de raccourcis print(matplot_lib_filename)
claviers permettant de créer rapidement les blocs de code python (en #+end_src
faisant ~<p~, ~<P~ ou ~<PP~ suivi de ~Tab~).
Maintenant, à vous de jouer! Vous pouvez effacer toutes ces #+RESULTS:
informations et les remplacer par votre document computationnel. [[file:./hist.png]]
...@@ -42,30 +42,30 @@ data ...@@ -42,30 +42,30 @@ data
#+RESULTS: #+RESULTS:
#+begin_example #+begin_example
Date Count Temperature Pressure Malfunction Date Count Temperature Pressure Malfunction
0 4/12/81 6 66 50 0 0 4/12/81 6 66 50 0
1 11/12/81 6 70 50 1 1 11/12/81 6 70 50 1
2 3/22/82 6 69 50 0 2 3/22/82 6 69 50 0
3 11/11/82 6 68 50 0 3 11/11/82 6 68 50 0
4 4/04/83 6 67 50 0 4 4/04/83 6 67 50 0
5 6/18/82 6 72 50 0 5 6/18/82 6 72 50 0
6 8/30/83 6 73 100 0 6 8/30/83 6 73 100 0
7 11/28/83 6 70 100 0 7 11/28/83 6 70 100 0
8 2/03/84 6 57 200 1 8 2/03/84 6 57 200 1
9 4/06/84 6 63 200 1 9 4/06/84 6 63 200 1
10 8/30/84 6 70 200 1 10 8/30/84 6 70 200 1
11 10/05/84 6 78 200 0 11 10/05/84 6 78 200 0
12 11/08/84 6 67 200 0 12 11/08/84 6 67 200 0
13 1/24/85 6 53 200 2 13 1/24/85 6 53 200 2
14 4/12/85 6 67 200 0 14 4/12/85 6 67 200 0
15 4/29/85 6 75 200 0 15 4/29/85 6 75 200 0
16 6/17/85 6 70 200 0 16 6/17/85 6 70 200 0
17 7/29/85 6 81 200 0 17 7/29/85 6 81 200 0
18 8/27/85 6 76 200 0 18 8/27/85 6 76 200 0
19 10/03/85 6 79 200 0 19 10/03/85 6 79 200 0
20 10/30/85 6 75 200 2 20 10/30/85 6 75 200 2
21 11/26/85 6 76 200 0 21 11/26/85 6 76 200 0
22 1/12/86 6 58 200 1 22 1/12/86 6 58 200 1
#+end_example #+end_example
Le jeu de données nous indique la date de l'essai, le nombre de joints Le jeu de données nous indique la date de l'essai, le nombre de joints
...@@ -73,6 +73,7 @@ toriques mesurés (il y en a 6 sur le lançeur principal), la ...@@ -73,6 +73,7 @@ toriques mesurés (il y en a 6 sur le lançeur principal), la
température (en Fahrenheit) et la pression (en psi), et enfin le température (en Fahrenheit) et la pression (en psi), et enfin le
nombre de dysfonctionnements relevés. nombre de dysfonctionnements relevés.
* Inspection graphique des données * Inspection graphique des données
Les vols où aucun incident n'est relevé n'apportant aucune information Les vols où aucun incident n'est relevé n'apportant aucune information
sur l'influence de la température ou de la pression sur les sur l'influence de la température ou de la pression sur les
...@@ -80,19 +81,37 @@ dysfonctionnements, nous nous concentrons sur les expériences où au ...@@ -80,19 +81,37 @@ dysfonctionnements, nous nous concentrons sur les expériences où au
moins un joint a été défectueux. moins un joint a été défectueux.
#+begin_src python :results value :session *python* :exports both #+begin_src python :results value :session *python* :exports both
data = data[data.Malfunction>0] data = data[data.Malfunction>-1]
data data
#+end_src #+end_src
#+RESULTS: #+RESULTS:
: Date Count Temperature Pressure Malfunction #+begin_example
: 1 11/12/81 6 70 50 1 Date Count Temperature Pressure Malfunction
: 8 2/03/84 6 57 200 1 0 4/12/81 6 66 50 0
: 9 4/06/84 6 63 200 1 1 11/12/81 6 70 50 1
: 10 8/30/84 6 70 200 1 2 3/22/82 6 69 50 0
: 13 1/24/85 6 53 200 2 3 11/11/82 6 68 50 0
: 20 10/30/85 6 75 200 2 4 4/04/83 6 67 50 0
: 22 1/12/86 6 58 200 1 5 6/18/82 6 72 50 0
6 8/30/83 6 73 100 0
7 11/28/83 6 70 100 0
8 2/03/84 6 57 200 1
9 4/06/84 6 63 200 1
10 8/30/84 6 70 200 1
11 10/05/84 6 78 200 0
12 11/08/84 6 67 200 0
13 1/24/85 6 53 200 2
14 4/12/85 6 67 200 0
15 4/29/85 6 75 200 0
16 6/17/85 6 70 200 0
17 7/29/85 6 81 200 0
18 8/27/85 6 76 200 0
19 10/03/85 6 79 200 0
20 10/30/85 6 75 200 2
21 11/26/85 6 76 200 0
22 1/12/86 6 58 200 1
#+end_example
Très bien, nous avons une variabilité de température importante mais Très bien, nous avons une variabilité de température importante mais
la pression est quasiment toujours égale à 200, ce qui devrait la pression est quasiment toujours égale à 200, ce qui devrait
...@@ -142,24 +161,6 @@ logmodel.summary() ...@@ -142,24 +161,6 @@ logmodel.summary()
#+end_src #+end_src
#+RESULTS: #+RESULTS:
#+begin_example
Generalized Linear Model Regression Results
==============================================================================
Dep. Variable: Frequency No. Observations: 7
Model: GLM Df Residuals: 5
Model Family: Binomial Df Model: 1
Link Function: logit Scale: 1.0
Method: IRLS Log-Likelihood: -3.6370
Date: Fri, 20 Jul 2018 Deviance: 3.3763
Time: 16:56:08 Pearson chi2: 0.236
No. Iterations: 5
===============================================================================
coef std err z P>|z| [0.025 0.975]
-------------------------------------------------------------------------------
Intercept -1.3895 7.828 -0.178 0.859 -16.732 13.953
Temperature 0.0014 0.122 0.012 0.991 -0.238 0.240
===============================================================================
#+end_example
L'estimateur le plus probable du paramètre de température est 0.0014 L'estimateur le plus probable du paramètre de température est 0.0014
et l'erreur standard de cet estimateur est de 0.122, autrement dit on et l'erreur standard de cet estimateur est de 0.122, autrement dit on
...@@ -185,7 +186,11 @@ print(matplot_lib_filename) ...@@ -185,7 +186,11 @@ print(matplot_lib_filename)
#+end_src #+end_src
#+RESULTS: #+RESULTS:
[[file:proba_estimate_python.png]] [[file:Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/tmp/babel-xmrEcl/python-KfQu22", line 5, in <module>
data_pred['Frequency'] = logmodel.predict(data_pred[['Intercept','Temperature']])
NameError: name 'logmodel' is not defined]]
Comme on pouvait s'attendre au vu des données initiales, la Comme on pouvait s'attendre au vu des données initiales, la
température n'a pas d'impact notable sur la probabilité d'échec des température n'a pas d'impact notable sur la probabilité d'échec des
......
module2/exo5/freq_temp_python.png

12.3 KB | W: | H:

module2/exo5/freq_temp_python.png

13 KB | W: | H:

module2/exo5/freq_temp_python.png
module2/exo5/freq_temp_python.png
module2/exo5/freq_temp_python.png
module2/exo5/freq_temp_python.png
  • 2-up
  • Swipe
  • Onion skin
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment