Skip to content

M
mooc-rr
Commit fc4662b6 authored by e0340d27b4cfb8ee807c93b7aee20e18's avatar e0340d27b4cfb8ee807c93b7aee20e18
Browse files
Options

Update exercice_python_fr.org

parent f9b119bc
Hide whitespace changes
Inline Side-by-side
Showing with 195 additions and 86 deletions
module3/exo2/exercice_python_fr.org
View file @ fc4662b6
#+TITLE: Votre titre #est populaire en Europe, mais peu utilisée aux Etats-Unis. Ceci explique peut-être que peu de logiciels savent gérer ce format. Le langage Python le fait depuis la version 3.6. Nous utilisons donc ce langage pour la préparation de nos données, ce qui a l'avantage de ne nécessiter aucune bibliothèque supplémentaire. (Note: nous expliquerons dans le module 4 pourquoi il est avantageux pour la réproductibilité de se limiter à un minimum de bibliothèques.)
#+AUTHOR: Votre nom
#+DATE: La date du jour ** Téléchargement
#+LANGUAGE: fr
# #+PROPERTY: header-args :eval never-export #+begin_src python :results output :session :exports both
data_file = 'incidence-PAY-7.csv'
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/htmlize.css"/> import os
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/readtheorg.css"/> import urllib.request
#+HTML_HEAD: <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.3/jquery.min.js"></script> if not os.path.exists(data_file):
#+HTML_HEAD: <script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.4/js/bootstrap.min.js"></script> urllib.request.urlretrieve(data_url, data_file)
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script> #+end_src
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
#+RESULTS:
* Quelques explications
#+begin_src python :results silent :session :var data_url=data-url
Ceci est un document org-mode avec quelques exemples de code
python. Une fois ouvert dans emacs, ce document peut aisément être data= open(data_file, 'rb').read()
exporté au format HTML, PDF, et Office. Pour plus de détails sur lines = data.decode('latin-1').strip().split('\n')
org-mode vous pouvez consulter https://orgmode.org/guide/. data_lines = lines[1:]
table = [line.split(',') for line in data_lines]
Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera #+end_src
compilé en html. Tout le code contenu sera ré-exécuté, les résultats
récupérés et inclus dans un document final. Si vous ne souhaitez pas #+begin_src python :results value :session
ré-exécuter tout le code à chaque fois, il vous suffit de supprimer table[:5]
le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce #+end_src
document.
#+RESULTS:
Comme nous vous l'avons montré dans la vidéo, on inclue du code | week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
python de la façon suivante (et on l'exécute en faisant ~C-c C-c~): | 202403 | 3 | 177465 | 164064 | 190866 | 266 | 246 | 286 | FR | France |
| 202402 | 3 | 130259 | 120192 | 140326 | 195 | 180 | 210 | FR | France |
#+begin_src python :results output :exports both | 202401 | 3 | 120769 | 109452 | 132086 | 181 | 164 | 198 | FR | France |
print("Hello world!") | 202352 | 3 | 115446 | 103738 | 127154 | 174 | 156 | 192 | FR | France |
#+end_src
#+begin_src python :results output :session
valid_table = []
for row in table:
missing = any([column == '' for column in row])
if missing:
print(row)
else:
valid_table.append(row)
#+end_src
#+RESULTS:
: ['198919', '3', '-', '', '', '-', '', '', 'FR', 'France']
#+BEGIN_SRC python :results silent :session
week = [row[0] for row in valid_table]
assert week[0] == 'week'
del week[0]
inc = [row[2] for row in valid_table]
assert inc[0] == 'inc
del inc[0]
data = list(zip(week, inc))
#+END_SRC
#+BEGIN_SRC python :results value :session
[('week', 'inc'), None] + data[:5] + [None] + data[-5:]
#+END_SRC
#+RESULTS: #+RESULTS:
: Hello world! | week | inc |
|--------+--------|
| 202403 | 177465 |
| 202402 | 130259 |
| 202401 | 120769 |
| 202352 | 115446 |
| 202351 | 148755 |
|--------+--------|
| 198448 | 78620 |
| 198447 | 72029 |
| 198446 | 87330 |
| 198445 | 135223 |
| 198444 | 68422 |
#+BEGIN_SRC python :results output :session
for week, inc in data:
if len(week) != 6 or not week.isdigit():
print("Valeur suspecte dans la colonne 'week': ", (week, inc))
if not inc.isdigit():
print("Valeur suspecte dans la colonne 'inc': ", (week, inc))
#+END_SRC
Voici la même chose, mais avec une session python, donc une #+RESULTS:
persistance d'un bloc à l'autre (et on l'exécute toujours en faisant
~C-c C-c~). #+BEGIN_SRC python :results silent :session
#+begin_src python :results output :session :exports both import datetime
import numpy converted_data = [(datetime.datetime.strptime(year_and_week + ":1" , '%G%V:%u').date(),
x=numpy.linspace(-15,15) int(inc))
print(x) for year_and_week, inc in data]
#+end_src converted_data.sort(key = lambda record: record[0])
#+END_SRC
#+BEGIN_SRC python :results value :session
str_data = [(str(date), str(inc)) for date, inc in converted_data]
[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
#+END_SRC
#+RESULTS:
| date | inc |
|------------+--------|
| 1984-10-29 | 68422 |
| 1984-11-05 | 135223 |
| 1984-11-12 | 87330 |
| 1984-11-19 | 72029 |
| 1984-11-26 | 78620 |
|------------+--------|
| 2023-12-18 | 148755 |
| 2023-12-25 | 115446 |
| 2024-01-01 | 120769 |
| 2024-01-08 | 130259 |
| 2024-01-15 | 177465 |
#+BEGIN_SRC python :results output :session
dates = [date for date, _ in converted_data]
for date1, date2 in zip(dates[:-1], dates[1:]):
if date2-date1 != datetime.timedelta(weeks=1):
print(f"Il y a {date2-date1} entre {date1} et {date2}")
#+END_SRC
#+RESULTS:
: Il y a 14 days, 0:00:00 entre 1989-05-01 et 1989-05-15
#+NAME: data-for-R
#+BEGIN_SRC python :results silent :session
[('date', 'inc'), None] + [(str(date), inc) for date, inc in converted_data]
#+END_SRC
#+BEGIN_SRC R :results output :var data=data-for-R :session
data$date <- as.Date(data$date)
summary(data)
#+END_SRC
#+RESULTS: #+RESULTS:
#+begin_example : date inc
[-15. -14.3877551 -13.7755102 -13.16326531 -12.55102041 : Min. :1984-10-29 Min. : 0
-11.93877551 -11.32653061 -10.71428571 -10.10204082 -9.48979592 : 1st Qu.:1994-08-23 1st Qu.: 5329
-8.87755102 -8.26530612 -7.65306122 -7.04081633 -6.42857143 : Median :2004-06-10 Median : 16690
-5.81632653 -5.20408163 -4.59183673 -3.97959184 -3.36734694 : Mean :2004-06-09 Mean : 59929
-2.75510204 -2.14285714 -1.53061224 -0.91836735 -0.30612245 : 3rd Qu.:2014-03-29 3rd Qu.: 50927
0.30612245 0.91836735 1.53061224 2.14285714 2.75510204 : Max. :2024-01-15 Max. :1001824
3.36734694 3.97959184 4.59183673 5.20408163 5.81632653
6.42857143 7.04081633 7.65306122 8.26530612 8.87755102
9.48979592 10.10204082 10.71428571 11.32653061 11.93877551 #+BEGIN_SRC R :results output graphics :file inc-plot.png :session
12.55102041 13.16326531 13.7755102 14.3877551 15. ] plot(data, type="l", xlab="Date", ylab="inc")
#+end_example #+END_SRC
Et enfin, voici un exemple de sortie graphique: #+RESULTS:
#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results
import matplotlib.pyplot as plt #+BEGIN_SRC R :results output graphics :file inc-plot-zoom.png :session
plot(tail(data, 200), type="l", xlab="Date", ylab="Incidence hebdomadaire")
plt.figure(figsize=(10,5)) #+END_SRC
plt.plot(x,numpy.cos(x)/x)
plt.tight_layout() #+RESULTS:
plt.savefig(matplot_lib_filename) #+BEGIN_SRC R :results silent :session
print(matplot_lib_filename) pic_annuel = function(annee) {
#+end_src debut = paste0(annee-1,"-08-01")
fin = paste0(annee,"-08-01")
semaines = data$date > debut & data$date <= fin
sum(data$inc[semaines], na.rm=TRUE)
}
#+END_SRC
#+BEGIN_SRC R :results silent :session
annees <- 1985:2024
#+END_SRC
#+BEGIN_SRC R :results value :session
inc_annuelle = data.frame(annee = annees,
incidence = sapply(annees, pic_annuel))
head(inc_annuelle)
#+END_SRC
#+RESULTS:
| 1985 | 5779196 |
| 1986 | 5100540 |
| 1987 | 2861556 |
| 1988 | 2766142 |
| 1989 | 5460155 |
| 1990 | 5233987 |
#+BEGIN_SRC R :results output graphics :file annual-inc-plot.png :session
plot(inc_annuelle, type="p", xlab="Année", ylab="Incidence annuelle")
#+END_SRC
#+RESULTS:
#+BEGIN_SRC R :results output :session
head(inc_annuelle[order(inc_annuelle$incidence),])
#+END_SRC
#+RESULTS: #+RESULTS:
[[file:./cosxsx.png]] : annee incidence
: 37 2021 748872
Vous remarquerez le paramètre ~:exports results~ qui indique que le code : 30 2014 1602814
ne doit pas apparaître dans la version finale du document. Nous vous : 7 1991 1660832
recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre : 11 1995 1837329
(indiquer ~both~) car l'objectif est que vos analyses de données soient : 40 2024 1972910
parfaitement transparentes pour être reproductibles. : 36 2020 2011122
Attention, la figure ainsi générée n'est pas stockée dans le document
org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas
de le committer si vous voulez que votre analyse soit lisible et
compréhensible sur GitLab.
Enfin, n'oubliez pas que nous vous fournissons dans les ressources de
ce MOOC une configuration avec un certain nombre de raccourcis
claviers permettant de créer rapidement les blocs de code python (en
faisant ~<p~, ~<P~ ou ~<PP~ suivi de ~Tab~).
Maintenant, à vous de jouer! Vous pouvez effacer toutes ces
informations et les remplacer par votre document computationnel.
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment