diff --git a/module3/exo2/exercice_python_fr.org b/module3/exo2/exercice_python_fr.org index c7157ba42216cf2e1d291112bb351ce48811115c..80bd5ffa28f6eb7b66d8fd15a454203d488974a6 100644 --- a/module3/exo2/exercice_python_fr.org +++ b/module3/exo2/exercice_python_fr.org @@ -1,93 +1,202 @@ -#+TITLE: Votre titre -#+AUTHOR: Votre nom -#+DATE: La date du jour -#+LANGUAGE: fr -# #+PROPERTY: header-args :eval never-export - -#+HTML_HEAD: -#+HTML_HEAD: -#+HTML_HEAD: -#+HTML_HEAD: -#+HTML_HEAD: -#+HTML_HEAD: - -* Quelques explications - -Ceci est un document org-mode avec quelques exemples de code -python. Une fois ouvert dans emacs, ce document peut aisément être -exporté au format HTML, PDF, et Office. Pour plus de détails sur -org-mode vous pouvez consulter https://orgmode.org/guide/. - -Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera -compilé en html. Tout le code contenu sera ré-exécuté, les résultats -récupérés et inclus dans un document final. Si vous ne souhaitez pas -ré-exécuter tout le code à chaque fois, il vous suffit de supprimer -le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce -document. - -Comme nous vous l'avons montré dans la vidéo, on inclue du code -python de la façon suivante (et on l'exécute en faisant ~C-c C-c~): - -#+begin_src python :results output :exports both -print("Hello world!") -#+end_src +#est populaire en Europe, mais peu utilisée aux Etats-Unis. Ceci explique peut-être que peu de logiciels savent gérer ce format. Le langage Python le fait depuis la version 3.6. Nous utilisons donc ce langage pour la préparation de nos données, ce qui a l'avantage de ne nécessiter aucune bibliothèque supplémentaire. (Note: nous expliquerons dans le module 4 pourquoi il est avantageux pour la réproductibilité de se limiter à un minimum de bibliothèques.) + +** Téléchargement + + #+begin_src python :results output :session :exports both +data_file = 'incidence-PAY-7.csv' +import os +import urllib.request +if not os.path.exists(data_file): + urllib.request.urlretrieve(data_url, data_file) + #+end_src + + #+RESULTS: + + #+begin_src python :results silent :session :var data_url=data-url + +data= open(data_file, 'rb').read() +lines = data.decode('latin-1').strip().split('\n') +data_lines = lines[1:] +table = [line.split(',') for line in data_lines] + #+end_src + + #+begin_src python :results value :session +table[:5] + #+end_src + + #+RESULTS: + | week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name | + | 202403 | 3 | 177465 | 164064 | 190866 | 266 | 246 | 286 | FR | France | + | 202402 | 3 | 130259 | 120192 | 140326 | 195 | 180 | 210 | FR | France | + | 202401 | 3 | 120769 | 109452 | 132086 | 181 | 164 | 198 | FR | France | + | 202352 | 3 | 115446 | 103738 | 127154 | 174 | 156 | 192 | FR | France | + + + #+begin_src python :results output :session +valid_table = [] +for row in table: + missing = any([column == '' for column in row]) + if missing: + print(row) + else: + valid_table.append(row) + + #+end_src + + #+RESULTS: + : ['198919', '3', '-', '', '', '-', '', '', 'FR', 'France'] + +#+BEGIN_SRC python :results silent :session +week = [row[0] for row in valid_table] +assert week[0] == 'week' +del week[0] +inc = [row[2] for row in valid_table] +assert inc[0] == 'inc +del inc[0] +data = list(zip(week, inc)) +#+END_SRC + +#+BEGIN_SRC python :results value :session +[('week', 'inc'), None] + data[:5] + [None] + data[-5:] +#+END_SRC #+RESULTS: -: Hello world! +| week | inc | +|--------+--------| +| 202403 | 177465 | +| 202402 | 130259 | +| 202401 | 120769 | +| 202352 | 115446 | +| 202351 | 148755 | +|--------+--------| +| 198448 | 78620 | +| 198447 | 72029 | +| 198446 | 87330 | +| 198445 | 135223 | +| 198444 | 68422 | + +#+BEGIN_SRC python :results output :session +for week, inc in data: + if len(week) != 6 or not week.isdigit(): + print("Valeur suspecte dans la colonne 'week': ", (week, inc)) + if not inc.isdigit(): + print("Valeur suspecte dans la colonne 'inc': ", (week, inc)) +#+END_SRC -Voici la même chose, mais avec une session python, donc une -persistance d'un bloc à l'autre (et on l'exécute toujours en faisant -~C-c C-c~). -#+begin_src python :results output :session :exports both -import numpy -x=numpy.linspace(-15,15) -print(x) -#+end_src +#+RESULTS: + +#+BEGIN_SRC python :results silent :session +import datetime +converted_data = [(datetime.datetime.strptime(year_and_week + ":1" , '%G%V:%u').date(), + int(inc)) + for year_and_week, inc in data] +converted_data.sort(key = lambda record: record[0]) +#+END_SRC + +#+BEGIN_SRC python :results value :session +str_data = [(str(date), str(inc)) for date, inc in converted_data] +[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:] +#+END_SRC + +#+RESULTS: +| date | inc | +|------------+--------| +| 1984-10-29 | 68422 | +| 1984-11-05 | 135223 | +| 1984-11-12 | 87330 | +| 1984-11-19 | 72029 | +| 1984-11-26 | 78620 | +|------------+--------| +| 2023-12-18 | 148755 | +| 2023-12-25 | 115446 | +| 2024-01-01 | 120769 | +| 2024-01-08 | 130259 | +| 2024-01-15 | 177465 | + +#+BEGIN_SRC python :results output :session +dates = [date for date, _ in converted_data] +for date1, date2 in zip(dates[:-1], dates[1:]): + if date2-date1 != datetime.timedelta(weeks=1): + print(f"Il y a {date2-date1} entre {date1} et {date2}") +#+END_SRC + +#+RESULTS: +: Il y a 14 days, 0:00:00 entre 1989-05-01 et 1989-05-15 + +#+NAME: data-for-R +#+BEGIN_SRC python :results silent :session +[('date', 'inc'), None] + [(str(date), inc) for date, inc in converted_data] +#+END_SRC + +#+BEGIN_SRC R :results output :var data=data-for-R :session +data$date <- as.Date(data$date) +summary(data) +#+END_SRC #+RESULTS: -#+begin_example -[-15. -14.3877551 -13.7755102 -13.16326531 -12.55102041 - -11.93877551 -11.32653061 -10.71428571 -10.10204082 -9.48979592 - -8.87755102 -8.26530612 -7.65306122 -7.04081633 -6.42857143 - -5.81632653 -5.20408163 -4.59183673 -3.97959184 -3.36734694 - -2.75510204 -2.14285714 -1.53061224 -0.91836735 -0.30612245 - 0.30612245 0.91836735 1.53061224 2.14285714 2.75510204 - 3.36734694 3.97959184 4.59183673 5.20408163 5.81632653 - 6.42857143 7.04081633 7.65306122 8.26530612 8.87755102 - 9.48979592 10.10204082 10.71428571 11.32653061 11.93877551 - 12.55102041 13.16326531 13.7755102 14.3877551 15. ] -#+end_example - -Et enfin, voici un exemple de sortie graphique: -#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results -import matplotlib.pyplot as plt - -plt.figure(figsize=(10,5)) -plt.plot(x,numpy.cos(x)/x) -plt.tight_layout() - -plt.savefig(matplot_lib_filename) -print(matplot_lib_filename) -#+end_src +: date inc +: Min. :1984-10-29 Min. : 0 +: 1st Qu.:1994-08-23 1st Qu.: 5329 +: Median :2004-06-10 Median : 16690 +: Mean :2004-06-09 Mean : 59929 +: 3rd Qu.:2014-03-29 3rd Qu.: 50927 +: Max. :2024-01-15 Max. :1001824 + + +#+BEGIN_SRC R :results output graphics :file inc-plot.png :session +plot(data, type="l", xlab="Date", ylab="inc") +#+END_SRC + +#+RESULTS: + +#+BEGIN_SRC R :results output graphics :file inc-plot-zoom.png :session +plot(tail(data, 200), type="l", xlab="Date", ylab="Incidence hebdomadaire") +#+END_SRC + +#+RESULTS: + +#+BEGIN_SRC R :results silent :session +pic_annuel = function(annee) { + debut = paste0(annee-1,"-08-01") + fin = paste0(annee,"-08-01") + semaines = data$date > debut & data$date <= fin + sum(data$inc[semaines], na.rm=TRUE) + } +#+END_SRC + +#+BEGIN_SRC R :results silent :session +annees <- 1985:2024 +#+END_SRC + +#+BEGIN_SRC R :results value :session +inc_annuelle = data.frame(annee = annees, + incidence = sapply(annees, pic_annuel)) +head(inc_annuelle) +#+END_SRC + +#+RESULTS: +| 1985 | 5779196 | +| 1986 | 5100540 | +| 1987 | 2861556 | +| 1988 | 2766142 | +| 1989 | 5460155 | +| 1990 | 5233987 | + +#+BEGIN_SRC R :results output graphics :file annual-inc-plot.png :session +plot(inc_annuelle, type="p", xlab="Année", ylab="Incidence annuelle") +#+END_SRC + +#+RESULTS: + +#+BEGIN_SRC R :results output :session +head(inc_annuelle[order(inc_annuelle$incidence),]) +#+END_SRC #+RESULTS: -[[file:./cosxsx.png]] - -Vous remarquerez le paramètre ~:exports results~ qui indique que le code -ne doit pas apparaître dans la version finale du document. Nous vous -recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre -(indiquer ~both~) car l'objectif est que vos analyses de données soient -parfaitement transparentes pour être reproductibles. - -Attention, la figure ainsi générée n'est pas stockée dans le document -org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas -de le committer si vous voulez que votre analyse soit lisible et -compréhensible sur GitLab. - -Enfin, n'oubliez pas que nous vous fournissons dans les ressources de -ce MOOC une configuration avec un certain nombre de raccourcis -claviers permettant de créer rapidement les blocs de code python (en -faisant ~