Update exercice_python_fr.org

module3/exo2/exercice_python_fr.org

-#+TITLE:  Votre titre
-#+AUTHOR: Votre nom
-#+DATE:   La date du jour
-#+LANGUAGE: fr
-# #+PROPERTY: header-args :eval never-export
-
-#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/htmlize.css"/>
-#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/readtheorg.css"/>
-#+HTML_HEAD: <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.3/jquery.min.js"></script>
-#+HTML_HEAD: <script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.4/js/bootstrap.min.js"></script>
-#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
-#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
-
-* Quelques explications
-
-Ceci est un document org-mode avec quelques exemples de code
-python. Une fois ouvert dans emacs, ce document peut aisément être
-exporté au format HTML, PDF, et Office. Pour plus de détails sur
-org-mode vous pouvez consulter https://orgmode.org/guide/.
-
-Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera
-compilé en html. Tout le code contenu sera ré-exécuté, les résultats
-récupérés et inclus dans un document final. Si vous ne souhaitez pas
-ré-exécuter tout le code à chaque fois, il vous suffit de supprimer
-le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce
-document.
-
-Comme nous vous l'avons montré dans la vidéo, on inclue du code
-python de la façon suivante (et on l'exécute en faisant ~C-c C-c~):
-
-#+begin_src python :results output :exports both
-print("Hello world!")
-#+end_src
+#est populaire en Europe, mais peu utilisée aux Etats-Unis. Ceci explique peut-être que peu de logiciels savent gérer ce format. Le langage Python le fait depuis la version 3.6. Nous utilisons donc ce langage pour la préparation de nos données, ce qui a l'avantage de ne nécessiter aucune bibliothèque supplémentaire. (Note: nous expliquerons dans le module 4 pourquoi il est avantageux pour la réproductibilité de se limiter à un minimum de bibliothèques.)
+
+** Téléchargement
+
+   #+begin_src python :results output :session :exports both
+data_file = 'incidence-PAY-7.csv'
+import os
+import urllib.request
+if not os.path.exists(data_file):
+    urllib.request.urlretrieve(data_url, data_file)
+   #+end_src
+   
+   #+RESULTS:
+
+   #+begin_src python :results silent :session :var data_url=data-url
+
+data= open(data_file, 'rb').read()
+lines = data.decode('latin-1').strip().split('\n')
+data_lines = lines[1:]
+table = [line.split(',') for line in data_lines]
+   #+end_src
+
+   #+begin_src python :results value :session
+table[:5]
+   #+end_src
+
+   #+RESULTS:
+   |   week | indicator |    inc | inc_low |  inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
+   | 202403 |         3 | 177465 | 164064 | 190866 |    266 |       246 |      286 | FR       | France  |
+   | 202402 |         3 | 130259 | 120192 | 140326 |    195 |       180 |      210 | FR       | France  |
+   | 202401 |         3 | 120769 | 109452 | 132086 |    181 |       164 |      198 | FR       | France  |
+   | 202352 |         3 | 115446 | 103738 | 127154 |    174 |       156 |      192 | FR       | France  |
+
+
+   #+begin_src python :results output :session 
+valid_table = []
+for row in table:
+    missing = any([column == '' for column in row])
+    if missing:
+        print(row)
+    else:
+        valid_table.append(row)
+
+   #+end_src
+
+   #+RESULTS:
+   : ['198919', '3', '-', '', '', '-', '', '', 'FR', 'France']
+
+#+BEGIN_SRC python :results silent :session
+week = [row[0] for row in valid_table]
+assert week[0] == 'week'
+del week[0]
+inc = [row[2] for row in valid_table]
+assert inc[0] == 'inc
+del inc[0]
+data = list(zip(week, inc))
+#+END_SRC
+
+#+BEGIN_SRC python :results value :session
+[('week', 'inc'), None] + data[:5] + [None] + data[-5:]
+#+END_SRC
 
 #+RESULTS:
-: Hello world!
+|   week |    inc |
+|--------+--------|
+| 202403 | 177465 |
+| 202402 | 130259 |
+| 202401 | 120769 |
+| 202352 | 115446 |
+| 202351 | 148755 |
+|--------+--------|
+| 198448 |  78620 |
+| 198447 |  72029 |
+| 198446 |  87330 |
+| 198445 | 135223 |
+| 198444 |  68422 |
+
+#+BEGIN_SRC python :results output :session
+for week, inc in data:
+    if len(week) != 6 or not week.isdigit():
+        print("Valeur suspecte dans la colonne 'week': ", (week, inc))
+    if not inc.isdigit():
+        print("Valeur suspecte dans la colonne 'inc': ", (week, inc))
+#+END_SRC
 
-Voici la même chose, mais avec une session python, donc une
-persistance d'un bloc à l'autre (et on l'exécute toujours en faisant
-~C-c C-c~).
-#+begin_src python :results output :session :exports both
-import numpy
-x=numpy.linspace(-15,15)
-print(x)
-#+end_src
+#+RESULTS:
+
+#+BEGIN_SRC python :results silent :session
+import datetime
+converted_data = [(datetime.datetime.strptime(year_and_week + ":1" , '%G%V:%u').date(),
+                  int(inc))
+                  for year_and_week, inc in data]
+converted_data.sort(key = lambda record: record[0])
+#+END_SRC
+
+#+BEGIN_SRC python :results value :session
+str_data = [(str(date), str(inc)) for date, inc in converted_data]
+[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
+#+END_SRC
+
+#+RESULTS:
+|       date |    inc |
+|------------+--------|
+| 1984-10-29 |  68422 |
+| 1984-11-05 | 135223 |
+| 1984-11-12 |  87330 |
+| 1984-11-19 |  72029 |
+| 1984-11-26 |  78620 |
+|------------+--------|
+| 2023-12-18 | 148755 |
+| 2023-12-25 | 115446 |
+| 2024-01-01 | 120769 |
+| 2024-01-08 | 130259 |
+| 2024-01-15 | 177465 |
+
+#+BEGIN_SRC python :results output :session
+dates = [date for date, _ in converted_data]
+for date1, date2 in zip(dates[:-1], dates[1:]):
+    if date2-date1 != datetime.timedelta(weeks=1):
+        print(f"Il y a {date2-date1} entre {date1} et {date2}")
+#+END_SRC
+
+#+RESULTS:
+: Il y a 14 days, 0:00:00 entre 1989-05-01 et 1989-05-15
+
+#+NAME: data-for-R
+#+BEGIN_SRC python :results silent :session
+[('date', 'inc'), None] + [(str(date), inc) for date, inc in converted_data]
+#+END_SRC
+
+#+BEGIN_SRC R :results output :var data=data-for-R :session
+data$date <- as.Date(data$date)
+summary(data)
+#+END_SRC
 
 #+RESULTS:
-#+begin_example
-[-15.         -14.3877551  -13.7755102  -13.16326531 -12.55102041
- -11.93877551 -11.32653061 -10.71428571 -10.10204082  -9.48979592
-  -8.87755102  -8.26530612  -7.65306122  -7.04081633  -6.42857143
-  -5.81632653  -5.20408163  -4.59183673  -3.97959184  -3.36734694
-  -2.75510204  -2.14285714  -1.53061224  -0.91836735  -0.30612245
-   0.30612245   0.91836735   1.53061224   2.14285714   2.75510204
-   3.36734694   3.97959184   4.59183673   5.20408163   5.81632653
-   6.42857143   7.04081633   7.65306122   8.26530612   8.87755102
-   9.48979592  10.10204082  10.71428571  11.32653061  11.93877551
-  12.55102041  13.16326531  13.7755102   14.3877551   15.        ]
-#+end_example
-
-Et enfin, voici un exemple de sortie graphique:
-#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results
-import matplotlib.pyplot as plt
-
-plt.figure(figsize=(10,5))
-plt.plot(x,numpy.cos(x)/x)
-plt.tight_layout()
-
-plt.savefig(matplot_lib_filename)
-print(matplot_lib_filename)
-#+end_src
+:       date                 inc         
+:  Min.   :1984-10-29   Min.   :      0  
+:  1st Qu.:1994-08-23   1st Qu.:   5329  
+:  Median :2004-06-10   Median :  16690  
+:  Mean   :2004-06-09   Mean   :  59929  
+:  3rd Qu.:2014-03-29   3rd Qu.:  50927  
+:  Max.   :2024-01-15   Max.   :1001824
+
+
+#+BEGIN_SRC R :results output graphics :file inc-plot.png :session
+plot(data, type="l", xlab="Date", ylab="inc")
+#+END_SRC
+
+#+RESULTS:
+
+#+BEGIN_SRC R :results output graphics :file inc-plot-zoom.png :session
+plot(tail(data, 200), type="l", xlab="Date", ylab="Incidence hebdomadaire")
+#+END_SRC
+
+#+RESULTS:
+
+#+BEGIN_SRC R :results silent :session
+pic_annuel = function(annee) {
+      debut = paste0(annee-1,"-08-01")
+      fin = paste0(annee,"-08-01")
+      semaines = data$date > debut & data$date <= fin
+      sum(data$inc[semaines], na.rm=TRUE)
+      }
+#+END_SRC
+
+#+BEGIN_SRC R :results silent :session
+annees <- 1985:2024
+#+END_SRC
+
+#+BEGIN_SRC R :results value :session
+inc_annuelle = data.frame(annee = annees,
+                          incidence = sapply(annees, pic_annuel))
+head(inc_annuelle)
+#+END_SRC
+
+#+RESULTS:
+| 1985 | 5779196 |
+| 1986 | 5100540 |
+| 1987 | 2861556 |
+| 1988 | 2766142 |
+| 1989 | 5460155 |
+| 1990 | 5233987 |
+
+#+BEGIN_SRC R :results output graphics :file annual-inc-plot.png :session
+plot(inc_annuelle, type="p", xlab="Année", ylab="Incidence annuelle")
+#+END_SRC
+
+#+RESULTS:
+
+#+BEGIN_SRC R :results output :session
+head(inc_annuelle[order(inc_annuelle$incidence),])
+#+END_SRC
 
 #+RESULTS:
-[[file:./cosxsx.png]]
-
-Vous remarquerez le paramètre ~:exports results~ qui indique que le code
-ne doit pas apparaître dans la version finale du document. Nous vous
-recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre
-(indiquer ~both~) car l'objectif est que vos analyses de données soient
-parfaitement transparentes pour être reproductibles.
-
-Attention, la figure ainsi générée n'est pas stockée dans le document
-org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas
-de le committer si vous voulez que votre analyse soit lisible et
-compréhensible sur GitLab.
-
-Enfin, n'oubliez pas que nous vous fournissons dans les ressources de
-ce MOOC une configuration avec un certain nombre de raccourcis
-claviers permettant de créer rapidement les blocs de code python (en
-faisant ~<p~, ~<P~ ou ~<PP~ suivi de ~Tab~).
-
-Maintenant, à vous de jouer! Vous pouvez effacer toutes ces
-informations et les remplacer par votre document computationnel.
+:    annee incidence
+: 37  2021    748872
+: 30  2014   1602814
+: 7   1991   1660832
+: 11  1995   1837329
+: 40  2024   1972910
+: 36  2020   2011122