Skip to content

M
mooc-rr
Commit 1890664b authored by MigAP's avatar MigAP
Browse files
Options

exo1 module 3 attempt 1

parent 746c4536
Hide whitespace changes
Inline Side-by-side
Showing with 99 additions and 20 deletions
journal/journal.org
View file @ 1890664b
......@@ -98,24 +98,42 @@
* Module 3 : La main à la pâte, une analyse réplicable
** 1. Une analyse réplicable, c'est quoi ?
- Dans le cas d'une analyse traditionnelle, on se focalise sur les résultats obtenus. On présente brièvement la méthodologie adoptée qui a permis d'obtenir les résultats. Puis l'on fini avec une discussion sur les résultats.
- En constraste, une analyse de donnés répblicable remplace la présentation de la méthodologie par la totatlité du code qui a permis d'obtenir ces résultats, accompagnée d'une explication sur les différents choix effectuées.
- Pourquoi faire une analyse répblicable : facile à refaire si les données changent, facile à modifier, facile à inspecter et vérifier.
- Dans le cas d'une analyse traditionnelle, on se focalise sur les
résultats obtenus. On présente brièvement la méthodologie adoptée
qui a permis d'obtenir les résultats. Puis l'on fini avec une
discussion sur les résultats.
- En constraste, une analyse de donnés répblicable remplace la
présentation de la méthodologie par la totatlité du code qui a
permis d'obtenir ces résultats, accompagnée d'une explication sur
les différents choix effectuées.
- Pourquoi faire une analyse répblicable : facile à refaire si les
données changent, facile à modifier, facile à inspecter et vérifier.
** 2. Étude de cas : l'incidence de syndromes grippaux
- Utilisation du site Sentinelles afin d'utiliser des données médicales.
- Année et semaine en format ISO : la première semaine c'est la semaine qui contient le 4 janvier.
- Aucune modification des données brutes à la main, cela rend l'analyse non replicable. Toutes les modification doivent se faire dans du code.
- Format des dates ISO 8601, il y a deux façons différentes de représenter une date, considérons le 8 août 2018 :
- Utilisation du site Sentinelles afin d'utiliser des données
médicales.
- Année et semaine en format ISO : la première semaine c'est la
semaine qui contient le 4 janvier.
- Aucune modification des données brutes à la main, cela rend
l'analyse non replicable. Toutes les modification doivent se faire
dans du code.
- Format des dates ISO 8601, il y a deux façons différentes de
représenter une date, considérons le 8 août 2018 :
1. 2018-08-08 : année, mois, jour du mois
2. 2018-W32-3 : année, semaine et jour de la semaine (mercredi = 3ème jour). La première semaine de l'année est celle qui contient le premier jeudi de l'année.
** 3. Importer les données avec OrgMode / Python+R
- Il faut spécifier l'url de téléchargement dans le document computationel. Avec la "commande" =#+NAME:= on peut attribuer un nom à l'url et la passer dans le code par la suite.
- Présentation d'un petit script qui permet de télécharger les données en utilisant l'url.
2. 2018-W32-3 : année, semaine et jour de la semaine (mercredi =
3ème jour). La première semaine de l'année est celle qui contient
le premier jeudi de l'année.
** 3. Importer les données avec OrgMode / Python+R
- Il faut spécifier l'url de téléchargement dans le document
computationel. Avec la "commande" =#+NAME:= on peut attribuer un nom
à l'url et la passer dans le code par la suite.
- Présentation d'un petit script qui permet de télécharger les données
en utilisant l'url.
- Lorsqu'on utilise l'option =results value= org mode permet d'avoir
un affichage agréable sur les résultats du code.
- Les données doivent être directement traitées depuis la source sans intervention manuelle.
- Les données doivent être directement traitées depuis la source sans
intervention manuelle.
** 4. Vérification et inspection avec org-mode
- Le langage python (à partir de 3.6) elle gère les dates en format ISO.
- Conversion des date + tri chronologique + vérification des données.
......@@ -126,7 +144,8 @@
l'intermédiaire entre python et R.
- Faire des vérifications : analyse visuelle + des codes de vérification.
** 5. Questions et réponses
- Dans quelle année il y a eu l'épidémie la plus forte, puis leurs fréquences ?
- Dans quelle année il y a eu l'épidémie la plus forte, puis leurs
fréquences ?
- Conversions des années hebdomadaires en années annuelles.
- Expliquer les détails techniques car c'est là que l'on fait les
erreurs !
module3/exo1/analyse-syndrome-grippal.org
View file @ 1890664b
......@@ -27,11 +27,15 @@ if sys.version_info.major < 3 or sys.version_info.minor < 6:
print("Veuillez utiliser Python 3.6 (ou plus) !")
#+END_SRC
#+RESULTS:
#+BEGIN_SRC emacs-lisp :results output
(unless (featurep 'ob-python)
(print "Veuillez activer python dans org-babel (org-babel-do-languages) !"))
#+END_SRC
#+RESULTS:
** R 3.4
Nous n'utilisons que des fonctionnalités de base du langage R, une version antérieure devrait suffire.
......@@ -40,6 +44,8 @@ Nous n'utilisons que des fonctionnalités de base du langage R, une version ant
(print "Veuillez activer R dans org-babel (org-babel-do-languages) !"))
#+END_SRC
#+RESULTS:
* Préparation des données
Les données de l'incidence du syndrome grippal sont disponibles du site Web du [[http://www.sentiweb.fr/][Réseau Sentinelles]]. Nous les récupérons sous forme d'un fichier en format CSV dont chaque ligne correspond à une semaine de la période d'observation. Nous téléchargeons toujours le jeu de données complet (rien d'autre n'est proposé), qui commence en 1984 et se termine avec une semaine récente. L'URL est:
......@@ -67,12 +73,28 @@ L'indication d'une semaine calendaire en format [[https://en.wikipedia.org/wiki/
Après avoir téléchargé les données, nous commençons par l'extraction des données qui nous intéressent. D'abord nous découpons le contenu du fichier en lignes, dont nous jetons la première qui ne contient qu'un commentaire. Les autres lignes sont découpées en colonnes.
#+BEGIN_SRC python :results silent :var data_url=data-url
from urllib.request import urlopen
data = urlopen(data_url).read()
lines = data.decode('latin-1').strip().split('\n')
data_lines = lines[1:]
table = [line.split(',') for line in data_lines]
from urllib.request import urlopen
import csv
# Try to read the file
try:
f = open('raw_data.csv')
with open('raw_data.csv', newline='') as csvfile:
table = list(csv.reader(csvfile))
# If the file does not exist download data
except IOError:
data = urlopen(data_url).read()
lines = data.decode('latin-1').strip().split('\n')
data_lines = lines[1:]
with open('raw_data.csv', 'w') as f:
write = csv.writer(f)
#insert fields
write.writerow(table[0])
write.writerows(table[1:])
table = [line.split(',') for line in data_lines]
finally:
f.close()
#+END_SRC
Regardons ce que nous avons obtenu:
......@@ -80,6 +102,13 @@ Regardons ce que nous avons obtenu:
table[:5]
#+END_SRC
#+RESULTS:
| week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
| 202044 | 3 | 44739 | 38626 | 50852 | 68 | 59 | 77 | FR | France |
| 202043 | 3 | 43751 | 37535 | 49967 | 66 | 57 | 75 | FR | France |
| 202042 | 3 | 35145 | 29812 | 40478 | 53 | 45 | 61 | FR | France |
| 202041 | 3 | 27877 | 23206 | 32548 | 42 | 35 | 49 | FR | France |
** Recherche de données manquantes
Il y a malheureusement beaucoup de façon d'indiquer l'absence d'un point de données. Nous testons ici seulement pour la présence de champs vides. Il faudrait aussi rechercher des valeurs non-numériques dans les colonnes à priori numériques. Nous ne le faisons pas ici, mais une vérification ultérieure capterait des telles anomalies.
......@@ -94,6 +123,9 @@ for row in table:
valid_table.append(row)
#+END_SRC
#+RESULTS:
: ['198919', '3', '0', '', '', '0', '', '', 'FR', 'France']
** Extraction des colonnes utilisées
Il y a deux colonnes qui nous intéressent: la première (~"week"~) et la troisième (~"inc"~). Nous vérifions leurs noms dans l'en-tête, que nous effaçons par la suite. Enfin, nous créons un tableau avec les deux colonnes pour le traitement suivant.
#+BEGIN_SRC python :results silent
......@@ -111,6 +143,8 @@ Regardons les premières et les dernières lignes. Nous insérons ~None~ pour in
[('week', 'inc'), None] + data[:5] + [None] + data[-5:]
#+END_SRC
#+RESULTS:
** Vérification
Il est toujours prudent de vérifier si les données semblent crédibles. Nous savons que les semaines sont données par six chiffres (quatre pour l'année et deux pour la semaine), et que les incidences sont des nombres entiers positifs.
#+BEGIN_SRC python :results output
......@@ -121,6 +155,8 @@ for week, inc in data:
print("Valeur suspecte dans la colonne 'inc': ", (week, inc))
#+END_SRC
#+RESULTS:
Pas de problème !
** Conversions
......@@ -140,6 +176,8 @@ str_data = [(str(date), str(inc)) for date, inc in converted_data]
[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
#+END_SRC
#+RESULTS:
** Vérification des dates
Nous faisons encore une vérification: nos dates doivent être séparées d'exactement une semaine, sauf autour du point manquant.
#+BEGIN_SRC python :results output
......@@ -149,6 +187,8 @@ for date1, date2 in zip(dates[:-1], dates[1:]):
print(f"Il y a {date2-date1} entre {date1} et {date2}")
#+END_SRC
#+RESULTS:
** Passage Python -> R
Nous passons au langage R pour inspecter nos données, parce que l'analyse et la préparation de graphiques sont plus concises en R, sans nécessiter aucune bibliothèque supplémentaire.
......@@ -164,17 +204,26 @@ data$date <- as.Date(data$date)
summary(data)
#+END_SRC
#+RESULTS:
: Error in data$date : $ operator is invalid for atomic vectors
: Length Class Mode
: 1 character character
** Inspection
Regardons enfin à quoi ressemblent nos données !
#+BEGIN_SRC R :results output graphics :file inc-plot.png
plot(data, type="l", xlab="Date", ylab="Incidence hebdomadaire")
#+END_SRC
#+RESULTS:
Un zoom sur les dernières années montre mieux la situation des pics en hiver. Le creux des incidences se trouve en été.
#+BEGIN_SRC R :results output graphics :file inc-plot-zoom.png
plot(tail(data, 200), type="l", xlab="Date", ylab="Incidence hebdomadaire")
#+END_SRC
#+RESULTS:
* Étude de l'incidence annuelle
** Calcul de l'incidence annuelle
......@@ -201,19 +250,30 @@ inc_annuelle = data.frame(annee = annees,
head(inc_annuelle)
#+END_SRC
#+RESULTS:
: org_babel_R_eoe
** Inspection
Voici les incidences annuelles en graphique.
#+BEGIN_SRC R :results output graphics :file annual-inc-plot.png
plot(inc_annuelle, type="p", xlab="Année", ylab="Incidence annuelle")
#+END_SRC
#+RESULTS:
** Identification des épidémies les plus fortes
Une liste triée par ordre décroissant d'incidence annuelle permet de plus facilement repérer les valeurs les plus élevées:
#+BEGIN_SRC R :results output
head(inc_annuelle[order(-inc_annuelle$incidence),])
#+END_SRC
#+RESULTS:
: Error in head(inc_annuelle[order(-inc_annuelle$incidence), ]) :
: object 'inc_annuelle' not found
Enfin, un histogramme montre bien que les épidémies fortes, qui touchent environ 10% de la population française, sont assez rares: il y en eu trois au cours des 35 dernières années.
#+BEGIN_SRC R :results output graphics :file annual-inc-hist.png
hist(inc_annuelle$incidence, breaks=10, xlab="Incidence annuelle", ylab="Nb d'observations", main="")
#+END_SRC
#+RESULTS:
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment