Skip to content

M
mooc-rr
Commit ce064575 authored by Elise N's avatar Elise N
Browse files
Options

Add file `analyse_syndrom_IRA.org` 

Modifed file `analyse-syndrom-grippal.org`
parent aa0bbf60
Hide whitespace changes
Inline Side-by-side
Showing with 210 additions and 1 deletion
module3/exo1/analyse-syndrome-grippal.org
View file @ ce064575
...@@ -80,6 +80,13 @@ Regardons ce que nous avons obtenu: ...@@ -80,6 +80,13 @@ Regardons ce que nous avons obtenu:
table[:5] table[:5]
#+END_SRC #+END_SRC
#+RESULTS:
| week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
| 202240 | 3 | 42543 | 36621 | 48465 | 64 | 55 | 73 | FR | France |
| 202239 | 3 | 39902 | 34168 | 45636 | 60 | 51 | 69 | FR | France |
| 202238 | 3 | 28781 | 23733 | 33829 | 43 | 35 | 51 | FR | France |
| 202237 | 3 | 21395 | 17076 | 25714 | 32 | 25 | 39 | FR | France |
** Recherche de données manquantes ** Recherche de données manquantes
Il y a malheureusement beaucoup de façon d'indiquer l'absence d'un point de données. Nous testons ici seulement pour la présence de champs vides. Il faudrait aussi rechercher des valeurs non-numériques dans les colonnes à priori numériques. Nous ne le faisons pas ici, mais une vérification ultérieure capterait des telles anomalies. Il y a malheureusement beaucoup de façon d'indiquer l'absence d'un point de données. Nous testons ici seulement pour la présence de champs vides. Il faudrait aussi rechercher des valeurs non-numériques dans les colonnes à priori numériques. Nous ne le faisons pas ici, mais une vérification ultérieure capterait des telles anomalies.
...@@ -94,6 +101,9 @@ for row in table: ...@@ -94,6 +101,9 @@ for row in table:
valid_table.append(row) valid_table.append(row)
#+END_SRC #+END_SRC
#+RESULTS:
: ['198919', '3', '0', '', '', '0', '', '', 'FR', 'France']
** Extraction des colonnes utilisées ** Extraction des colonnes utilisées
Il y a deux colonnes qui nous intéressent: la première (~"week"~) et la troisième (~"inc"~). Nous vérifions leurs noms dans l'en-tête, que nous effaçons par la suite. Enfin, nous créons un tableau avec les deux colonnes pour le traitement suivant. Il y a deux colonnes qui nous intéressent: la première (~"week"~) et la troisième (~"inc"~). Nous vérifions leurs noms dans l'en-tête, que nous effaçons par la suite. Enfin, nous créons un tableau avec les deux colonnes pour le traitement suivant.
#+BEGIN_SRC python :results silent #+BEGIN_SRC python :results silent
...@@ -101,7 +111,7 @@ week = [row[0] for row in valid_table] ...@@ -101,7 +111,7 @@ week = [row[0] for row in valid_table]
assert week[0] == 'week' assert week[0] == 'week'
del week[0] del week[0]
inc = [row[2] for row in valid_table] inc = [row[2] for row in valid_table]
assert inc[0] == 'inc assert inc[0] == 'inc'
del inc[0] del inc[0]
data = list(zip(week, inc)) data = list(zip(week, inc))
#+END_SRC #+END_SRC
...@@ -111,6 +121,21 @@ Regardons les premières et les dernières lignes. Nous insérons ~None~ pour in ...@@ -111,6 +121,21 @@ Regardons les premières et les dernières lignes. Nous insérons ~None~ pour in
[('week', 'inc'), None] + data[:5] + [None] + data[-5:] [('week', 'inc'), None] + data[:5] + [None] + data[-5:]
#+END_SRC #+END_SRC
#+RESULTS:
| week | inc |
|--------+--------|
| 202240 | 42543 |
| 202239 | 39902 |
| 202238 | 28781 |
| 202237 | 21395 |
| 202236 | 14120 |
|--------+--------|
| 198448 | 78620 |
| 198447 | 72029 |
| 198446 | 87330 |
| 198445 | 135223 |
| 198444 | 68422 |
** Vérification ** Vérification
Il est toujours prudent de vérifier si les données semblent crédibles. Nous savons que les semaines sont données par six chiffres (quatre pour l'année et deux pour la semaine), et que les incidences sont des nombres entiers positifs. Il est toujours prudent de vérifier si les données semblent crédibles. Nous savons que les semaines sont données par six chiffres (quatre pour l'année et deux pour la semaine), et que les incidences sont des nombres entiers positifs.
#+BEGIN_SRC python :results output #+BEGIN_SRC python :results output
...@@ -121,6 +146,8 @@ for week, inc in data: ...@@ -121,6 +146,8 @@ for week, inc in data:
print("Valeur suspecte dans la colonne 'inc': ", (week, inc)) print("Valeur suspecte dans la colonne 'inc': ", (week, inc))
#+END_SRC #+END_SRC
#+RESULTS:
Pas de problème ! Pas de problème !
** Conversions ** Conversions
...@@ -140,6 +167,21 @@ str_data = [(str(date), str(inc)) for date, inc in converted_data] ...@@ -140,6 +167,21 @@ str_data = [(str(date), str(inc)) for date, inc in converted_data]
[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:] [('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
#+END_SRC #+END_SRC
#+RESULTS:
| date | inc |
|------------+--------|
| 1984-10-29 | 68422 |
| 1984-11-05 | 135223 |
| 1984-11-12 | 87330 |
| 1984-11-19 | 72029 |
| 1984-11-26 | 78620 |
|------------+--------|
| 2022-09-05 | 14120 |
| 2022-09-12 | 21395 |
| 2022-09-19 | 28781 |
| 2022-09-26 | 39902 |
| 2022-10-03 | 42543 |
** Vérification des dates ** Vérification des dates
Nous faisons encore une vérification: nos dates doivent être séparées d'exactement une semaine, sauf autour du point manquant. Nous faisons encore une vérification: nos dates doivent être séparées d'exactement une semaine, sauf autour du point manquant.
#+BEGIN_SRC python :results output #+BEGIN_SRC python :results output
......
module3/exo1/analyse_syndrome_IRA.org 0 → 100644
View file @ ce064575
#+TITLE: Analyse de l'incidence du Infection respiratoire aiguë (IRA)
#+LANGUAGE: fr
#+OPTION: *:nil num:1 toc:t
# #+HTML_HEAD: <link rel="stylesheet" title="Standard" href="http://orgmode.org/worg/style/worg.css" type="text/css" />
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/htmlize.css"/>
#+HTML_HEAD: <link rel="stylesheet" type="text/css" href="http://www.pirilampo.org/styles/readtheorg/css/readtheorg.css"/>
#+HTML_HEAD: <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.3/jquery.min.js"></script>
#+HTML_HEAD: <script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.4/js/bootstrap.min.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
#+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
#+PROPERTY: header-args :session :exports both
* Préface
* Préparation des données
#+NAME: data-url
https://www.sentiweb.fr/datasets/incidence-PAY-25.csv
* Téléchargement
#+BEGIN_SRC python :results silent :var data_url=data-url
from urllib.request import urlopen
data = urlopen(data_url).read()
lines = data.decode('latin-1').strip().split('\n')
data_lines = lines[1:]
table = [line.split(',') for line in data_lines]
#+END_SRC
#+BEGIN_SRC python :results value
table[:11]
#+END_SRC
#+RESULTS:
| week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
| 202240 | 25 | 119616 | 109733 | 129499 | 180 | 165 | 195 | FR | France |
| 202239 | 25 | 115474 | 105715 | 125233 | 174 | 159 | 189 | FR | France |
| 202238 | 25 | 82053 | 73524 | 90582 | 124 | 111 | 137 | FR | France |
| 202237 | 25 | 62482 | 55099 | 69865 | 94 | 83 | 105 | FR | France |
| 202236 | 25 | 43450 | 37073 | 49827 | 66 | 56 | 76 | FR | France |
| 202235 | 25 | 33304 | 27967 | 38641 | 50 | 42 | 58 | FR | France |
| 202234 | 25 | 32173 | 26435 | 37911 | 49 | 40 | 58 | FR | France |
| 202233 | 25 | 29216 | 23034 | 35398 | 44 | 35 | 53 | FR | France |
| 202232 | 25 | 40805 | 32605 | 49005 | 62 | 50 | 74 | FR | France |
| 202231 | 25 | 42848 | 35020 | 50676 | 65 | 53 | 77 | FR | France |
* Recherche de données manquantes
Jeu de données sans les lignes qui contiennent des champs vide.
#+BEGIN_SRC python :results output
valid_table = []
for row in table:
missing = any([column == '' for column in row])
if missing:
print(row)
else:
valid_table.append(row)
#+END_SRC
#+RESULTS:
: ['198919', '3', '0', '', '', '0', '', '', 'FR', 'France']
#+BEGIN_SRC python :results value
table[:11]
#+END_SRC
#+RESULTS:
| week | indicator | inc | inc_low | inc_up | inc100 | inc100_low | inc100_up | geo_insee | geo_name |
| 202240 | 3 | 42543 | 36621 | 48465 | 64 | 55 | 73 | FR | France |
| 202239 | 3 | 39902 | 34168 | 45636 | 60 | 51 | 69 | FR | France |
| 202238 | 3 | 28781 | 23733 | 33829 | 43 | 35 | 51 | FR | France |
| 202237 | 3 | 21395 | 17076 | 25714 | 32 | 25 | 39 | FR | France |
| 202236 | 3 | 14120 | 10487 | 17753 | 21 | 16 | 26 | FR | France |
| 202235 | 3 | 9283 | 6485 | 12081 | 14 | 10 | 18 | FR | France |
| 202234 | 3 | 7498 | 4731 | 10265 | 11 | 7 | 15 | FR | France |
| 202233 | 3 | 7586 | 4442 | 10730 | 11 | 6 | 16 | FR | France |
| 202232 | 3 | 12222 | 7749 | 16695 | 18 | 11 | 25 | FR | France |
| 202231 | 3 | 13257 | 8905 | 17609 | 20 | 13 | 27 | FR | France |
* Extraction des colonnes utilisées
2 colonnes:
- "week"
- "inc"
#+BEGIN_SRC python :results silent
week = [row[0] for row in valid_table]
assert week[0] == 'week'
del week[0]
inc = [row[2] for row in valid_table]
assert inc[0] =='inc'
del inc[0]
data = list(zip(week, inc))
#+END_SRC
#+BEGIN_SRC python :results value
[('week', 'inc'), None] + data[:5] + [None] + data[-5:]
#+END_SRC
#+RESULTS:
| week | inc |
|--------+--------|
| 202240 | 42543 |
| 202239 | 39902 |
| 202238 | 28781 |
| 202237 | 21395 |
| 202236 | 14120 |
|--------+--------|
| 198448 | 78620 |
| 198447 | 72029 |
| 198446 | 87330 |
| 198445 | 135223 |
| 198444 | 68422 |
* Vérification
Les semaines : 6 chiffres (4 pour l'année + 2 pour la semaine)
==>Donc, les incidences sont des nombres entiers positifs.
#+BEGIN_SRC python :results output
for week, inc in data:
if len(week) != 6 or not week.isdigit():
print("Valeur suspecte dans la colonne 'week': ", (week, inc))
if not inc.isdigit():
print("Valeur suspecte dans la colonne 'inc': ", (week, inc))
#+END_SRC
#+RESULTS:
#+BEGIN_SRC python :results silent
valid_data = [record for record in data if record[1] != '-']
#+END_SRC
* Conversions
Faciliter les traitements suivants, +les n° semaine ISO+ par les dates =
lundis.
A cette occasion, trions aussi les données par la date, et
transformons les incidences en nombres entiers.
#+BEGIN_SRC python :results silent
import datetime
converted_data = [(datetime.datetime.strptime(year_and_week + ":1" , '%G%V:%u').date(),
int(inc))
for year_and_week, inc in data]
converted_data.sort(key = lambda record: record[0])
#+END_SRC
#+BEGIN_SRC python :results value
str_data = [(str(date), str(inc)) for date, inc in converted_data]
[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
#+END_SRC
#+RESULTS:
| date | inc |
|------------+--------|
| 1984-10-29 | 68422 |
| 1984-11-05 | 135223 |
| 1984-11-12 | 87330 |
| 1984-11-19 | 72029 |
| 1984-11-26 | 78620 |
|------------+--------|
| 2022-09-05 | 14120 |
| 2022-09-12 | 21395 |
| 2022-09-19 | 28781 |
| 2022-09-26 | 39902 |
| 2022-10-03 | 42543 |
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment