Commit f66446ae authored by escuiller's avatar escuiller

conversion des dates et vérification intégrité données

parent 44346598
...@@ -17,6 +17,10 @@ ...@@ -17,6 +17,10 @@
Les données au format csv sont téléchargées depuis l'adresse : Les données au format csv sont téléchargées depuis l'adresse :
http://www.sentiweb.fr/datasets/incidence-PAY-7.csv http://www.sentiweb.fr/datasets/incidence-PAY-7.csv
Code source adapté de :
#+NAME: code-source-mooc
https://gitlab.inria.fr/learninglab/mooc-rr/mooc-rr-ressources/blob/master/module3/ressources/analyse-syndrome-grippal-orgmode.org
#+begin_src python :results output :session :exports both #+begin_src python :results output :session :exports both
from urllib.request import urlretrieve from urllib.request import urlretrieve
import os import os
...@@ -82,3 +86,51 @@ Vérification visuelle des premières et dernières lignes. ...@@ -82,3 +86,51 @@ Vérification visuelle des premières et dernières lignes.
** Conversion des dates ** Conversion des dates
Code source du mooc.
#+begin_src python :results output :session :exports both
import datetime
converted_data = [(datetime.datetime.strptime(year_and_week + ":1" , '%G%V:%u').date(),
int(inc))
for year_and_week, inc in data]
converted_data.sort(key = lambda record: record[0])
#+end_src
#+RESULTS:
Visualisation premières lignes. Code source tjrs repris de
[[code-source-mooc]]
#+begin_src python :results value :session :exports both
str_data = [(str(date), str(inc)) for date, inc in converted_data]
[('date', 'inc'), None] + str_data[:5] + [None] + str_data[-5:]
#+end_src
#+RESULTS:
| date | inc |
|------------+-------|
| 1990-12-03 | 1143 |
| 1990-12-10 | 11079 |
| 1990-12-17 | 19080 |
| 1990-12-24 | 19375 |
| 1990-12-31 | 15565 |
|------------+-------|
| 2020-03-16 | 8123 |
| 2020-03-23 | 7326 |
| 2020-03-30 | 3879 |
| 2020-04-06 | 1918 |
| 2020-04-13 | 803 |
Vérification des dates : voyons si il y a des données manquantes,
i.e. plus de 7 jours d'écart entre deux dates.
#+begin_src python :results output :session :exports both
dates = [date for date, _ in converted_data]
for date1, date2 in zip(dates[:-1], dates[1:]):
if date2-date1 != datetime.timedelta(weeks=1):
print(f"Il y a {date2-date1} entre {date1} et {date2}")
#+end_src
#+RESULTS:
Visiblement aucune ligne manquante.
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment