première version exo4

module2/exo4/exercice_python_fr.org

-#+TITLE:  Votre titre
-#+AUTHOR: Votre nom
-#+DATE:   La date du jour
+#+TITLE:  Courte "analyse" de l'évolution de la température 
+#+AUTHOR: Miguel Arpa Perozo
+#+DATE:   <2020-10-29 jeu.>
 #+LANGUAGE: fr
 # #+PROPERTY: header-args :eval never-export
 
@@ -11,83 +11,136 @@
 #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/lib/js/jquery.stickytableheaders.js"></script>
 #+HTML_HEAD: <script type="text/javascript" src="http://www.pirilampo.org/styles/readtheorg/js/readtheorg.js"></script>
 
-* Quelques explications
-
-Ceci est un document org-mode avec quelques exemples de code
-python. Une fois ouvert dans emacs, ce document peut aisément être
-exporté au format HTML, PDF, et Office. Pour plus de détails sur
-org-mode vous pouvez consulter https://orgmode.org/guide/.
-
-Lorsque vous utiliserez le raccourci =C-c C-e h o=, ce document sera
-compilé en html. Tout le code contenu sera ré-exécuté, les résultats
-récupérés et inclus dans un document final. Si vous ne souhaitez pas
-ré-exécuter tout le code à chaque fois, il vous suffit de supprimer
-le # et l'espace qui sont devant le ~#+PROPERTY:~ au début de ce
-document.
-
-Comme nous vous l'avons montré dans la vidéo, on inclue du code
-python de la façon suivante (et on l'exécute en faisant ~C-c C-c~):
-
-#+begin_src python :results output :exports both
-print("Hello world!")
-#+end_src
-
-#+RESULTS:
-: Hello world!
-
-Voici la même chose, mais avec une session python, donc une
-persistance d'un bloc à l'autre (et on l'exécute toujours en faisant
-~C-c C-c~).
-#+begin_src python :results output :session :exports both
-import numpy
-x=numpy.linspace(-15,15)
-print(x)
-#+end_src
-
-#+RESULTS:
-#+begin_example
-[-15.         -14.3877551  -13.7755102  -13.16326531 -12.55102041
- -11.93877551 -11.32653061 -10.71428571 -10.10204082  -9.48979592
-  -8.87755102  -8.26530612  -7.65306122  -7.04081633  -6.42857143
-  -5.81632653  -5.20408163  -4.59183673  -3.97959184  -3.36734694
-  -2.75510204  -2.14285714  -1.53061224  -0.91836735  -0.30612245
-   0.30612245   0.91836735   1.53061224   2.14285714   2.75510204
-   3.36734694   3.97959184   4.59183673   5.20408163   5.81632653
-   6.42857143   7.04081633   7.65306122   8.26530612   8.87755102
-   9.48979592  10.10204082  10.71428571  11.32653061  11.93877551
-  12.55102041  13.16326531  13.7755102   14.3877551   15.        ]
-#+end_example
-
-Et enfin, voici un exemple de sortie graphique:
-#+begin_src python :results output file :session :var matplot_lib_filename="./cosxsx.png" :exports results
-import matplotlib.pyplot as plt
-
-plt.figure(figsize=(10,5))
-plt.plot(x,numpy.cos(x)/x)
-plt.tight_layout()
-
-plt.savefig(matplot_lib_filename)
-print(matplot_lib_filename)
+* Téléchargement des données 
+  Le site méteo france met en accès librement des données météorologique gratuitement : https://donneespubliques.meteofrance.fr/. 
+  
+  Voici un petit script =bash= qui permet de télécharger automatiquement toutes les données depuis 1996 jusqu'à 2020 : 
+
+  #+begin_src bash :exports code
+  #!/usr/bin/bash
+  baseLink="https://donneespubliques.meteofrance.fr/donnees_libres/Txt/Synop/Archive/synop."
+  endLink=".csv.gz"
+  outputDest="./download"
+  for i in `seq 1996 2020`; do
+    for j in `seq -f "%02g" 12`; do
+	link="${baseLink}${i}${j}${endLink}"
+	wget $link -P $outputDest 
+    done
+  done
+  #+end_src
+  Toutes les données sont ensuite extraites et disponibles en format =.csv= dans le dossier =./data=. 
+
+* Conventions et fonctions utiles 
+  Le script suivant contient : 
+  - Des constantes qui permettent de faire l'interface avec les conventions utilisées par les stations météorologiques.
+  - Variables contenant les données d'intérêt. 
+    
+  #+begin_src python :results output :session :exports code
+    import numpy as np
+    from scipy import io as spio 
+    from matplotlib import pyplot as plt
+
+    #Kelvin to celsius
+    k2deg = 273.15
+
+    #Station's ids 
+    stationId = {
+	 "strasbourg": 7190,
+	 "nancy":      7181,
+	 "mulhouse":   7299} 
+
+    #Column index of the different values 
+    columnIndx = {
+	 "station":     0,
+	 "date":        1,
+	 "pressure":    2,
+	 "temperature": 7,
+	 "humidity":    9
+    }
+
+    # List containing all the raw data of the day of interest by year 
+    usefullData   = []
+    dataPath  = "./data/synop."
+    dataMonth = "10.csv"
+    month = 10
+    day = 21
+  #+end_src
+
+  #+RESULTS:
+
+  - Fonction qui permet d'obtenir les données pour un jour précis.
+  #+begin_src python :results output :session :exports both
+    def getDayData(year,month,day,data):
+        """ Returns only the information for a specific day.
+        The data is encoded as a number with the format : 
+        AAAAMMDDHHMISS"""
+
+        if month <10 and day <10:
+            dayString = str(year) + '0' + str(month) + '0' + str(day) # year + month + day
+        elif month <10:
+            dayString = str(year) + '0' + str(month) + str(day) # year + month + day
+        elif  day <10:
+            dayString = str(year) + str(month) + '0' + str(day) # year + month + day
+        else:
+            dayString = str(year) + str(month) + str(day) # year + month + day
+
+        dateInfo = 4+2+2
+        filteredData = np.array([])
+        for row in data:
+            timeStamp = str(row[1]); #location of the timestamp
+            date = timeStamp[0:dateInfo]
+            if date == dayString:
+                filteredData = np.concatenate((filteredData, row),axis=0)
+            foundRows = int(filteredData.shape[0] / data.shape[1])
+            filteredData =  filteredData.reshape((foundRows,data.shape[1]))
+        return filteredData
+  #+end_src
+
+  #+RESULTS:
+
+* Traitement des données  
+  #+begin_src python :results output :session :exports both
+    for year in range(1996,2020):
+	fileName = dataPath+ str(year) + dataMonth
+	#print(fileName)
+	rawData = np.genfromtxt(fileName,delimiter=";",skip_header=1)
+	strasbourg = rawData[ rawData[:,columnIndx["station"]] == stationId["strasbourg"]]
+	temperature = strasbourg[:,columnIndx["temperature"]] - k2deg; 
+	usefullData.append(temperature)
+
+
+
+    minTemp    = np.zeros(len(usefullData))
+    maxTemp    = np.zeros(len(usefullData))
+    meanTemp   = np.zeros(len(usefullData))
+    medianTemp = np.zeros(len(usefullData))
+
+    years   = np.arange(1996,2020)
+
+    cnt = 0
+    for temp in usefullData:
+	minTemp[cnt]    = np.min(temp)
+	maxTemp[cnt]    = np.max(temp)
+	meanTemp[cnt]   = np.mean(temp)
+	medianTemp[cnt] = np.median(temp)
+	cnt += 1
+  #+end_src
+
+  #+RESULTS:
+
+* Résultats 
+#+begin_src python :results output file :session :var matplot_lib_filename="results.png" :exports both
+  plt.scatter(years,minTemp,label="min")
+  plt.scatter(years,maxTemp,label="max")
+  plt.scatter(years,meanTemp,label="mean")
+  plt.scatter(years,medianTemp,label="median")
+  plt.title('Analyse de le température par an'); 
+  plt.xlabel('An'); 
+  plt.ylabel('Température [°C]'); 
+  plt.legend(); 
+  plt.savefig(matplot_lib_filename)
+  print(matplot_lib_filename)
 #+end_src
 
 #+RESULTS:
-[[file:./cosxsx.png]]
-
-Vous remarquerez le paramètre ~:exports results~ qui indique que le code
-ne doit pas apparaître dans la version finale du document. Nous vous
-recommandons dans le cadre de ce MOOC de ne pas changer ce paramètre
-(indiquer ~both~) car l'objectif est que vos analyses de données soient
-parfaitement transparentes pour être reproductibles.
-
-Attention, la figure ainsi générée n'est pas stockée dans le document
-org. C'est un fichier ordinaire, ici nommé ~cosxsx.png~. N'oubliez pas
-de le committer si vous voulez que votre analyse soit lisible et
-compréhensible sur GitLab.
-
-Enfin, n'oubliez pas que nous vous fournissons dans les ressources de
-ce MOOC une configuration avec un certain nombre de raccourcis
-claviers permettant de créer rapidement les blocs de code python (en
-faisant ~<p~, ~<P~ ou ~<PP~ suivi de ~Tab~).
-
-Maintenant, à vous de jouer! Vous pouvez effacer toutes ces
-informations et les remplacer par votre document computationnel.
+[[file:results.png]]