surtout data

module3/exo3/exercice_fr.Rmd

 ---
-title: "Votre titre"
-author: "Votre nom"
-date: "La date du jour"
+title: "Sujet 1 : Concentration de CO2 dans l'atmosphère depuis 1958"
+author: "E. Guiffart"
+date: "1 Juin 2020"
 output: html_document
 ---
 
-
 ```{r setup, include=FALSE}
 knitr::opts_chunk$set(echo = TRUE)
 ```
 
-## Quelques explications
+## Préparation des données
+
+Les données de *la concentration du CO2 dans l'atmosphère* sont disponibles sur le site web du [Scripps CO2 Program](https://scrippsco2.ucsd.edu/data/atmospheric_co2/primary_mlo_co2_record.html), un site très intéressant comme on devrait en voir plus souvent de nos jours, sauf qu'il est américain. Mais je parle pas chinois donc j'avais pas trop le choix et je crois qu'en 1958, les chinois avaient autre chose à faire que de parler de CO2. Ils n'ont d'ailleurs toujours eu rien à foutre depuis.
+
+Nous les récupérons sous forme d'un fichier en format CSV dont chaque ligne correspond à une semaine de la période demandée. Nous téléchargeons toujours le jeu de données complet, qui commence en 1991 et se termine avec une semaine récente.
+
+En pratique, nous chargons les données grâce à une copie du fichier enregistrée localement. Un code télécharge directement et enregistre une copie au cas où ce fichier n'exste pas encore en local.
+```{r}
+library(data.table)
+library(parsedate)
 
-Ceci est un document R markdown que vous pouvez aisément exporter au format HTML, PDF, et MS Word. Pour plus de détails sur R Markdown consultez <http://rmarkdown.rstudio.com>.
 
-Lorsque vous cliquerez sur le bouton **Knit** ce document sera compilé afin de ré-exécuter le code R et d'inclure les résultats dans un document final. Comme nous vous l'avons montré dans la vidéo, on inclue du code R de la façon suivante:
+if (!file.exists("monthly_in_situ_co2_mlo.csv")) download.file("https://scrippsco2.ucsd.edu/assets/data/atmospheric/stations/in_situ_co2/monthly/monthly_in_situ_co2_mlo.csv", "monthly_in_situ_co2_mlo.csv", method="auto") 
 
-```{r cars}
-summary(cars)
+data_url <- fread(file = "monthly_in_situ_co2_mlo.csv",skip=54, sep=",",strip.white=TRUE, header = FALSE)
 ```
 
-Et on peut aussi aisément inclure des figures. Par exemple:
+Allez on visualise les données:
+```{r}
+head(data_url)
+tail(data_url)
+```
+
+## Nettyage des données
+Va falloir nettoyer tout ça, notamment le nom des colonnes:
+```{r}
+new_names<-paste0(data_url[1,],data_url[2,],data_url[3,])
+setnames(data_url,names(data_url),new_names)
+data_clean<-data_url[-c(1,2,3),]
+head(data_clean)
+```
 
-```{r pressure, echo=FALSE}
-plot(pressure)
+Bon ok c'est un peu mieux, moins confusant c'est déjà ça. Les 2 premières lignes sont suspectes. Voyons s'il ya en a d'autres. POour ça, faisons un petit graph :
+```{r}
+plot(data_clean$DateExcel,data_clean$`CO2[ppm]`)
 ```
 
-Vous remarquerez le paramètre `echo = FALSE` qui indique que le code ne doit pas apparaître dans la version finale du document. Nous vous recommandons dans le cadre de ce MOOC de ne pas utiliser ce paramètre car l'objectif est que vos analyses de données soient parfaitement transparentes pour être reproductibles. 
 
-Comme les résultats ne sont pas stockés dans les fichiers Rmd, pour faciliter la relecture de vos analyses par d'autres personnes, vous aurez donc intérêt à générer un HTML ou un PDF et à le commiter.
 
-Maintenant, à vous de jouer! Vous pouvez effacer toutes ces informations et les remplacer par votre document computationnel.
+Bon on va les détecter et les virer y'en a pas non plus trop donc autant faire les choses bien
+```{r}
+na_records = apply(data_clean, 1, function (x) any(is.na(x)+(x<0)))
+data_clean[na_records,]
+
+data_clean2<-data_clean[!na_records,]
+plot(data_clean2$DateExcel,data_clean2$`CO2[ppm]`)
+
+```
+
+ok on est sur la bonne voie, on va s'en sortir. Reste les dates à mettre en meilleur format:
+```{r}
+convert_iso_date = function(y,m) {
+	iso = paste0(y, "-", m, "-","01")
+	as.character(parse_iso_8601(iso))
+}
+
+data_clean2$dateStd<-as.Date(convert_iso_date(data_clean2$Yr,data_clean2$Mn))
+head(data_clean2)
+```
+On va pouvoir passer aux stats maintenant je pense, sauf si vous en avez déjà marre mais ça serait dommage d'arrêter en si bon chemin. Cette étude est vraiment pleine de suspens...
+
+
+## Modèle statistique
\ No newline at end of file