Analyse de la concentration de CO2 dans l'atmosphère depuis 1958
+François Févotte
+avril 2020
+Gestion des dépendances
+Environnement
+ + +Nous utilisons Julia dans sa version 1.4.0, sur une architecture matérielle de type x86 (64 bits)
+ + ++using InteractiveUtils +versioninfo() ++ + +
+Julia Version 1.4.0 +Commit b8e9a9ecc6 (2020-03-21 16:36 UTC) +Platform Info: + OS: Linux (x86_64-pc-linux-gnu) + CPU: Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz + WORD_SIZE: 64 + LIBM: libopenlibm + LLVM: libLLVM-8.0.1 (ORCJIT, skylake) +Environment: + JULIA_PROJECT = @. ++ + +
Il nous faut maintenant charger l'environnement logiciel de notre étude, c'est à dire toutes les bibliothèques sur lesquelles elle s'appuie, dans les bonnes versions. La liste des dépendances directes est contenue dans le fichier Project.toml, et complétée par le fichier Manifest.toml (qui liste toutes les dépendances directes et indirectes, accompagnées de leurs numéros de version précis).
Toutes ces informations permettent au gestionnaire de paquets de re-créer un environnement logiciel identique à celui qui a été utilisé pour développer cette analyse.
+ + ++using Pkg +Pkg.activate(@__DIR__) +Pkg.instantiate() ++ + + +
Chargement des dépendances
+ + +Tant que nous y sommes, profitons en pour charger dès maintenant les paquets dont nous aurons besoin.
+ + ++import HTTP +import CSV +import DataInterpolations; const DI=DataInterpolations +using GLM +using Printf +using Dates +using DataFrames +using Statistics +using Plots; gr() ++ + + +
Données d'entrée
+Nos données d'entrée proviennent du programme Scripps CO2. Nous fondons l'analyse sur le jeu de données contenant des observations hebdomadaires.
+Téléchargement
+ + +Le jeu de données est téléchargé une seule fois ; c'est une copie locale qui sert à réaliser l'analyse. Ceci permet de garantir la version des données utilisées pour l'analyse, et stockée dans git aux côtés du présent document.
+Il est possible de forcer le téléchargement en positionnant la variable force_download=true afin d'actualiser le jeu de données.
+const data_url = "https://scrippsco2.ucsd.edu/assets/data/atmospheric/stations/in_situ_co2/weekly/weekly_in_situ_co2_mlo.csv" +const data_file = "weekly_in_situ_co2_mlo.csv" +const force_download = false ++ + + + +
+if force_download || !isfile(data_file) + println("Downloading data:") + println(" url = $data_url") + println(" file = $data_file") + + open(data_file, "w") do f + req = HTTP.request(:GET, data_url) + @assert req.status == 200 "Error while downloading" + write(f, req.body) + end + + open("download.stamp", "w") do f + write(f, string(today())) + end +else + println("Using local data:") + println(" file = $data_file") + println(" downloaded = ", readline("download.stamp")) +end ++ + +
+Using local data: + file = weekly_in_situ_co2_mlo.csv + downloaded = 2020-04-10 ++ + +
Lecture
+ + +Les données d'entrée sont stockées au format CSV, et contiennent 44 lignes d'informations préliminaires que nous reproduisons ici, et qui seront sautées lors de la lecture des données.
+ + ++skip = 44 +open(data_file) do f + for _ in 1:skip; println(readline(f)); end +end ++ + +
+"-------------------------------------------------------------------------------------------" +" Atmospheric CO2 concentrations (ppm) derived from in situ air measurements " +" at Mauna Loa, Observatory, Hawaii: Latitude 19.5°N Longitude 155.6°W Elevation 3397m " +" " +" Source: R. F. Keeling, S. J. Walker, S. C. Piper and A. F. Bollenbacher " +" Scripps CO2 Program ( http://scrippsco2.ucsd.edu ) " +" Scripps Institution of Oceanography (SIO) " +" University of California " +" La Jolla, California USA 92093-0244 " +" " +" Status of data and correspondence: " +" " +" These data are subject to revision based on recalibration of standard gases. Questions " +" about the data should be directed to Dr. Ralph Keeling (rkeeling@ucsd.edu), Stephen Walker" +" (sjwalker@ucsd.edu) and Stephen Piper (scpiper@ucsd.edu), Scripps CO2 Program. " +" " +" Baseline data in this file through 06-Feb-2020 from archive dated 06-Feb-2020 08:55:31 " +" " +"-------------------------------------------------------------------------------------------" +" " +" Please cite as: " +" " +" C. D. Keeling, S. C. Piper, R. B. Bacastow, M. Wahlen, T. P. Whorf, M. Heimann, and " +" H. A. Meijer, Exchanges of atmospheric CO2 and 13CO2 with the terrestrial biosphere and " +" oceans from 1978 to 2000. I. Global aspects, SIO Reference Series, No. 01-06, Scripps " +" Institution of Oceanography, San Diego, 88 pages, 2001. " +" " +" If it is necessary to cite a peer-reviewed article, please cite as: " +" " +" C. D. Keeling, S. C. Piper, R. B. Bacastow, M. Wahlen, T. P. Whorf, M. Heimann, and " +" H. A. Meijer, Atmospheric CO2 and 13CO2 exchange with the terrestrial biosphere and " +" oceans from 1978 to 2000: observations and carbon cycle implications, pages 83-113, " +" in "A History of Atmospheric CO2 and its effects on Plants, Animals, and Ecosystems", " +" editors, Ehleringer, J.R., T. E. Cerling, M. D. Dearing, Springer Verlag, " +" New York, 2005. " +" " +"-------------------------------------------------------------------------------------------" +" " +" " +" The data file below contains 2 columns indicaing the date and CO2 " +" concentrations in micro-mol CO2 per mole (ppm), reported on the 2008A " +" SIO manometric mole fraction scale. These weekly values have been " +" adjusted to 12:00 hours at middle day of each weekly period as " +" indicated by the date in the first column. " ++ + +
Le fichier est structuré en deux colonnes :
+-
+
+date: date de la mesure
+
+val: concentration en CO2 (en ppm molaires)
+
+data_raw = CSV.read(data_file; skipto=skip+1, header=[:date, :val]) ++ + + +
L'examen des premières et dernières lignes de données révèle qu'elles couvrent la période de fin mars 1958 jusqu'à nos jours.
+ + + ++info(data_raw) ++ + +
+3156×2 DataFrame +│ Row │ date │ val │ +│ │ Date │ Float64 │ +├──────┼────────────┼─────────┤ +│ 1 │ 1958-03-29 │ 316.19 │ +│ 2 │ 1958-04-05 │ 317.31 │ +│ 3 │ 1958-04-12 │ 317.69 │ +⋮ +│ 3153 │ 2020-01-04 │ 413.19 │ +│ 3154 │ 2020-01-11 │ 413.39 │ +│ 3155 │ 2020-01-25 │ 413.36 │ +│ 3156 │ 2020-02-01 │ 413.99 │ ++ + +
Vérification des données manquantes
+ + +Les relevés étant hebdomadaires, l'écart entre deux dates successives du jeu de données devrait être de 7 jours. Un point manquant provoque un écart de 14 jours, ce qui devrait être rattrappable dans le reste de l'analyse ; au delà, il faudra se poser des questions sur le traitement à apporter.
+ + ++dates = data_raw.date +for i in 2:length(dates) + if dates[i]-dates[i-1] > Dates.Day(14) + println("Missing data: ", + dates[i-1], " - ", dates[i], + " (", dates[i]-dates[i-1], ")") + end +end ++ + +
+Missing data: 1958-05-24 - 1958-07-05 (42 days) +Missing data: 1958-09-06 - 1958-11-08 (63 days) +Missing data: 1962-08-18 - 1962-09-15 (28 days) +Missing data: 1964-01-18 - 1964-05-30 (133 days) +Missing data: 1964-06-06 - 1964-06-27 (21 days) +Missing data: 1966-07-09 - 1966-08-06 (28 days) +Missing data: 1967-01-14 - 1967-02-04 (21 days) +Missing data: 1984-03-24 - 1984-04-28 (35 days) +Missing data: 2003-10-04 - 2003-10-25 (21 days) +Missing data: 2005-02-19 - 2005-03-26 (35 days) +Missing data: 2006-02-04 - 2006-02-25 (21 days) +Missing data: 2012-09-29 - 2012-10-20 (21 days) ++ + +
Il y a 12 périodes durant lesquelles les données sont manquantes, dont une en particulier ayant duré 19 semaines en 1964. Le traitement devra en tenir compte.
+Aperçu global des données
+ + +Une visualisation de l'ensemble des données semble montrer une augmentation tendancielle de la concentration en CO2, à laquelle se superpose une oscillation à plus haute fréquence.
+ +
+
+Un zoom sur les dernières années laisse penser que le cycle court se produit sur une période annuelle, avec un minimum local atteint chaque année autour du mois d'octobre.
+ +
+
+Analyse
+Dans cette analyse, nous allons tenter de séparer ces deux composantes : composante tendancielle "lisse" et composante oscillante de période annuelle.
+La démarche que nous suivons est globalement la suivante : le jeu de données va être découpé en périodes annuelles. Chacune de ces périodes annuelles sera traitée (indépendamment des autres) afin d'en extraire une composante lisse, et une composante périodique.
+Si notre hypothèse est correcte, les composantes périodiques de chaque année devraient être relativement comparables les unes aux autres, et pouvoir être approchées par leur moyenne. On peut ensuite obtenir la composante lisse tendancielle en éliminant la composante oscillatoire moyenne du signal d'origine.
+La périodicité des données (hebdomadaire) n'étant que peu adaptée à un découpage annuel, nous allons commencer par interpoler les données à une maille journalière. Ceci nous permettra de découper le jeu de données en années.
+Travaux sur les dates
+Il est plus simple d'interpoler entre deux nombres qu'entre deux dates. Dans la suite, nous adopterons une convention selon laquelle chaque date peut être représentée par le nombre de jours qui la sépare de la première mesure :
+ + ++date2num(d::Date) = Dates.value(d - data_raw.date[1]) +num2date(n::Int) = data_raw.date[1] + Day(n) ++ + + +
Par exemple, pour les premières mesures :
+ + +| date | date_num | |
|---|---|---|
| Date | Int64 | |
| 1 | 1958-03-29 | 0 |
| 2 | 1958-04-05 | 7 |
| 3 | 1958-04-12 | 14 |
Afin de comparer des données année par année, nous allons aussi enrichir les données avec de nouvelles représentations de la date : une date peut être décomposée comme un couple (year, day) dans lequel
-
+
+yearreprésente l'année
+
+dayreprésente l'indice du jour dans l'année (entre 0 et 365).
+
Dans ce formalisme, le 1er janvier 2020 est représenté par le couple (year=2020, day=0). Le 31 décembre 1983 est représenté par le couple (year=1983, day=364).
+dayinyear(date::Date) = Dates.value(date - Date(year(date))) +dayinyear(num::Int) = dayinyear(num2date(num)) + +let d = Date("1983-12-31") + year(d), dayinyear(d) +end ++ + +
+(1983, 364) ++ + +
Enfin, prévenons dès maintenant que tout le code de l'analyse fonctionne en présence d'années bissextiles, mais rien n'a été fait pour les traiter à part : l'impact, de l'ordre de 1/365 une année sur 4, a été jugé négligeable a priori.
+Interpolation à la maille journalière
+ + +On construit un interpolateur linéaire basé sur les mesures de CO2 en fonction de la "date numérique". C'est le paquet Julia DataInterpolations qui se charge d'effectuer le gros du travail.
+interp = DI.LinearInterpolation(data_raw.val, date2num.(data_raw.date)); ++ + + +
Nous allons profiter de la construction des données interpolées pour gérer le problème des données manquantes : nous n'interpolerons aucune donnée dans les "trous" de 3 semaines ou plus. La construction de ce nouveau jeu de données interpolées est aussi l'occasion d'enrichir les formats de représentation des dates. Nous avons maintenant 5 colonnes dans notre jeu de données interpolé :
+-
+
+date: date identifiant le jour de la mesure (ou de la valeur interpolée)
+
+val: valeur de la mesure de CO2 (ou de l'interpolation)
+
+date_num: date convertie en nombre
+
+year: composante de la date identifiant l'année
+
+day: composante de la date identifiant le jour dans l'année (entre 0 et 365)
+
+data_interp = DataFrame(date_num=Int[], val=Float64[], date=Date[], year=Int[], day=Int[]) +for i in 2:length(dates) + if dates[i]-dates[i-1] > Dates.Day(14) + # pas d'interpolation : seule la date de gauche est inclue + range = dates[i-1] => dates[i-1] + else + # Interpolation entre le début de la période et + # la fin (exclue car traitée en tant que début de + # la prochaine période) + range = dates[i-1] => dates[i]-Day(1) + end + + # Pour chaque jour dans la période considérée, + # on ajoute une nouvelle ligne de données en interpolant + for date_num in date2num(first(range)):date2num(last(range)) + date = num2date(date_num) + push!(data_interp, (date_num = date_num, + date = date, + year = year(date), + day = dayinyear(date), + val = interp(date_num))) + end +end + +# 3 dernières lignes, pour vérification +last(data_interp, 3) ++ + + +
| date_num | val | date | year | day | |
|---|---|---|---|---|---|
| Int64 | Float64 | Date | Int64 | Int64 | |
| 1 | 22586 | 413.72 | 2020-01-29 | 2020 | 28 |
| 2 | 22587 | 413.81 | 2020-01-30 | 2020 | 29 |
| 3 | 22588 | 413.9 | 2020-01-31 | 2020 | 30 |
En zoomant sur les données interpolées autour de l'une des périodes de données manquantes, on observe bien le résultat attendu : une interpolation linéaire journalière lorsque les données sont disponibles, mais aucune interpolation lorsque les données sont manquantes.
+ +
+
+Enfin, nous ne gardons pour notre analyse que des années complètes. D'ailleurs, afin de tester la validité de nos résultats, nous n'allons réaliser l'analyse que sur une fraction des données ; nous garderons les 5 dernières années comme données de test.
+ + ++firstyear = minimum(data_interp.year)+1 +lastyear = maximum(data_interp.year)-6 +idx = (data_interp.year.>=firstyear) .& (data_interp.year.<=lastyear) +data = data_interp[idx, :]; ++ + + +
Les données sur lesquelles portera l'analyse couvrent donc la période 1959-2014.
+ + ++info(data) ++ + +
+20100×5 DataFrame +│ Row │ date_num │ val │ date │ year │ day │ +│ │ Int64 │ Float64 │ Date │ Int64 │ Int64 │ +├───────┼──────────┼─────────┼────────────┼───────┼───────┤ +│ 1 │ 278 │ 315.231 │ 1959-01-01 │ 1959 │ 0 │ +│ 2 │ 279 │ 315.236 │ 1959-01-02 │ 1959 │ 1 │ +│ 3 │ 280 │ 315.24 │ 1959-01-03 │ 1959 │ 2 │ +⋮ +│ 20097 │ 20728 │ 399.14 │ 2014-12-28 │ 2014 │ 361 │ +│ 20098 │ 20729 │ 399.27 │ 2014-12-29 │ 2014 │ 362 │ +│ 20099 │ 20730 │ 399.4 │ 2014-12-30 │ 2014 │ 363 │ +│ 20100 │ 20731 │ 399.53 │ 2014-12-31 │ 2014 │ 364 │ ++ + +
Sur ces années complètes, la composante day de la date devrait être globalement équirépartie entre 0 et 365, ce qui est globalement le cas. Les données manquantes n'ont donc pas d'impact significatif de ce point de vue là.
+
+Analyse des variations annuelles
+ + +Pour chaque année, on commence par tenter d'extraire la composante oscillante de la mesure. En supposant que cette composante est périodique, il faut que la valeur de cette composante en début d'année soit égale à celle de fin d'année. On va aussi supposer que la composante tendancielle varie linéairement en cours d'année. Si on note $C$ la concentration en CO2 et $d$ le jour, on cherche à écrire :
+\[ + \forall d\in{0\ldots365}, \quad + C(d) + = \underbrace{\alpha + \beta d}_{\text{tendance locale}} + + \underbrace{\phi(d)}_{\text{composante oscillante}} +\]
+avec $\phi(0)=\phi(365)$ pour garantir la périodicité de la composante oscillante. Afin de définir la constante $\alpha$ de manière unique, on fixe de plus $\phi(0)=\phi(365)=0$.
+On obtient donc
+\[ +\begin{align*} + \alpha &= C(0), \\[1em] + \beta &= \frac{C(365)-C(0)}{365}, \\[1em] + \phi(d) &= C(d) - \alpha - \beta d. +\end{align*} +\]
+En pratique, plutôt que des valeurs ponctuelles $C(0)$ et $C(365)$, on prend plutôt des valeurs (notées $C_0$ et $C_1$ dans le code) moyennées sur les 7 premiers et 7 derniers jours de l'année.
+ + ++data.phi = copy(data.val) +data.alpha = zero(data.val) +data.beta = zero(data.val) +for year in unique(data.year) + idx = (data.year .== year) + C₀ = data.val[idx .& (data.day .< 7) ] |> mean + C₁ = data.val[idx .& (data.day .> 358)] |> mean + α = C₀ + β = (C₁ - C₀) / 365 + + data.alpha[idx] .= α + data.beta[idx] .= β + data.phi[idx] .-= α .+ β*data.day[idx] +end ++ + + +
Examinons par exemple l'effet de ce traitement sur les données interpolées de l'année 1982. On voit, sur la figure du haut, les mesures brutes ainsi que la tendance locale (affine). Sur la figure du bas, la composante périodique locale vérifie bien les contraintes demandées, avec ses valeurs nulles aux bords.
+ +
+
+Pour que notre décomposition soit valide, il faut que les composantes périodiques locales de chaque année se ressemblent, au point de pouvoir être représentées par leur moyenne. Nous calculons donc cette moyenne pour toutes les années du jeu de données d'étude.
+ + ++avg = by(data, :day, :phi=>mean, :phi=>std); ++ + + +
Et nous traçons l'ensemble des composantes oscillantes locales aux côtés de cette moyenne.
+ +
+
+Comme on pouvait s'y attendre, il reste une forte variabilité d'année en année. Notons toutefois que l'écart-type, bien qu'important, reste un ordre de grandeur en dessous des valeurs extrêmes, ce qui permet d'espérer que ce profil moyen est suffisamment représentatif pour permettre d'extraire la composante tendancielle lisse des données.
+Analyse des variations tendancielles
+ + +Nous sommes maintenant prêts à extraire la composante tendancielle des mesures. Il suffit pour cela de retrancher aux données brutes la composante oscillante moyenne.
+ + ++data = join(data, avg, on=:day) +data.smooth = data.val .- data.phi_mean; ++ + + +
Même s'il reste des oscillations locales, nous constatons tout de même que la composante tendancielle est devenue suffisamment lisse pour récupérer une forme de monotonie.
+ +
+
+Nous allons maintenant tenter de caractériser la tendance sous-jacente. Au vu de la courbe (concave), nous proposons un modèle quadratique de la forme :
+\[ +C(t) = \alpha + \beta t + \gamma t^2 +\]
+ + ++model = lm(@formula(smooth ~ date_num + date_num^2), + by(data, :year, smooth = :smooth=>mean, date_num = :date_num=>mean)) ++ + +
+StatsModels.TableRegressionModel{LinearModel{GLM.LmResp{Array{Float64,1}},GLM.DensePredChol{Float64,LinearAlgebra.Cholesky{Float64,Array{Float64,2}}}},Array{Float64,2}}
+
+smooth ~ 1 + date_num + :(date_num ^ 2)
+
+Coefficients:
+───────────────────────────────────────────────────────────────────────────────────────
+ Estimate Std. Error t value Pr(>|t|) Lower 95% Upper 95%
+───────────────────────────────────────────────────────────────────────────────────────
+(Intercept) 313.862 0.263289 1192.08 <1e-99 313.334 314.39
+date_num 0.00221635 5.77649e-5 38.3685 <1e-39 0.00210049 0.00233221
+date_num ^ 2 9.10059e-8 2.66606e-9 34.135 <1e-37 8.56585e-8 9.63533e-8
+───────────────────────────────────────────────────────────────────────────────────────
+
+
+
+Ce genre de modèle semble correspondre assez bien aux données, avec un assez bon niveau de confiance sur l'estimation des paramètres $\alpha$ et $\beta$.
+ + ++α, β, γ = coef(model); +α1, β1, γ1 = coef(model)-2*stderror(model); +α2, β2, γ2 = coef(model)+2*stderror(model); ++ + + +
En première approximation, on a en particulier une hausse tendancielle de la concentration de CO2 atmosphérique de l'ordre de $\beta$ = 2.22e-03 ppm/jour ($\pm$5.21%), qui se traduit en une augmentation annuelle comprise entre 0.77 et 0.85 ppm/an avec un niveau de confiance de 95%.
+On voit toutefois que l'incertitude sur $\beta$ en particulier est de nature à engendrer des
+ +
+
+
++date_num = date2num(Date(lastyear)):10:date2num(today()+Year(5)) +prediction = DataFrame(date_num=date_num, + date=num2date.(date_num), + day=dayinyear.(date_num)) + +prediction.smooth = predict(model, prediction) +prediction = join(prediction, avg, on=:day) + +prediction.val = prediction.smooth .+ prediction.phi_mean + +idx = data_raw.date .> Date(lastyear) +plot(xlabel="Date", ylabel="CO2 [ppm]", legend=:bottomright) +plot!(data_raw.date[idx], data_raw.val[idx], label="measurements") +plot!(prediction.date, prediction.smooth, label="smooth model") +plot!(prediction.date, prediction.val, label="predicted value") ++ + +
+
+Pour aller plus loin
+ + ++model = glm(@formula(smooth ~ date_num), + by(data, :year, smooth = :smooth=>mean, date_num = :date_num=>mean), + InverseGaussian(), InverseSquareLink()) ++ + +
+StatsModels.TableRegressionModel{GeneralizedLinearModel{GLM.GlmResp{Array{Float64,1},InverseGaussian{Float64},InverseSquareLink},GLM.DensePredChol{Float64,LinearAlgebra.Cholesky{Float64,Array{Float64,2}}}},Array{Float64,2}}
+
+smooth ~ 1 + date_num
+
+Coefficients:
+─────────────────────────────────────────────────────────────────────────────────────
+ Estimate Std. Error z value Pr(>|z|) Lower 95% Upper 95%
+─────────────────────────────────────────────────────────────────────────────────────
+(Intercept) 1.02817e-5 1.31515e-8 781.789 <1e-99 1.02559e-5 1.03075e-5
+date_num -1.91994e-10 1.0025e-12 -191.515 <1e-99 -1.93959e-10 -1.90029e-10
+─────────────────────────────────────────────────────────────────────────────────────
+
+
+
+
++closeall() ++ + + + + + + + + + + + + + + +
+ + + +