diff --git a/module3/exo1/analyse-syndrome-grippal.Rmd b/module3/exo1/analyse-syndrome-grippal.Rmd index a32be87fc95de9646e93d7dcf4f396ffeaa79afa..7e13e3a076a17c77f375f9daf8347a447cba25c9 100644 --- a/module3/exo1/analyse-syndrome-grippal.Rmd +++ b/module3/exo1/analyse-syndrome-grippal.Rmd @@ -3,11 +3,11 @@ title: "Analyse de l'incidence du syndrôme grippal" author: "Alexandre Changenet" date: "02/04/2021" output: - pdf_document: - toc: true html_document: toc: true theme: journal + pdf_document: + toc: true documentclass: article classoption: a4paper header-includes: diff --git a/module3/exo1/analyse-syndrome-grippal.html b/module3/exo1/analyse-syndrome-grippal.html new file mode 100644 index 0000000000000000000000000000000000000000..f9d5ef2d8d54327220de8cfca52f6b6d4e2220d9 --- /dev/null +++ b/module3/exo1/analyse-syndrome-grippal.html @@ -0,0 +1,422 @@ + + + + +
+ + + + + + + + + + +Les données de l’incidence du syndrome grippal sont disponibles du site Web du Réseau Sentinelles. Nous les récupérons sous forme d’un fichier en format CSV dont chaque ligne correspond à une semaine de la période demandée. Nous téléchargeons toujours le jeu de données complet, qui commence en 1984 et se termine avec une semaine récente. L’URL est:
+data_url = "http://www.sentiweb.fr/datasets/incidence-PAY-3.csv"
+Voici l’explication des colonnes donnée sur le sur le site d’origine:
+| Nom de colonne | +Libellé de colonne | +
|---|---|
week |
+Semaine calendaire (ISO 8601) | +
indicator |
+Code de l’indicateur de surveillance | +
inc |
+Estimation de l’incidence de consultations en nombre de cas | +
inc_low |
+Estimation de la borne inférieure de l’IC95% du nombre de cas de consultation | +
inc_up |
+Estimation de la borne supérieure de l’IC95% du nombre de cas de consultation | +
inc100 |
+Estimation du taux d’incidence du nombre de cas de consultation (en cas pour 100,000 habitants) | +
inc100_low |
+Estimation de la borne inférieure de l’IC95% du taux d’incidence du nombre de cas de consultation (en cas pour 100,000 habitants) | +
inc100_up |
+Estimation de la borne supérieure de l’IC95% du taux d’incidence du nombre de cas de consultation (en cas pour 100,000 habitants) | +
geo_insee |
+Code de la zone géographique concernée (Code INSEE) http://www.insee.fr/fr/methodes/nomenclatures/cog/ | +
geo_name |
+Libellé de la zone géographique (ce libellé peut être modifié sans préavis) | +
La première ligne du fichier CSV est un commentaire, que nous ignorons en précisant skip=1. ### Téléchargement la ligne suivante n’est pas exécuté
data = read.csv(data_url, skip=1)
+Afin que l’analyse soit complètement reproductible, plutot que de télécharger les données à chaque fois, nous chargeons le fichier téléchargé en local (pour être sur qu’il ne change pas, ou pour que l’on puisse s’assurer qu’il a changer ou pas.)
+data <- read.csv("~/Google Drive/Cours/mooc-rr/module3/incidence-PAY-3.csv", comment.char="#")
+Regardons ce que nous avons obtenu:
+head(data)
+## week indicator inc inc_low inc_up inc100 inc100_low inc100_up geo_insee
+## 1 202112 3 36542 30199 42885 55 45 65 FR
+## 2 202111 3 25206 20860 29552 38 31 45 FR
+## 3 202110 3 19539 15951 23127 30 25 35 FR
+## 4 202109 3 17572 13926 21218 27 21 33 FR
+## 5 202108 3 20882 16907 24857 32 26 38 FR
+## 6 202107 3 22393 18303 26483 34 28 40 FR
+## geo_name
+## 1 France
+## 2 France
+## 3 France
+## 4 France
+## 5 France
+## 6 France
+tail(data)
+## week indicator inc inc_low inc_up inc100 inc100_low inc100_up
+## 1895 198449 3 101073 81684 120462 184 149 219
+## 1896 198448 3 78620 60634 96606 143 110 176
+## 1897 198447 3 72029 54274 89784 131 99 163
+## 1898 198446 3 87330 67686 106974 159 123 195
+## 1899 198445 3 135223 101414 169032 246 184 308
+## 1900 198444 3 68422 20056 116788 125 37 213
+## geo_insee geo_name
+## 1895 FR France
+## 1896 FR France
+## 1897 FR France
+## 1898 FR France
+## 1899 FR France
+## 1900 FR France
+Y a-t-il des points manquants dans nos données ?
+na_records = apply(data, 1, function (x) any(is.na(x)))
+data[na_records,]
+## week indicator inc inc_low inc_up inc100 inc100_low inc100_up geo_insee
+## 1664 198919 3 0 NA NA 0 NA NA FR
+## geo_name
+## 1664 France
+Les deux colonnes qui nous intéressent sont week et inc. Vérifions leurs classes:
class(data$week)
+## [1] "integer"
+class(data$inc)
+## [1] "integer"
+Ce sont des entiers, tout va bien !
+La gestion des dates est toujours un sujet délicat. Il y a un grand nombre de conventions différentes qu’il ne faut pas confondre. Notre jeux de données utilise un format que peu de logiciels savent traiter: les semaines en format ISO-8601. En R, il est géré par la bibliothèque parsedate:
library(parsedate)
+Pour faciliter le traitement suivant, nous remplaçons ces semaines par les dates qui correspondent aux lundis. Voici une petite fonction qui fait la conversion pour une seule valeur:
+convert_week = function(w) {
+ ws = paste(w)
+ iso = paste0(substring(ws, 1, 4), "-W", substring(ws, 5, 6))
+ as.character(parse_iso_8601(iso))
+}
+Nous appliquons cette fonction à tous les points, créant une nouvelle colonne date dans notre jeu de données:
data$date = as.Date(convert_week(data$week))
+Vérifions qu’elle est de classe Date:
class(data$date)
+## [1] "Date"
+Les points sont dans l’ordre chronologique inverse, il est donc utile de les trier:
+data = data[order(data$date),]
+C’est l’occasion pour faire une vérification: nos dates doivent être séparées d’exactement sept jours:
+all(diff(data$date) == 7)
+## [1] TRUE
+Regardons enfin à quoi ressemblent nos données !
+plot(data$date, data$inc, type="l", xlab="Date", ylab="Incidence hebdomadaire")
+Un zoom sur les dernières années montre mieux la localisation des pics en hiver. Le creux des incidences se trouve en été.
+with(tail(data, 200), plot(date, inc, type="l", xlab="Date", ylab="Incidence hebdomadaire"))
+Étant donné que le pic de l’épidémie se situe en hiver, à cheval entre deux années civiles, nous définissons la période de référence entre deux minima de l’incidence, du 1er août de l’année \(N\) au 1er août de l’année \(N+1\). Nous mettons l’année \(N+1\) comme étiquette sur cette année décalée, car le pic de l’épidémie est toujours au début de l’année \(N+1\). Comme l’incidence de syndrome grippal est très faible en été, cette modification ne risque pas de fausser nos conclusions. L’argument na.rm=True dans la sommation précise qu’il faut supprimer les points manquants. Ce choix est raisonnable car il n’y a qu’un seul point manquant, dont l’impact ne peut pas être très fort.
pic_annuel = function(annee) {
+ debut = paste0(annee-1,"-08-01")
+ fin = paste0(annee,"-08-01")
+ semaines = data$date > debut & data$date <= fin
+ sum(data$inc[semaines], na.rm=TRUE)
+ }
+Nous devons aussi faire attention aux premières et dernières années de notre jeux de données. Les données commencent en octobre 1984, ce qui ne permet pas de quantifier complètement le pic attribué à 1985. Nous l’enlevons donc de notre analyse. Par contre, pour une exécution en octobre 2018, les données se terminent après le 1er août 2018, ce qui nous permet d’inclure cette année.
+annees = 1986:2020
+Nous créons un nouveau jeu de données pour l’incidence annuelle, en applicant la fonction pic_annuel à chaque année:
inc_annuelle = data.frame(annee = annees,
+ incidence = sapply(annees, pic_annuel))
+head(inc_annuelle)
+## annee incidence
+## 1 1986 5100540
+## 2 1987 2861556
+## 3 1988 2766142
+## 4 1989 5460155
+## 5 1990 5233987
+## 6 1991 1660832
+Voici les incidences annuelles en graphique:
+plot(inc_annuelle, type="p", xlab="Année", ylab="Incidence annuelle")
+Une liste triée par ordre décroissant d’incidence annuelle permet de plus facilement repérer les valeurs les plus élevées:
+head(inc_annuelle[order(-inc_annuelle$incidence),])
+## annee incidence
+## 4 1989 5460155
+## 5 1990 5233987
+## 1 1986 5100540
+## 28 2013 4182265
+## 25 2010 4085126
+## 14 1999 3897443
+Enfin, un histogramme montre bien que les épidémies fortes, qui touchent environ 10% de la population française, sont assez rares: il y en eu trois au cours des 35 dernières années.
+hist(inc_annuelle$incidence, breaks=10, xlab="Incidence annuelle", ylab="Nb d'observations", main="")
+On commence par importer les données depuis le repertoire local:
+data <- read.csv("~/Google Drive/Cours/mooc-rr/module3/exo3/module3_Practical_session_Subject6_smoking.csv")
+Puis on représente dans un tableau le nombre total de femmes vivantes et décédées sur la période en fonction de leur habitude de tabagisme:
+data.table <- table(data$Smoker, data$Status)
+data.table
+##
+## Alive Dead
+## No 502 230
+## Yes 443 139
+On calcule dans chaque groupe (fumeuses / non fumeuses) le taux de mortalité (le rapport entre le nombre de femmes décédées dans un groupe et le nombre total de femmes dans ce groupe). L’argument margin permets de calculer les proportions relativement aux sommes des lignes (donc par statut de fumeuse ou non)
+data.table.prop <- prop.table(data.table, margin=1)*100
+data.table.prop
+##
+## Alive Dead
+## No 68.57923 31.42077
+## Yes 76.11684 23.88316
+Pour vérifier que notre calcul est bon, on ajoute la, porportion de vivant à la proportion de personne morte. On s’attends à avoir 100% dans les deux cas.
+apply(data.table.prop,1,sum)
+## No Yes
+## 100 100
+On a bien 100% pour les deux catégories.
+Maintenant on fait un graphique de la proportion de mort en fonction du statut de smoker:
+dataf <- as.data.frame(data.table.prop)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+barplot(Mort_rate$Freq~Mort_rate$Var1,main = "Mortality rate VS smoking statuts",xlab = "Smoker",ylab = "proportion of dead")
+On constate avec surprise que le taux de mortalité est plus elevé chez les non fumeuse que chez les fumeuse alors que l’on pourrait s’attendre à l’inverse.
+On commence par importer les données depuis le repertoire local:
+data <- read.csv("~/Google Drive/Cours/mooc-rr/module3/exo3/module3_Practical_session_Subject6_smoking.csv")
+Dans un premier temps, on s’assure que l’âge minimum n’est pas en dessous de 18 ans.
+summary(data$Age)
+## Min. 1st Qu. Median Mean 3rd Qu. Max.
+## 18.00 31.30 44.80 47.36 60.60 89.90
+C’est bien le cas, donc on peut ajouter une variable liée à la classe d’âge. On considérera ici les classes suivantes : 18-34 ans, 34-54 ans, 55-64 ans, plus de 65 ans
+data$Ageclass <- cut(data$Age,breaks = c(18,34,54,64,Inf))
+Puis on représente dans un tableau le nombre total de femmes vivantes et décédées sur la période en fonction de leur habitude de tabagisme, et de leur classe d’âge:
+data.table <- table(data$Smoker, data$Status,data$Ageclass)
+data.table
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 212 6
+## Yes 172 5
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 180 19
+## Yes 196 41
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 81 40
+## Yes 64 51
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 28 165
+## Yes 7 42
+On calcule dans chaque groupe (fumeuses / non fumeuses) de chaque classe d’âge, le taux de mortalité (le rapport entre le nombre de femmes décédées dans un groupe et le nombre total de femmes dans ce groupe). L’argument margin permets de calculer les proportions relativement aux sommes des lignes (donc par statut de fumeuse ou non = 1), au sein de chaque catégorie d’âge (3).
+data.table.prop <- prop.table(data.table, c(1,3))*100
+data.table.prop
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 97.247706 2.752294
+## Yes 97.175141 2.824859
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 90.452261 9.547739
+## Yes 82.700422 17.299578
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 66.942149 33.057851
+## Yes 55.652174 44.347826
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 14.507772 85.492228
+## Yes 14.285714 85.714286
+Maintenant on fait un graphique de la proportion de mort en fonction du statut de smoker:
+dataf <- as.data.frame(data.table.prop)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+barplot(Mort_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,main = "Mortality rate VS smoking statuts in different age classes",xlab = "Age",ylab = "proportion of dead",legend=T,args.legend=list(title="Smoker"))
+On constate que cette fois, la proportion de mort est plus élevé chez les fumeurs quelque soit la tranche d’âge. C’est paradoxal avec le résultat précédent, ou on observait un taux de mortalité plus faible chez les fumeurs.
+Deux explications possibles: L’âge que nous n’avons pas pris en compte dans la première analyse est un paramètre important (et à priori il est important car on s’attends globalement a ce que les plus jeune meurt moins (fumeurs ou pas), et que les plus vieux meurent plus (fumeurs ou pas). Cet effet de sénescence est pris en compte dans le second temps.
+Seconde explication: Le déséquilibre dans les effectifs (globaux, et au sein de chaque classes): * On remarque dans un premier temps le déséquilibre au sein
+summary(as.factor(data$Smoker))
+## No Yes
+## 732 582
+summary(as.factor(data$Status))
+## Alive Dead
+## 945 369
+table(data$Smoker, data$Status)
+##
+## Alive Dead
+## No 502 230
+## Yes 443 139
+Les classes d’âge ot l’air homogènes en revanche classe d’âge en revanche:
+summary(as.factor(data$Ageclass))
+## (18,34] (34,54] (54,64] (64,Inf] NA's
+## 395 436 236 242 5
+Quand on regarde les statuts et conditions en fonction de ces tranches d’âge en revanche, on remarque un total déséquilibre:
+data.table <- table(data$Smoker, data$Status,data$Ageclass)
+data.table
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 212 6
+## Yes 172 5
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 180 19
+## Yes 196 41
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 81 40
+## Yes 64 51
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 28 165
+## Yes 7 42
+En particulier, dans la tranche d’âge la plus élevé, les fumeurs sont compltement sous représentés en nombre par rapport aux non fumeurs. Comme c’est dans cette tranche dâge que l’on trouve le taux de mortalité le plus élevé (sénéscence) quelque soit le statut de fumeur ou non, c’est cette tranche d’âge qui biaise totalement nos résultats puisque même si la proportion de mort chez les fumeurs est aussi élevé que chez les non fumeurs, le nombre de mort lui est bien plus faible (42 contre 165), impactant la dynamique générale. Il est donc important de prendre en compte la variable âge.
+Pour s’n rendre compte on peut aussi visualiser les données:
+dataf <- as.data.frame(data.table)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+Live_rate <- dataf[dataf$Var2=="Alive",]
+
+par(mfrow=c(1,2))
+barplot(Mort_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,main = "Mortality count VS smoking statuts in different age classes",xlab = "Age",ylab = "Number of dead",legend=T,args.legend=list(title="Smoker","right"))
+barplot(Live_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,main = "Living count VS smoking statuts in different age classes",xlab = "Age",ylab = "Number of living",legend=T,args.legend=list(title="Smoker","topright"))
+ On voit ici le déséquilibre flagrant entre tranche d’âge pour les vivants comme pour les morts. Dans la tranche d’âge la plus élevée on voit clairement que les non fumeurs morts sont surreprésentés en nombre (alors qu’ils représentent une proportion semblables chez les fumeurs).
Dans un premier temps on recode la variable Status en “Death” avec 0 indiquant la survie, et 1 un évènement de mortalité
+data$Death <- "0"
+data[data$Status=="Dead","Death"] <- 1
+data$Death <- as.numeric(data$Death)
+Dans un second temps, on étudie le modèle Death ~ Age pour étudier la probabilité de décès en fonction de l’âge selon que l’on considère le groupe des fumeuses ou des non fumeuses.
+Le plus simple est d’inclure un effet âge et un effet “fumeur” dans notre modèle:
+M1 <- glm(Death ~ Smoker+Age, data = data, family = binomial(logit))
+On regarde les sorties de notre modèle:
+summary(M1)
+##
+## Call:
+## glm(formula = Death ~ Smoker + Age, family = binomial(logit),
+## data = data)
+##
+## Deviance Residuals:
+## Min 1Q Median 3Q Max
+## -2.3129 -0.5947 -0.2830 0.4570 2.9490
+##
+## Coefficients:
+## Estimate Std. Error z value Pr(>|z|)
+## (Intercept) -6.351874 0.360121 -17.638 <2e-16 ***
+## SmokerYes 0.278654 0.164981 1.689 0.0912 .
+## Age 0.099837 0.005774 17.291 <2e-16 ***
+## ---
+## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
+##
+## (Dispersion parameter for binomial family taken to be 1)
+##
+## Null deviance: 1560.3 on 1313 degrees of freedom
+## Residual deviance: 1001.9 on 1311 degrees of freedom
+## AIC: 1007.9
+##
+## Number of Fisher Scoring iterations: 5
+On constate que l’effet $age est significatif mais que l’effet “smoker” ne l’est pas. Voyons de plus prêt:
+cowplot::plot_grid(plotlist = plot(ggeffects::ggeffect(M1)))
+ On remarque que les fumeurs ont une probbailité plus grande de mort que les non fumeurs. On remarque aussi que la probabilité de mort augmente drastiquement avec l’âge (c’est la sénéscence).
On peut égalament regarder la même courbe pour les deux groupes. Pour se faire, on définit une plage d’âge pour laquelle on veut des prédictions, disons 18 à 100 ans, pour un groupe de fumeur et un groupe de non fumeurs. On transforme ces vecteurs en un data frame pour pouvoir faire nos prédictions:
+Age <- seq(18,100,1)
+SmokerYes <- rep("Yes",length(Age))
+SmokerNo <- rep("No",length(Age))
+newdata <- as.data.frame(cbind(Age,SmokerYes,SmokerNo))
+On prédit successivement les réponses (en terme de mortalité), pour le groupe des fumeur de 18 à 100 ans et celui des non fumeur de 18 à 100 ans. On précise que l’on veut aussi récupérer l’intervalle de confiance.
+Pred.Yes <- predict(M1,list(Smoker=SmokerYes,Age=Age),se.fit = T,type="response")
+Pred.No <- predict(M1,list(Smoker=SmokerNo,Age=Age),se.fit = T,type="response")
+On plot nos points observés. Puis on ajoute successivement le groupe des fumeurs avec l’intervalle de confiance, et celui des non fumeurs, avaec la légende adequat.
+plot(data$Death~data$Age,pch = 16, xlab = "Age", ylab = "Death probability")
+polygon(x=c(newdata$Age,rev(newdata$Age)),y=c(Pred.Yes$fit-Pred.Yes$se.fit,rev(Pred.Yes$fit+Pred.Yes$se.fit)),col=adjustcolor("blue",alpha.f=0.1)
+,border=NA)
+lines(Pred.Yes$fit~newdata$Age,col="blue")
+
+polygon(x=c(newdata$Age,rev(newdata$Age)),y=c(Pred.No$fit-Pred.No$se.fit,rev(Pred.No$fit+Pred.No$se.fit)),col=adjustcolor("red",alpha.f=0.1)
+,border=NA)
+lines(Pred.No$fit~newdata$Age,col="red")
+
+legend("left",title="Smoker",c("Yes","No"),col=c("blue","red"),fill=c("blue","red"))
+On constate bien qu’on prédit, à âge égale, moins de mortalité chez les non fumeurs que chez les fumeurs, quelquesoit l’âge.
+On commence par importer les données depuis le repertoire local:
+data <-
+read.csv("~/Google Drive/Cours/mooc-rr/module3/exo3/module3_Practical_session_Subject6_smoking.csv")
+Puis on représente dans un tableau le nombre total de femmes vivantes et décédées sur la période en fonction de leur habitude de tabagisme:
+data.table <- table(data$Smoker, data$Status)
+data.table
+##
+## Alive Dead
+## No 502 230
+## Yes 443 139
+On calcule dans chaque groupe (fumeuses / non fumeuses) le taux de mortalité (le rapport entre le nombre de femmes décédées dans un groupe et le nombre total de femmes dans ce groupe). L’argument margin permets de calculer les proportions relativement aux sommes des lignes (donc par statut de fumeuse ou non). Multiplier par 100 permets d’avoir un pourcentage.
+data.table.prop <- prop.table(data.table, margin=1)*100
+data.table.prop
+##
+## Alive Dead
+## No 68.57923 31.42077
+## Yes 76.11684 23.88316
+Pour vérifier que notre calcul est bon, on ajoute la, porportion de vivant à la proportion de personne morte. On s’attends à avoir 100% dans les deux cas.
+apply(data.table.prop,1,sum)
+## No Yes
+## 100 100
+On a bien 100% pour les deux catégories.
+Maintenant on fait un graphique de la proportion de mort en fonction du statut de smoker:
+dataf <- as.data.frame(data.table.prop)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+barplot(Mort_rate$Freq~Mort_rate$Var1,main = "Mortality rate VS smoking statuts",
+ xlab = "Smoker",ylab = "proportion of dead")
+On constate avec surprise que le taux de mortalité est plus elevé chez les non fumeuse que chez les fumeuse alors que l’on pourrait s’attendre à l’inverse.
+On commence par importer les données depuis le repertoire local:
+data <-
+read.csv("~/Google Drive/Cours/mooc-rr/module3/exo3/module3_Practical_session_Subject6_smoking.csv")
+Dans un premier temps, on s’assure que l’âge minimum n’est pas en dessous de 18 ans.
+summary(data$Age)
+## Min. 1st Qu. Median Mean 3rd Qu. Max.
+## 18.00 31.30 44.80 47.36 60.60 89.90
+C’est bien le cas (min = 18) donc on peut ajouter une variable liée à la classe d’âge. On considérera ici les classes suivantes : 18-34 ans, 34-54 ans, 55-64 ans, plus de 65 ans
+data$Ageclass <- cut(data$Age,breaks = c(18,34,54,64,Inf))
+Puis on représente dans un tableau le nombre total de femmes vivantes et décédées sur la période en fonction de leur habitude de tabagisme, et de leur classe d’âge:
+data.table <- table(data$Smoker, data$Status,data$Ageclass)
+data.table
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 212 6
+## Yes 172 5
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 180 19
+## Yes 196 41
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 81 40
+## Yes 64 51
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 28 165
+## Yes 7 42
+On calcule dans chaque groupe (fumeuses / non fumeuses) de chaque classe d’âge, le taux de mortalité (le rapport entre le nombre de femmes décédées dans un groupe et le nombre total de femmes dans ce groupe). L’argument margin permets de calculer les proportions relativement aux sommes des lignes (donc par statut de fumeuse ou non = 1), au sein de chaque catégorie d’âge (3).
+data.table.prop <- prop.table(data.table, c(1,3))*100
+data.table.prop
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 97.247706 2.752294
+## Yes 97.175141 2.824859
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 90.452261 9.547739
+## Yes 82.700422 17.299578
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 66.942149 33.057851
+## Yes 55.652174 44.347826
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 14.507772 85.492228
+## Yes 14.285714 85.714286
+Maintenant on fait un graphique de la proportion de mort en fonction du statut de smoker:
+dataf <- as.data.frame(data.table.prop)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+barplot(Mort_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,
+ main = "Mortality rate VS smoking statuts in different age classes",
+ xlab = "Age",ylab = "proportion of dead",legend=T,args.legend=list(title="Smoker"))
+On constate que cette fois, la proportion de mort est plus élevé chez les fumeurs quelque soit la tranche d’âge. C’est paradoxal avec le résultat précédent, ou on observait un taux de mortalité plus faible chez les fumeurs. C’est ce que l’on appelle le paradoxe de Simpson.
+Deux explications possibles: * L’âge que nous n’avons pas pris en compte dans la première analyse est un paramètre important (et à priori il est important car on s’attends globalement a ce que les plus jeune meurt moins (fumeurs ou pas), et que les plus vieux meurent plus (fumeurs ou pas). Cet effet de sénescence est pris en compte dans le second temps.
+Seconde explication: * Le déséquilibre dans les effectifs (globaux, et au sein de chaque classes) pourrait être responsable de ces conclusions trompeuses.
+summary(as.factor(data$Smoker))
+## No Yes
+## 732 582
+summary(as.factor(data$Status))
+## Alive Dead
+## 945 369
+table(data$Smoker, data$Status)
+##
+## Alive Dead
+## No 502 230
+## Yes 443 139
+summary(as.factor(data$Ageclass))
+## (18,34] (34,54] (54,64] (64,Inf] NA's
+## 395 436 236 242 5
+Les classes d’âge ont l’air homogènes. Poursuivons en regardant les effectifs en fonction de plusieurs variables:
+data.table <- table(data$Smoker, data$Status,data$Ageclass)
+data.table
+## , , = (18,34]
+##
+##
+## Alive Dead
+## No 212 6
+## Yes 172 5
+##
+## , , = (34,54]
+##
+##
+## Alive Dead
+## No 180 19
+## Yes 196 41
+##
+## , , = (54,64]
+##
+##
+## Alive Dead
+## No 81 40
+## Yes 64 51
+##
+## , , = (64,Inf]
+##
+##
+## Alive Dead
+## No 28 165
+## Yes 7 42
+Quand on regarde les statuts et conditions en fonction de ces tranches d’âge en revanche, on remarque un total déséquilibre.
+En particulier, dans la tranche d’âge la plus élevée, les fumeurs sont compltement sous représentés en nombre par rapport aux non fumeurs. Comme c’est dans cette tranche dâge que l’on trouve le taux de mortalité le plus élevé (sénéscence) quelque soit le statut de fumeur ou non, c’est cette tranche d’âge qui biaise totalement nos résultats puisque même si la proportion de mort chez les fumeurs est aussi élevé que chez les non fumeurs, le nombre de mort lui est bien plus faible (42 contre 165), impactant fortement nos conclusions générale sur la dynamique globale qui ne reposent que sur les proportions totale ! Il est donc important de prendre en compte la variable âge.
+dataf <- as.data.frame(data.table)
+Mort_rate <- dataf[dataf$Var2=="Dead",]
+Live_rate <- dataf[dataf$Var2=="Alive",]
+
+par(mfrow=c(1,2))
+barplot(Mort_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,
+ main = "Mortality count\n VS smoking statuts\n in different age classes",
+ xlab = "Age",ylab = "Number of dead",legend=T,
+ args.legend=list(x="topleft",title="Smoker"))
+barplot(Live_rate$Freq~Mort_rate$Var1+Mort_rate$Var3,beside=T,
+ main = "Living count\n VS smoking statuts\n in different age classes",
+ xlab = "Age",ylab = "Number of living",legend=T,
+ args.legend=list(title="Smoker","topright"))
+ On voit ici le déséquilibre flagrant entre tranche d’âge pour les vivants comme pour les morts. Dans la tranche d’âge la plus élevée on voit clairement que les non fumeurs morts sont surreprésentés en nombre (alors qu’ils représentent une proportion semblables chez les fumeurs).
Dans un premier temps on recode la variable “Status” en “Death” avec 0 indiquant la survie, et 1 un évènement de mortalité
+data$Death <- "0"
+data[data$Status=="Dead","Death"] <- 1
+data$Death <- as.numeric(data$Death)
+Dans un second temps, on étudie le modèle Death ~ Age pour étudier la probabilité de décès en fonction de l’âge selon que l’on considère le groupe des fumeuses ou des non fumeuses.
+Le plus simple est d’inclure un effet âge et un effet “fumeur” dans notre modèle:
+M1 <- glm(Death ~ Smoker+Age, data = data, family = binomial(logit))
+On regarde les sorties de notre modèle:
+summary(M1)
+##
+## Call:
+## glm(formula = Death ~ Smoker + Age, family = binomial(logit),
+## data = data)
+##
+## Deviance Residuals:
+## Min 1Q Median 3Q Max
+## -2.3129 -0.5947 -0.2830 0.4570 2.9490
+##
+## Coefficients:
+## Estimate Std. Error z value Pr(>|z|)
+## (Intercept) -6.351874 0.360121 -17.638 <2e-16 ***
+## SmokerYes 0.278654 0.164981 1.689 0.0912 .
+## Age 0.099837 0.005774 17.291 <2e-16 ***
+## ---
+## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
+##
+## (Dispersion parameter for binomial family taken to be 1)
+##
+## Null deviance: 1560.3 on 1313 degrees of freedom
+## Residual deviance: 1001.9 on 1311 degrees of freedom
+## AIC: 1007.9
+##
+## Number of Fisher Scoring iterations: 5
+On constate que l’effet $age est significatif mais que l’effet “smoker” ne l’est pas. Voyons de plus prêt à l’aide des packages ‘cowplot’ et ‘ggeffects’ que l’on pourra installer grace aux commandes: install.packages(c("cowplot","ggeffects"))
cowplot::plot_grid(plotlist = plot(ggeffects::ggeffect(M1)))
+ On remarque que les fumeurs ont une probbailité plus grande de mort que les non fumeurs. On remarque aussi que la probabilité de mort augmente drastiquement avec l’âge (c’est la sénéscence).
On peut égalament regarder la même courbe pour les deux groupes. Pour se faire, on définit une plage d’âge pour laquelle on veut des prédictions, disons 18 à 100 ans, pour un groupe de fumeur et un groupe de non fumeurs. On transforme ces vecteurs en un data frame pour pouvoir faire nos prédictions:
+Age <- seq(18,100,1)
+SmokerYes <- rep("Yes",length(Age))
+SmokerNo <- rep("No",length(Age))
+newdata <- as.data.frame(cbind(Age,SmokerYes,SmokerNo))
+Ici on vérifie qu’on a bien la structure attendue:
+newdata
+## Age SmokerYes SmokerNo
+## 1 18 Yes No
+## 2 19 Yes No
+## 3 20 Yes No
+## 4 21 Yes No
+## 5 22 Yes No
+## 6 23 Yes No
+## 7 24 Yes No
+## 8 25 Yes No
+## 9 26 Yes No
+## 10 27 Yes No
+## 11 28 Yes No
+## 12 29 Yes No
+## 13 30 Yes No
+## 14 31 Yes No
+## 15 32 Yes No
+## 16 33 Yes No
+## 17 34 Yes No
+## 18 35 Yes No
+## 19 36 Yes No
+## 20 37 Yes No
+## 21 38 Yes No
+## 22 39 Yes No
+## 23 40 Yes No
+## 24 41 Yes No
+## 25 42 Yes No
+## 26 43 Yes No
+## 27 44 Yes No
+## 28 45 Yes No
+## 29 46 Yes No
+## 30 47 Yes No
+## 31 48 Yes No
+## 32 49 Yes No
+## 33 50 Yes No
+## 34 51 Yes No
+## 35 52 Yes No
+## 36 53 Yes No
+## 37 54 Yes No
+## 38 55 Yes No
+## 39 56 Yes No
+## 40 57 Yes No
+## 41 58 Yes No
+## 42 59 Yes No
+## 43 60 Yes No
+## 44 61 Yes No
+## 45 62 Yes No
+## 46 63 Yes No
+## 47 64 Yes No
+## 48 65 Yes No
+## 49 66 Yes No
+## 50 67 Yes No
+## 51 68 Yes No
+## 52 69 Yes No
+## 53 70 Yes No
+## 54 71 Yes No
+## 55 72 Yes No
+## 56 73 Yes No
+## 57 74 Yes No
+## 58 75 Yes No
+## 59 76 Yes No
+## 60 77 Yes No
+## 61 78 Yes No
+## 62 79 Yes No
+## 63 80 Yes No
+## 64 81 Yes No
+## 65 82 Yes No
+## 66 83 Yes No
+## 67 84 Yes No
+## 68 85 Yes No
+## 69 86 Yes No
+## 70 87 Yes No
+## 71 88 Yes No
+## 72 89 Yes No
+## 73 90 Yes No
+## 74 91 Yes No
+## 75 92 Yes No
+## 76 93 Yes No
+## 77 94 Yes No
+## 78 95 Yes No
+## 79 96 Yes No
+## 80 97 Yes No
+## 81 98 Yes No
+## 82 99 Yes No
+## 83 100 Yes No
+On prédit successivement les réponses (en terme de mortalité), pour le groupe des fumeurs de 18 à 100 ans et celui des non fumeur de 18 à 100 ans. On précise que l’on veut aussi récupérer l’intervalle de confiance grace a l’argument se.fit = T et on récupère le tout dans deux nouveaaux objects.
Pred.Yes <- predict(M1,list(Smoker=SmokerYes,Age=Age),se.fit = T,type="response")
+Pred.No <- predict(M1,list(Smoker=SmokerNo,Age=Age),se.fit = T,type="response")
+On représente nos points observés d’abord. Puis on ajoute successivement le groupe des fumeurs avec l’intervalle de confiance, et celui des non fumeurs, avec la légende adequat. La commande linespermet d’ajouter la ligne que l’on souhaite (ici la réponse en terme de mortalité des fumeurs ou des non fumeurs). Dans un second temps on ajoute les intervalles de confiance grace à la commande polygon.
plot(data$Death~data$Age,pch = 16, xlab = "Age", ylab = "Death probability")
+polygon(x=c(newdata$Age,rev(newdata$Age)),
+ y=c(Pred.Yes$fit-Pred.Yes$se.fit,
+ rev(Pred.Yes$fit+Pred.Yes$se.fit)),
+ col=adjustcolor("blue",alpha.f=0.1),
+ border=NA)
+lines(Pred.Yes$fit~newdata$Age,col="blue")
+
+polygon(x=c(newdata$Age,rev(newdata$Age)),
+ y=c(Pred.No$fit-Pred.No$se.fit,
+ rev(Pred.No$fit+Pred.No$se.fit)),
+ col=adjustcolor("red",alpha.f=0.1),
+ border=NA)
+lines(Pred.No$fit~newdata$Age,col="red")
+
+legend("left",title="Smoker",c("Yes","No"),col=c("blue","red"),fill=c("blue","red"))
+On constate bien qu’on prédit, à âge égale, moins de mortalité chez les non fumeurs que chez les fumeurs, quelquesoit l’âge. Le tabac semble donc nocif, au regard de ces données.
+Toutes les analyses ont été réalisé sur R
+sessionInfo()
+## R version 4.0.4 (2021-02-15)
+## Platform: x86_64-apple-darwin17.0 (64-bit)
+## Running under: macOS High Sierra 10.13.6
+##
+## Matrix products: default
+## BLAS: /Library/Frameworks/R.framework/Versions/4.0/Resources/lib/libRblas.dylib
+## LAPACK: /Library/Frameworks/R.framework/Versions/4.0/Resources/lib/libRlapack.dylib
+##
+## locale:
+## [1] fr_FR.UTF-8/fr_FR.UTF-8/fr_FR.UTF-8/C/fr_FR.UTF-8/fr_FR.UTF-8
+##
+## attached base packages:
+## [1] stats graphics grDevices utils datasets methods base
+##
+## loaded via a namespace (and not attached):
+## [1] statmod_1.4.35 tidyselect_1.1.0 sjlabelled_1.1.7 xfun_0.22
+## [5] bslib_0.2.4 mitools_2.4 purrr_0.3.4 splines_4.0.4
+## [9] lattice_0.20-41 carData_3.0-4 colorspace_2.0-0 vctrs_0.3.7
+## [13] generics_0.1.0 htmltools_0.5.1.1 yaml_2.2.1 survival_3.2-10
+## [17] utf8_1.2.1 rlang_0.4.10 jquerylib_0.1.3 pillar_1.5.1
+## [21] nloptr_1.2.2.2 glue_1.4.2 DBI_1.1.1 lifecycle_1.0.0
+## [25] stringr_1.4.0 effects_4.2-0 munsell_0.5.0 gtable_0.3.0
+## [29] evaluate_0.14 labeling_0.4.2 knitr_1.31 fansi_0.4.2
+## [33] highr_0.8 Rcpp_1.0.6 scales_1.1.1 ggeffects_1.0.2
+## [37] jsonlite_1.7.2 farver_2.1.0 lme4_1.1-26 ggplot2_3.3.3
+## [41] digest_0.6.27 stringi_1.5.3 insight_0.13.1 dplyr_1.0.5
+## [45] survey_4.0 cowplot_1.1.1 grid_4.0.4 tools_4.0.4
+## [49] magrittr_2.0.1 sass_0.3.1 tibble_3.1.0 crayon_1.4.1
+## [53] pkgconfig_2.0.3 ellipsis_0.3.1 MASS_7.3-53.1 Matrix_1.3-2
+## [57] estimability_1.3 assertthat_0.2.1 minqa_1.2.4 rmarkdown_2.7
+## [61] R6_2.5.0 boot_1.3-27 nnet_7.3-15 nlme_3.1-152
+## [65] compiler_4.0.4
+