{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Incidence du syndrome grippal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import isoweek"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Les données de l'incidence du syndrome grippal sont disponibles du site Web du [Réseau Sentinelles](http://www.sentiweb.fr/). Nous les récupérons sous forme d'un fichier en format CSV dont chaque ligne correspond à une semaine de la période demandée. Nous téléchargeons toujours le jeu de données complet, qui commence en 1984 et se termine avec une semaine récente."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_url = \"http://www.sentiweb.fr/datasets/incidence-PAY-3.csv\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Voici l'explication des colonnes données [sur le site d'origine](https://ns.sentiweb.fr/incidence/csv-schema-v1.json):\n",
    "\n",
    "| Nom de colonne | Libellé de colonne                                                                                                                |\n",
    "|----------------|-----------------------------------------------------------------------------------------------------------------------------------|\n",
    "| week           | Semaine calendaire (ISO 8601)                                                                                                     |\n",
    "| indicator      | Code de l'indicateur de surveillance                                                                                              |\n",
    "| inc            | Estimation de l'incidence de consultations en nombre de cas                                                                       |\n",
    "| inc_low        | Estimation de la borne inférieure de l'IC95% du nombre de cas de consultation                                                     |\n",
    "| inc_up         | Estimation de la borne supérieure de l'IC95% du nombre de cas de consultation                                                     |\n",
    "| inc100         | Estimation du taux d'incidence du nombre de cas de consultation (en cas pour 100,000 habitants)                                   |\n",
    "| inc100_low     | Estimation de la borne inférieure de l'IC95% du taux d'incidence du nombre de cas de consultation (en cas pour 100,000 habitants) |\n",
    "| inc100_up      | Estimation de la borne supérieure de l'IC95% du taux d'incidence du nombre de cas de consultation (en cas pour 100,000 habitants) |\n",
    "| geo_insee      | Code de la zone géographique concernée (Code INSEE) http://www.insee.fr/fr/methodes/nomenclatures/cog/                            |\n",
    "| geo_name       | Libellé de la zone géographique (ce libellé peut être modifié sans préavis)                                                       |\n",
    "\n",
    "La première ligne du fichier CSV est un commentaire, que nous ignorons en précisant `skiprows=1`."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Changement du code* : les données ont été écrites au format csv. Le code vérifie que les données sont toujours présentes et les lit en priorité. Sinon, il va les chercher sur l'URL."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "existe\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "1883"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#raw_data = pd.read_csv(data_url, skiprows=1)\n",
    "#raw_data\n",
    "#raw_data.to_csv('incidence-PAY-3.csv')\n",
    "import os\n",
    "if os.path.isfile('incidence-PAY-3.csv'):\n",
    "    raw_data = pd.read_csv('incidence-PAY-3.csv', skiprows = 1)\n",
    "    print('existe')\n",
    "else:\n",
    "    print(\"n'existe pas\")\n",
    "    raw_data = pd.read_csv(data_url, skiprows = 1)\n",
    "len(raw_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Y a-t-il des points manquants dans ce jeux de données ? Oui, la semaine 19 de l'année 1989 n'a pas de valeurs associées."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>202049</th>\n",
       "      <th>3</th>\n",
       "      <th>13273</th>\n",
       "      <th>10162.0</th>\n",
       "      <th>16384.0</th>\n",
       "      <th>20</th>\n",
       "      <th>15.0</th>\n",
       "      <th>25.0</th>\n",
       "      <th>FR</th>\n",
       "      <th>France</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1646</th>\n",
       "      <td>1647</td>\n",
       "      <td>198919</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>FR</td>\n",
       "      <td>France</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         0  202049  3  13273  10162.0  16384.0  20  15.0  25.0  FR  France\n",
       "1646  1647  198919  3      0      NaN      NaN   0   NaN   NaN  FR  France"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "raw_data[raw_data.isnull().any(axis=1)]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous éliminons ce point, ce qui n'a pas d'impact fort sur notre analyse qui est assez simple."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = raw_data.dropna().copy()\n",
    "data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nos données utilisent une convention inhabituelle: le numéro de\n",
    "semaine est collé à l'année, donnant l'impression qu'il s'agit\n",
    "de nombre entier. C'est comme ça que Pandas les interprète.\n",
    "  \n",
    "Un deuxième problème est que Pandas ne comprend pas les numéros de\n",
    "semaine.  Il faut lui fournir les dates de début et de fin de\n",
    "semaine. Nous utilisons pour cela la bibliothèque `isoweek`.\n",
    "\n",
    "Comme la conversion des semaines est devenu assez complexe, nous\n",
    "écrivons une petite fonction Python pour cela. Ensuite, nous\n",
    "l'appliquons à tous les points de nos donnés. Les résultats vont\n",
    "dans une nouvelle colonne 'period'."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def convert_week(year_and_week_int):\n",
    "    year_and_week_str = str(year_and_week_int)\n",
    "    year = int(year_and_week_str[:4])\n",
    "    week = int(year_and_week_str[4:])\n",
    "    w = isoweek.Week(year, week)\n",
    "    return pd.Period(w.day(0), 'W')\n",
    "\n",
    "data['period'] = [convert_week(yw) for yw in data['week']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Il restent deux petites modifications à faire.\n",
    "\n",
    "Premièrement, nous définissons les périodes d'observation\n",
    "comme nouvel index de notre jeux de données. Ceci en fait\n",
    "une suite chronologique, ce qui sera pratique par la suite.\n",
    "\n",
    "Deuxièmement, nous trions les points par période, dans\n",
    "le sens chronologique."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "sorted_data = data.set_index('period').sort_index()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous vérifions la cohérence des données. Entre la fin d'une période et\n",
    "le début de la période qui suit, la différence temporelle doit être\n",
    "zéro, ou au moins très faible. Nous laissons une \"marge d'erreur\"\n",
    "d'une seconde.\n",
    "\n",
    "Ceci s'avère tout à fait juste sauf pour deux périodes consécutives\n",
    "entre lesquelles il manque une semaine.\n",
    "\n",
    "Nous reconnaissons ces dates: c'est la semaine sans observations\n",
    "que nous avions supprimées !"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "periods = sorted_data.index\n",
    "for p1, p2 in zip(periods[:-1], periods[1:]):\n",
    "    delta = p2.to_timestamp() - p1.end_time\n",
    "    if delta > pd.Timedelta('1s'):\n",
    "        print(p1, p2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Un premier regard sur les données !"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sorted_data['inc'].plot()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Un zoom sur les dernières années montre mieux la situation des pics en hiver. Le creux des incidences se trouve en été."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sorted_data['inc'][-200:].plot()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Etude de l'incidence annuelle"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Etant donné que le pic de l'épidémie se situe en hiver, à cheval\n",
    "entre deux années civiles, nous définissons la période de référence\n",
    "entre deux minima de l'incidence, du 1er août de l'année $N$ au\n",
    "1er août de l'année $N+1$.\n",
    "\n",
    "Notre tâche est un peu compliquée par le fait que l'année ne comporte\n",
    "pas un nombre entier de semaines. Nous modifions donc un peu nos périodes\n",
    "de référence: à la place du 1er août de chaque année, nous utilisons le\n",
    "premier jour de la semaine qui contient le 1er août.\n",
    "\n",
    "Comme l'incidence de syndrome grippal est très faible en été, cette\n",
    "modification ne risque pas de fausser nos conclusions.\n",
    "\n",
    "Encore un petit détail: les données commencent an octobre 1984, ce qui\n",
    "rend la première année incomplète. Nous commençons donc l'analyse en 1985."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "first_august_week = [pd.Period(pd.Timestamp(y, 8, 1), 'W')\n",
    "                     for y in range(1985,\n",
    "                                    sorted_data.index[-1].year)]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En partant de cette liste des semaines qui contiennent un 1er août, nous obtenons nos intervalles d'environ un an comme les périodes entre deux semaines adjacentes dans cette liste. Nous calculons les sommes des incidences hebdomadaires pour toutes ces périodes.\n",
    "\n",
    "Nous vérifions également que ces périodes contiennent entre 51 et 52 semaines, pour nous protéger contre des éventuelles erreurs dans notre code."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "year = []\n",
    "yearly_incidence = []\n",
    "for week1, week2 in zip(first_august_week[:-1],\n",
    "                        first_august_week[1:]):\n",
    "    one_year = sorted_data['inc'][week1:week2-1]\n",
    "    assert abs(len(one_year)-52) < 2\n",
    "    yearly_incidence.append(one_year.sum())\n",
    "    year.append(week2.year)\n",
    "yearly_incidence = pd.Series(data=yearly_incidence, index=year)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Voici les incidences annuelles."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "yearly_incidence.plot(style='*')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Une liste triée permet de plus facilement répérer les valeurs les plus élevées (à la fin)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "yearly_incidence.sort_values()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Enfin, un histogramme montre bien que les épidémies fortes, qui touchent environ 10% de la population\n",
    "  française, sont assez rares: il y en eu trois au cours des 35 dernières années."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "yearly_incidence.hist(xrot=20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}