{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Analyse du risque de défaillance des joints toriques de la navette Challenger" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Le 27 Janvier 1986, veille du décollage de la navette *Challenger*, eu\n", "lieu une télé-conférence de trois heures entre les ingénieurs de la\n", "Morton Thiokol (constructeur d'un des moteurs) et de la NASA. La\n", "discussion portait principalement sur les conséquences de la\n", "température prévue au moment du décollage de 31°F (juste en dessous de\n", "0°C) sur le succès du vol et en particulier sur la performance des\n", "joints toriques utilisés dans les moteurs. En effet, aucun test\n", "n'avait été effectué à cette température.\n", "\n", "L'étude qui suit reprend donc une partie des analyses effectuées cette\n", "nuit là et dont l'objectif était d'évaluer l'influence potentielle de\n", "la température et de la pression à laquelle sont soumis les joints\n", "toriques sur leur probabilité de dysfonctionnement. Pour cela, nous\n", "disposons des résultats des expériences réalisées par les ingénieurs\n", "de la NASA durant les 6 années précédant le lancement de la navette\n", "Challenger.\n", "\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Chargement des données\n", "Nous commençons donc par charger ces données:" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
DateCountTemperaturePressureMalfunction
04/12/81666500
111/12/81670501
23/22/82669500
311/11/82668500
44/04/83667500
56/18/82672500
68/30/836731000
711/28/836701000
82/03/846572001
94/06/846632001
108/30/846702001
1110/05/846782000
1211/08/846672000
131/24/856532002
144/12/856672000
154/29/856752000
166/17/856702000
177/29/856812000
188/27/856762000
1910/03/856792000
2010/30/856752002
2111/26/856762000
221/12/866582001
\n", "
" ], "text/plain": [ " Date Count Temperature Pressure Malfunction\n", "0 4/12/81 6 66 50 0\n", "1 11/12/81 6 70 50 1\n", "2 3/22/82 6 69 50 0\n", "3 11/11/82 6 68 50 0\n", "4 4/04/83 6 67 50 0\n", "5 6/18/82 6 72 50 0\n", "6 8/30/83 6 73 100 0\n", "7 11/28/83 6 70 100 0\n", "8 2/03/84 6 57 200 1\n", "9 4/06/84 6 63 200 1\n", "10 8/30/84 6 70 200 1\n", "11 10/05/84 6 78 200 0\n", "12 11/08/84 6 67 200 0\n", "13 1/24/85 6 53 200 2\n", "14 4/12/85 6 67 200 0\n", "15 4/29/85 6 75 200 0\n", "16 6/17/85 6 70 200 0\n", "17 7/29/85 6 81 200 0\n", "18 8/27/85 6 76 200 0\n", "19 10/03/85 6 79 200 0\n", "20 10/30/85 6 75 200 2\n", "21 11/26/85 6 76 200 0\n", "22 1/12/86 6 58 200 1" ] }, "execution_count": 1, "metadata": {}, "output_type": "execute_result" } ], "source": [ "import numpy as np\n", "import pandas as pd\n", "data = pd.read_csv(\"shuttle.csv\")\n", "data" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Le jeu de données nous indique la date de l'essai, le nombre de joints\n", "toriques mesurés (il y en a 6 sur le lançeur principal), la\n", "température (en Farenheit) et la pression (en psi), et enfin le\n", "nombre de dysfonctionnements relevés. " ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Inspection graphique des données\n", "Les vols où aucun incident n'est relevé n'apportant aucun information\n", "sur l'influence de la température ou de la pression sur les\n", "dysfonctionnements, nous nous concentrons sur les expériences où au\n", "moins un joint a été défectueux.\n" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
DateCountTemperaturePressureMalfunction
111/12/81670501
82/03/846572001
94/06/846632001
108/30/846702001
131/24/856532002
2010/30/856752002
221/12/866582001
\n", "
" ], "text/plain": [ " Date Count Temperature Pressure Malfunction\n", "1 11/12/81 6 70 50 1\n", "8 2/03/84 6 57 200 1\n", "9 4/06/84 6 63 200 1\n", "10 8/30/84 6 70 200 1\n", "13 1/24/85 6 53 200 2\n", "20 10/30/85 6 75 200 2\n", "22 1/12/86 6 58 200 1" ] }, "execution_count": 2, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data = data[data.Malfunction>0]\n", "data" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Très bien, nous avons une variabilité de température importante mais\n", "la pression est quasiment toujours égale à 200, ce qui devrait\n", "simplifier l'analyse.\n", "\n", "Comment la fréquence d'échecs varie-t-elle avec la température ?\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "pd.set_option('mode.chained_assignment',None) # this removes a useless warning from pandas\n", "import matplotlib.pyplot as plt\n", "\n", "data[\"Frequency\"]=data.Malfunction/data.Count\n", "data.plot(x=\"Temperature\",y=\"Frequency\",kind=\"scatter\",ylim=[0,1])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "À première vue, ce n'est pas flagrant mais bon, essayons quand même\n", "d'estimer l'impact de la température $t$ sur la probabilité de\n", "dysfonctionnements d'un joint. \n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Estimation de l'influence de la température\n", "\n", "Supposons que chacun des 6 joints toriques est endommagé avec la même\n", "probabilité et indépendamment des autres et que cette probabilité ne\n", "dépend que de la température. Si on note $p(t)$ cette probabilité, le\n", "nombre de joints $D$ dysfonctionnant lorsque l'on effectue le vol à\n", "température $t$ suit une loi binomiale de paramètre $n=6$ et\n", "$p=p(t)$. Pour relier $p(t)$ à $t$, on va donc effectuer une\n", "régression logistique." ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "import statsmodels.api as sm\n", "\n", "data[\"Success\"]=data.Count-data.Malfunction\n", "data[\"Intercept\"]=1\n", "\n", "logmodel=sm.GLM(data['Frequency'], data[['Intercept','Temperature']], family=sm.families.Binomial(sm.families.links.logit)).fit()\n", "\n", "logmodel.summary()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "L'estimateur le plus probable du paramètre de température est 0.0014\n", "et l'erreur standard de cet estimateur est de 0.122, autrement dit on\n", "ne peut pas distinguer d'impact particulier et il faut prendre nos\n", "estimations avec des pincettes.\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Estimation de la probabilité de dysfonctionnant des joints toriques\n", "La température prévue le jour du décollage est de 31°F. Essayons\n", "d'estimer la probabilité de dysfonctionnement des joints toriques à\n", "cette température à partir du modèle que nous venons de construire:\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "data_pred = pd.DataFrame({'Temperature': np.linspace(start=30, stop=90, num=121), 'Intercept': 1})\n", "data_pred['Frequency'] = logmodel.predict(data_pred[['Intercept','Temperature']])\n", "data_pred.plot(x=\"Temperature\",y=\"Frequency\",kind=\"line\",ylim=[0,1])\n", "plt.scatter(x=data[\"Temperature\"],y=data[\"Frequency\"])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": { "hideCode": false, "hidePrompt": false, "scrolled": true }, "source": [ "Comme on pouvait s'attendre au vu des données initiales, la\n", "température n'a pas d'impact notable sur la probabilité d'échec des\n", "joints toriques. Elle sera d'environ 0.2, comme dans les essais\n", "précédents où nous il y a eu défaillance d'au moins un joint. Revenons\n", "à l'ensemble des données initiales pour estimer la probabilité de\n", "défaillance d'un joint:\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "data = pd.read_csv(\"shuttle.csv\")\n", "print(np.sum(data.Malfunction)/np.sum(data.Count))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Cette probabilité est donc d'environ $p=0.065$, sachant qu'il existe\n", "un joint primaire un joint secondaire sur chacune des trois parties du\n", "lançeur, la probabilité de défaillance des deux joints d'un lançeur\n", "est de $p^2 \\approx 0.00425$. La probabilité de défaillance d'un des\n", "lançeur est donc de $1-(1-p^2)^3 \\approx 1.2%$. Ça serait vraiment\n", "pas de chance... Tout est sous contrôle, le décollage peut donc avoir\n", "lieu demain comme prévu.\n", "\n", "Seulement, le lendemain, la navette Challenger explosera et emportera\n", "avec elle ses sept membres d'équipages. L'opinion publique est\n", "fortement touchée et lors de l'enquête qui suivra, la fiabilité des\n", "joints toriques sera directement mise en cause. Au delà des problèmes\n", "de communication interne à la NASA qui sont pour beaucoup dans ce\n", "fiasco, l'analyse précédente comporte (au moins) un petit\n", "problème... Saurez-vous le trouver ? Vous êtes libre de modifier cette\n", "analyse et de regarder ce jeu de données sous tous les angles afin\n", "d'expliquer ce qui ne va pas." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Mon analyse\n", "\n", "Dans un premier temps je tique sur le fait que l'on ait retiré les données sans disfonctionnement.\n", "Deuxième remarque : l'expemple donné en aide traite de données binaires : malade / pas malade mais ici on a défaillant / 1 défaillance / 2 défaillances donc il y a sûrement un problème avec ça.\n", "\n", "### Inspection graphique des données" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "\n", "data = pd.read_csv(\"shuttle.csv\")\n", "data[\"Frequency\"]=data.Malfunction/data.Count\n", "data.plot(x=\"Temperature\",y=\"Frequency\",kind=\"scatter\",ylim=[0,1])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Déjà on voit que __tous les tests en dessous de 65°F ont donné lieu à des dysfonctionnements__" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Aussi, je veux voir un graph avec seulement les pressions de 200" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "datap = data[data.Pressure > 150]\n", "datap" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "\n", "datap[\"Frequency\"]=datap.Malfunction/datap.Count\n", "datap.plot(x=\"Temperature\",y=\"Frequency\",kind=\"scatter\",ylim=[0,1])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Estimation de l'influence de la tempéraure" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Avec le jeu complet de données" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "data[\"Success\"]=data.Count-data.Malfunction\n", "data[\"Intercept\"]=1\n", "\n", "logmodel=sm.GLM(data['Frequency'], data[['Intercept','Temperature']], family=sm.families.Binomial(sm.families.links.logit)).fit()\n", "\n", "logmodel.summary()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Avec seulement les données P = 200" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "datap[\"Success\"]=datap.Count-datap.Malfunction\n", "datap[\"Intercept\"]=1\n", "\n", "logmodel=sm.GLM(datap['Frequency'], datap[['Intercept','Temperature']], family=sm.families.Binomial(sm.families.links.logit)).fit()\n", "\n", "logmodel.summary()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "L'influence de la température est plus claire que dans le calcul initial : coef -0.1156 (std err 0.115) et -0.099 (std err 0.110)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Estimation de la probabilité de dysfonctionnant des joints toriques" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Avec le jeu complet de données" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "data_pred = pd.DataFrame({'Temperature': np.linspace(start=30, stop=90, num=121), 'Intercept': 1})\n", "data_pred['Frequency'] = logmodel.predict(data_pred[['Intercept','Temperature']])\n", "data_pred.plot(x=\"Temperature\",y=\"Frequency\",kind=\"line\",ylim=[0,1])\n", "plt.scatter(x=data[\"Temperature\"],y=data[\"Frequency\"])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "On voit que la fréquence des défaillances sur un joint augmente lorsque la température diminue. Elle est de $\\approx0.8$ à 31°F" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Avec seulement les données P=200" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "datap_pred = pd.DataFrame({'Temperature': np.linspace(start=30, stop=90, num=121), 'Intercept': 1})\n", "datap_pred['Frequency'] = logmodel.predict(datap_pred[['Intercept','Temperature']])\n", "datap_pred.plot(x=\"Temperature\",y=\"Frequency\",kind=\"line\",ylim=[0,1])\n", "plt.scatter(x=datap[\"Temperature\"],y=datap[\"Frequency\"])\n", "plt.grid(True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Même résultat avec seulement les données P=200" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "__Conclusion :__ Je pense que les données où il n'y a pas eu de défaillance ont été écartées alors qu'elles auraient du être prises en compte.\n", "Il faudrait ajouter l'incertitude autour des courbes mais je n'ai pas compris comment le faire (le code en exemple est en R et je ne vois pas la commande qui affiche l'incertitude)." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Evaluation de l'influence de la pression" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "data[\"Success\"]=data.Count-data.Malfunction\n", "data[\"Intercept\"]=1\n", "\n", "logmodel=sm.GLM(data['Frequency'], data[['Intercept','Pressure']], family=sm.families.Binomial(sm.families.links.logit)).fit()\n", "\n", "logmodel.summary()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Je n'ai pas très bien compris comment interpréter ce tableau mais je pense que la pression peut aussi avoir un impact sur le probabilité de défaillance" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "celltoolbar": "Hide code", "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.4" } }, "nbformat": 4, "nbformat_minor": 2 }