Modélisation théorique et pratique (cours 3/4) : Tests - interprétation et prédiction

Après avoir vu comment construire un modèle et comment sélectionner un bon modèle, voyons dans cette vidéo comment interpréter les résultats et comment prédire grâce au modèle. Pour savoir comment interpréter les résultats d'un modèle, revenons dans un premier temps sur le codage qui a permis d'estimer les paramètres du modèle et sur les contraintes qui sont utilisées pour les variables qualitatives. Dans le modèle Y= X bêta+ E, La matrice X est la matrice qui contient toutes les valeurs permettant de décrire précisément chaque expérience mais aussi chaque effet qui sera utilisé dans le modèle, c'est-à-dire les interactions si des interactions sont présentes dans le modèle. La matrice X a alors une ligne par individu statistique, une ligne décrit une expérience. Et comme colonnes, la matrice X a les colonnes suivantes: tout d'abord une colonne avec uniquement des 1 qui sert à calculer la constante du modèle, notée mu ou bêta 0. 1 degré de liberté est donc utilisé ici pour estimer la constante. Chaque variable quantitative correspond à une colonne de X et utilise donc 1 degré de liberté pour estimer son paramètre correspondant. Chaque variable qualitative est transformée en autant d'indicatrices qu'elle a de modalités, avec le codage 1 si l'individu prend la modalité et 0 sinon. Cependant, il suffit de connaître I-1 indicatrices pour connaître la dernière. Il suffit donc d'estimer I-1 paramètres à partir des données et donc d'utiliser I-1 degrés de liberté pour estimer tous les coefficients alpha_i. On pose alors une contrainte sur les alpha_i et le mieux est de prendre la contrainte que la somme des alpha_i est égale à 0. Chaque interaction est codée par autant d'indicatrices qu'il y a de paires de modalités. Comme pour une variable qualitative, il n'est pas nécessaire d'avoir toutes les indicatrices et avec seulement indicatrices, et donc avec degrés de liberté, on peut estimer tous les paramètres. Les contraintes sont alors: pour tout i, la somme sur j des alpha bêta ij vaut 0 et pour tout j, la somme sur i des alpha beta ij vaut 0. Une remarque fondamentale et qu'il faut toujours garder en tête au moment où l'on interprète les résultats d'un modèle le choix de la contrainte impacte très fortement l'interprétation. Avec la somme des alpha i égale à 0, interpréter la valeur d'un coefficient alpha i revient à comparer ce qui se passe pour la modalité i par rapport à ce qui se passe en moyenne. Plus précisément, la comparaison se fait par rapport à la moyenne des moyennes par modalité. Un coefficient égal à 0 signifie que les résultats de la modalité ne sont pas différents de l'effet moyen. L'autre contrainte classique possible est de poser alpha_1= 0. Cette contrainte est utilisée par défaut pour certaines fonctions de R, par exemple la fonction lm. Et lors de l'interprétation du coefficient alpha_i, on comparera ce qui se passe pour la modalité i par rapport à ce qui se passe pour la modalité 1 qui est la référence. Cette contrainte est à proscrire quand il y a des interactions car l'interprétation devient très très compliquée. Pour interpréter les résultats du modèle, on va se concentrer sur les résultats obtenus grâce aux sous-modèles après avoir fait la sélection de variables. Ainsi certaines variables ou interactions ont pu être supprimées du modèle. On interprète alors la présence des variables et interactions dans le modèle mais aussi l'absence des effets et interactions qui n'apparaissent plus dans le modèle. Il y a 2 situations qui rendent l'interprétation bien différente. La première situation où les données sont équilibrées est idéale. Les données sont équilibrées si tous les effets sont orthogonaux 2 à 2. L'interprétation est alors facile car tous les effets s'additionnent il n'y a pas de confusion entre les effets. La 2ème situation, quand les données sont déséquilibrées, rend l'interprétation beaucoup plus difficile. C'est parce que l'interprétation est difficile quand les données sont déséquilibrées que, si on le peut, on va chercher à construire des plans d'expériences et donc à récupérer des données telles que celles-ci soient équilibrées. Il y a donc un pan de la statistique appelé planification expérimentale qui qui permet de bien choisir les expériences à réaliser. Lorsque les variables explicatives sont qualitatives, il est relativement facile d'avoir des données équilibrées ou en tout cas peu déséquilibrées. Pour avoir des données équilibrées, il suffit en effet de tester toutes les combinaisons des facteurs un même nombre de fois. En régression ou analyse de covariance, très souvent les données sont déséquilibrées car elles ont été recueillies sans plan d'expériences. Dans notre exemple sur l'ozone, les températures et les nébuleosités ont été recueillies et il y a des corrélations qui existent entre ces variables explicatives, ce qui conduit à des données déséquilibrées. Quand les données sont équilibrées et dans le cadre de l'analyse de variance, c'est-à-dire quand toutes les variables sont qualitatives, on peut décomposer la variabilité de la réponse Y en plusieurs termes: la variabilité de Y qui est donc la variance de Y multipliée par n- 1, est égale à la somme de 4 variabilités: la variabilité liée au premier facteur, donc liée au fait que la moyenne des Y pour chaque modalité i n'est pas la même pour tout i, la variabilité du 2ème facteur, la variabilité liée à l'interaction qui est ce terme, et enfin la variabilité résiduelle. Et si les données sont équilibrées, on estime très facilement chaque paramètre du modèle. L'effet moyen mu est estimé par la moyenne des données. L'effet de la modalité i du premier facteur est simplement l'écart entre la moyenne des valeurs pour la modalité i et la moyenne générale. C'est très intuitif tout ça. De même, l'effet bêta_j s'estime par la différence entre la moyenne des valeurs prises pour la modalité j et la moyenne générale. Pour l'interaction, on peut voir ce terme comme Yij. moins Yi.. moins entre parenthèses Y.j. moins Y.. Le premier terme Yij. moins Yi.. revient à calculer l'effet de la modalité j en se restreignant uniquement aux individus qui prennent la modalité i pour le premier facteur. Donc on voit l'effet de j pour uniquement les individus qui prennent la modalité i sur le premier facteur. Quant au terme Y.j.- Y... il correspond à l'effet de la modalité j, c'est-à-dire à notre bêta chapeau j. Cette variabilité de l'interaction revient donc à comparer l'effet spécifique de la modalité j quand le premier facteur prend la modalité i par rapport à l'effet moyen de la modalité j. Enfin, le dernier terme correspond au résidu du modèle et donc à l'écart entre la valeur observée et la valeur prédite par le modèle. Cette écriture montre que les effets de chaque variable et de l'interaction s'interprètent facilement quand les données sont équilibrées car on compare simplement des moyennes. Si les données sont déséquilibrées, on n'a plus égalité entre alpha_i chapeau et la différence des moyennes. Et de même pour tous les autres coefficients du modèle. L'interprétation devient plus difficile et on ne peut estimer les paramètres du modèle qu'avec la formule matricielle X'X-1 X'Y. Quand les données sont déséquilibrées, les problèmes d'interprétation commencent et la difficulté d'interprétation augmente avec le déséquilibre dans les données. Si les données sont trop déséquilibrées, il sera impossible de distinguer quel effet ou variable explique la variabilité de Y. On parle de confusion ou d'alias en anglais. Donnons un exemple de confusion. Si par exemple sur les données ozone, tous les jours où la température à 9 heures est basse, le vent vient du nord et tous les jours où la température est haute, le vent vient du sud. Si le maximum d'ozone est plus élevé, comment savoir si c'est parce que les températures sont élevées ou parce que le vent vient du sud? Il y a une confusion entre température élevée et vent du sud. Et il sera impossible de savoir ce qui fait varier le maximum d'ozone: est-ce le vent ou la température élevée? Le modèle retiendra peut-être une seule des 2 variables lors de l'étape de sélection de variables mais lors de l'interprétation il faudra avoir en tête que l'effet sur le maximum d'ozone peut être dû aux 2 variables. Avec des données déséquilibrées, la somme des variabilités expliquées par chacun des effets n'est pas égale à la variabilité totale quand on comptabilise uniquement la variabilité expliquée exclusivement par chaque variable. Quand les variables explicatives sont très liées, c'est-à-dire très corrélées pour les variables quantitatives, l'interprétation est très difficile. En général, la sélection de variables évite de mauvaises interprétations qui sont possibles comme un signe du coefficient de régression différent du signe du coefficient de corrélation entre la variable explicative et la réponse. Cependant, l'effet d'une variable explicative peut cacher l'effet d'autres variables non sélectionnées dans le modèle. On peut construire le test de significativité d'une variable qualitative, mais ce test est juste un cas particulier du test général présenté à la diapositive 15. La question est de savoir si une variable a un effet sur la variable réponse. L'hypothèse H0 est que, quelle que soit la modalité du facteur d'intérêt, les valeurs de Y ne sont pas significativement différentes contre il y a au moins une modalité pour laquelle les individus prennent en moyenne des valeurs significativement différentes. Mathématiquement, on teste donc H0: tous les coefficients alpha_i sont égaux à 0 contre H1: il y a au moins une modalité i pour laquelle le coefficient alpha_i est différent de 0 et donc les valeurs de Y sont en moyenne significativement différentes. La statistique de test est le ratio entre la variabilité expliquée par le facteur que l'on teste divisée par les degrés de ce facteur sur la variabilité de la résiduelle divisée par les degrés de liberté de la résiduelle. La variabilité résiduelle sert alors de valeur de comparaison pour voir si la variabilité du facteur d'intérêt est grande ou petite. Si la variabilité du facteur est du même ordre de grandeur que la variabilité résiduelle, Cela signifie que le facteur explique autant de variabilité que la résiduelle, c'est-à-dire autant de variabilité que ce que l'on n'arrive pas à expliquer. Si au contraire la variabilité du facteur testé est significativement plus grande que la variabilité résiduelle, alors on va dire qu'il y a un effet significatif du facteur. Si l'hypothèse H0 est vérifiée, cette statistique F obs suit une loi de Fisher avec les degrés de liberté du numérateur et les degrés de liberté du dénominateur. Et donc grâce à la p-value associée, qui est donnée par tout bon logiciel, on peut prendre une décision entre les 2 hypothèses H0 et H1. Si on veut tester une interaction, on construit exactement le même type de test. L'hypothèse H0 est que tous les coefficients d'interaction sont nuls contre l'alternative il y a au moins un couple ij tel que le coefficient soit différent de 0. Là encore on a une statistique de test qui va comparer la variabilité de l'interaction avec la variabilité résiduelle et, sous l'hypothèse H0, la statistique de test suit une loi de Fisher avec les degrés de liberté de l'interaction et les degrés de liberté de la résiduelle. Si maintenant on rejette l'hypothèse H0 et que l'on considère qu'il y a un effet du facteur A et donc qu'il y a au moins un coefficient alpha_i qui est différent de 0, alors on a envie de savoir quel coefficient alpha_i est différent de 0 Ou plutôt quels sont les coefficients alpha_i qui sont différents de 0. On va donc construire autant de tests qu'il y a de modalités pour le facteur A, donc I tests. Et on va tester si le coefficient alpha_1 par exemple est différent de 0 ou non, ce qui revient à tester si la modalité 1 donne des résultats égaux ou significativement différents de la moyenne. L'hypothèse H0 est alpha_1= 0. Et H1: alpha 1 différent de 0. La statistique de test t obs est une statistique de Student qui, sous l'hypothèse H0, suit une loi de Student avec les degrés de liberté de la résiduelle. On utilisera la p-value pour prendre la décision sur le test. Remarquons que pour les variables quantitatives, tester si la variable a un effet linéaire significatif revient à tester si le coefficient associé à la variable est égal à 0, ce qu'il est possible de faire avec ce test. Une autre façon d'aller plus dans le détail une fois que l'on a rejeté l'hypothèse H0 du test global d'un effet, donc une fois que l'on a affirmé qu'il y a un effet du facteur A, consiste à comparer les moyennes de Y pour différentes modalités du facteur A. Plus exactement, on va comparer les moyennes ajustées. Les moyennes ajustées utilisent les résultats du modèle et sont simplement les mu chapeau plus alpha_i chapeau. Utiliser les moyennes ajustées permet de s'affranchir de l'effet des autres variables, comme si pour les autres variables on travaillait avec une modélité moyenne. Concrètement, si les données sont équilibrées, cela ne change rien car la moyenne et la moyenne ajustée sont égales. Mais si les données sont déséquilibrées, travailler sur les moyennes ajustées neutralise l'effet des autres variables. On peut alors comparer les modalités 2 à 2 et construire des tests de comparaison par paires. Comme on construit beaucoup de tests, on va utiliser une correction des tests comme la correction de Bonferroni. Cela évite de rejeter à tort une hypothèse H0 quand on fait de nombreux tests. La fonction mincomp de FactoMineR permet de construire ces tests de comparaison. On peut donner un exemple avec des données où la saveur sucrée est évaluée pour 6 chocolats par 21 juges. On construit le modèle avec la fonction linear_model de FactoMineR et on précise que la variable sucrée est expliquée en fonction d'un effet chocolat, d'un effet juge et de l'interaction chocolat-juge. Ensuite on va comparer les moyennes ajustées des chocolats grâce à la fonction meanscomp et la correction de Bonferroni. La fonction meanscomp retourne d'abord un tableau avec toutes les moyennes ajustées et leur intervalle de confiance. Ensuite, la fonction classe les chocolats par moyennes croissantes et indique avec des lettres quelles sont les moyennes qui sont égales, plus exactement non significativement différentes. Par exemple, le chocolat 1 est dans le groupe A et c'est le seul à être dans le groupe A. Il est donc significativement différent de tous les autres chocolats. Le chocolat 4 est dans le groupe B, il n'est donc pas significativement différent des chocolats 2 et 5 qui sont aussi dans le groupe B. Les chocolats 1, 6 et 3 n'étant pas dans le groupe B, le chocolat 4 est significativement différent de ces chocolats. Quant au chocolat 5, il est dans le groupe B, donc pas significativement différent des chocolats 4 et 2, Et il est aussi dans le groupe C et donc pas significativement différent du chocolat 6. On voit qu'ici certains chocolats peuvent être non significativement différents de 2 chocolats qui sont eux significativement différents. Ceci s'explique par le fait que le chocolat 5 a une moyenne ajustée de 5.22 qui est entre les moyennes ajustées des chocolats 2 et 6, respectivement 4.62 et 5.62. Par contre, les chocolats 2 et 6 ont des moyennes ajustées significativement différentes. L'écart entre 4.62 et 5.62 est significatif. La figure fournie par Minscomp résume toutes ces informations. En abscisse, vous avez les moyennes ajustées, en ordonnée le chocolat. Et les chocolats sont triés par moyenne ajustée croissante. Le point donne la moyenne ajustée et la barre l'intervalle de confiance. À côté de la barre, on peut lire les lettres des groupes auxquels appartient chaque chocolat. Un des objectifs de la modélisation est de prédire les valeurs de la variable réponse pour de nouvelles valeurs des variables explicatives. Dans notre exemple, ce serait par exemple de prédire le maximum d'ozone à partir de nouvelles données de température, vitesse de vent et nébulosité. Évidemment, cela nécessite de connaître les températures, vitesses de vent et nébulosités, ce qui n'est pas simple ou plutôt qui est connue une fois la journée passée et donc une fois le pic du maximum d'ozone passé. On peut cependant utiliser les données de prévision météo comme entrée ou encore on peut utiliser le modèle pour prédire la concentration du maximum d'ozone dans des situations d'augmentation des températures par exemple. Pour la prédiction, on va simplement utiliser les coefficients du modèle que l'on a estimés. Bien sûr, on utilise le modèle sans ajouter de résidus Car la prédiction ne contient pas de résidu. Le résidu serait l'écart entre la prévision du modèle et la valeur observée. Donc dans le listing, on récupère sur la première colonne les estimations des coefficients et on multiplie par les valeurs des variables explicatives en utilisant simplement l'équation 12.63, la constante,+ 2.764 fois la la valeur pour la température à 12 heures moins 2.51 fois la nébulosité à 9 heures plus 1.29 fois la vitesse du vent à 9 heures plus 0.35 fois le maximum d'ozone de la veille. Ceci est tout à fait intuitif. Sur ordinateur, c'est un peu moins intuitif car il faut saisir les nouvelles données dans un data frame puis utiliser la fonction predict sur l'objet résultat de notre modèle, donc l'objet qui contient les coefficients. Ensuite, on donne le nom du dataframe, ici X_new, qui contient les nouvelles valeurs. Et on peut préciser soit qu'on veut un intervalle de confiance de la prédiction avec pred, soit un intervalle de confiance de la moyenne avec confidence. L'intervalle de confiance de la moyenne est d'amplitude plus faible car il donne l'intervalle de confiance d'une moyenne des prédictions pour les valeurs X_new tandis que pred donne l'intervalle pour une prédiction et donc pour un jour donné. Dans cet intervalle, il y a l'incertitude journalière qui augmente sensiblement l'amplitude de l'intervalle de confiance. Un petit commentaire sur les hypothèses qui sont posées et que l'on peut vérifier lorsque l'on construit un modèle. Notez bien que ces hypothèses concernent les résidus du modèle et donc qu'il faut avoir construit le modèle et calculé les résidus pour savoir si on a le droit de construire le modèle. C'est un peu paradoxal de construire le modèle d'abord pour savoir si on a le droit de le construire. La première hypothèse est l'égalité de la variance des résidus. On parle de l'homoscédasticité des résidus. Cette hypothèse est importante et il ne faut pas que la variance des résidus soit grande pour certaines modalités d'une variable qualitative et petite pour d'autres. Ou alors que la variance des résidus soit petite pour les résidus correspondant à certaines valeurs d'une variable quantitative les petites valeurs par exemple d'une variable quantitative, et que la variance des résidus soit grande pour les grandes valeurs de la variable quantitative. On peut tester l'égalité de variance grâce à un test de Bartlett. Une autre hypothèse, beaucoup moins importante à tester, est la normalité des résidus. En fait, cette hypothèse n'est pas importante car il suffit que la distribution des résidus soit à peu près symétrique pour que les tests ne soient pas problématiques. En fait, il faut surtout éviter ici des distributions de résidus très dissymétriques du type lognormale avec un pic en 0 par exemple. On testera la normalité des résidus grâce à la fonction Shapiro.test. J'insiste, c'est sur les résidus que l'on fait ces tests. Nous verrons dans la prochaine vidéo une interprétation plus en détail du jeu de données ozone.