Cours de modélisation (théorie et pratique, cours complet)

Cette leçon vidéo présente, de façon exhaustive, le processus de modélisation statistique appliqué à un problème de prévision du maximum quotidien d'ozone à Rennes. Le cours débute par une définition générale de la modélisation (compréhension et prévision) illustrée par des exemples concrets (temps de trajet, prix d’un appartement, production de biogaz, etc.). Il décrit ensuite l’importation et la visualisation des données en R (read.table, ggplot2, dplyr) pour détecter les valeurs aberrantes et explorer les relations entre la variable réponse (maximum d’ozone) et les variables explicatives (températures, nébulosité, vitesse et direction du vent, pluviométrie, maximum d’ozone du jour précédent). Le cœur du cours porte sur les différents types de modèles linéaires : régression linéaire simple et multiple pour des variables quantitatives, analyse de variance (ANOVA) pour des facteurs qualitatifs, analyse de covariance pour des mélanges de variables, et les effets d’interaction (quantitatif × qualitatif, qualitatif × qualitatif). Le formalisme matriciel (Y = Xβ + ε) et l’estimation par moindres carrés sont détaillés, ainsi que les hypothèses classiques sur les résidus (moyenne nulle, homoscédasticité, indépendance). Le cours explique comment mesurer la qualité d’ajustement (R², décomposition de la variance) et comment tester la significativité globale (test F) et individuelle (test t) des coefficients. Il décrit les stratégies de sélection de modèles (critères AIC, BIC, p‑value du R², méthodes descendante, ascendante et stepwise) et montre comment réduire le nombre de paramètres tout en conservant la capacité prédictive. Les notions d’équilibrage des plans d’expérience, d’aliasing et de multicolinéarité sont abordées, ainsi que les contraintes de codage des facteurs (somme à zéro vs référence). Le cours se conclut par la prédiction avec le modèle final (fonction predict), la distinction entre intervalles de confiance et de prédiction, et les diagnostics de résidus (tests de Bartlett, Shapiro). L’ensemble constitue un guide complet, du choix des variables à l’interprétation des coefficients, en passant par la validation statistique et la mise en pratique sous R.
Bonjour.
Ce cours de modélisation se divise en 2 parties. Dans une première partie, nous allons voir comment construire et sélectionner un modèle. Dans une seconde partie, nous verrons comment interpréter les résultats d'un modèle et comment utiliser un modèle pour faire de la prévision. Mais tout d'abord, qu'est-ce que la modélisation? On peut résumer succinctement en disant que modéliser, c'est d'une part comprendre et d'autre part prévoir. Et qui a déjà fait de la modélisation? À mon avis, chacun de nous, et même en construisant des modèles complexes, mais le plus souvent sans le savoir. En effet, on va prévoir un temps de trajet en fonction du jour de la semaine, de l'heure de départ, du fait qu'il pleuve ou non, que c'est un jour de départ en vacances, etc. On peut aussi chercher à estimer le temps d'attente à un guichet en fonction du nombre de personnes, du nombre de guichets ouverts, du temps mis par la première personne qu'on a vue au guichet, etc. On peut estimer le prix de location d'un appartement en fonction de sa superficie, du nombre de chambres, de sa localisation, de son exposition, de la présence d'espaces verts et d'autres critères qui conduisent à déterminer le prix d'un appartement. Dans ces 3 premiers exemples, on cherche à estimer une variable quantitative. On peut aussi chercher à prévoir une variable qualitative comme lorsqu'on décide comment s'habiller le matin en prenant ou pas un vêtement de pluie. Pour prédire, on utilise là encore des informations comme la pluviométrie des jours précédents, la présence de nuages dans le ciel, la présence de vent, etc. Cette fois, la variable va-t-il pleuvoir que l'on cherche à prédire est qualitative puisque 2 réponses sont possibles: il pleut ou il ne pleut pas. Ce type de modélisation ne sera pas abordé dans ce cours même si beaucoup d'idées peuvent être reprises puisqu'on essaie de comprendre l'effet de plusieurs variables, sur une variable réponse, mais ici la variable réponse est qualitative. Et comment faites-vous pour prévoir? Vous listez toutes les variables qui potentiellement peuvent influer sur la variable réponse, c'est-à-dire la variable que vous cherchez à comprendre. Une fois que vous avez l'ensemble des variables, vous ignorez les variables qui sont négligeables et qui n'aident pas à mieux prévoir votre réponse. Et vous essayez ensuite de quantifier au mieux l'effet des variables restantes qui ont été sélectionnées. Et alors, est-ce que cette stratégie est bien raisonnable? Eh bien, en fait, oui, tout à fait. Et c'est exactement la démarche que l'on va adopter en modélisation. Mais alors, on peut se demander à quoi servent les statistiques? Eh bien, elles servent à faire cela avec rigueur, pour comprendre et prédire des variables qui mesurent des phénomènes parfois beaucoup plus complexes, mais l'idée de cette démarche est à garder pour la modélisation. Voici quelques exemples de modèles en agronomie ou alimentation, mais on trouve de tels modèles dans de très nombreux domaines comme l'économie, la démographie, la climatologie, etc. Le premier exemple: on cherche à prédire le temps de cuisson idéal en fonction de la composition et du poids d'un aliment, de la température du four, de l'humidité de l'air, etc. Deuxième exemple: on veut prévoir la production de biogaz en fonction de la quantité de déchets agricoles ou alimentaires, des résidus de culture, d'ordures ménagères, etc. Troisième exemple: on veut prévoir la production électrique d'une éolienne en fonction de la vitesse du vent à 10 m, de la vitesse du vent à 80 m, de la température à 2 m, de la pression atmosphérique, de l'humidité relative à 2 m, de la direction du vent. Et dernier exemple: on veut optimiser le couple durée-température pour maximiser un rendement. On va alors construire un modèle du rendement en fonction du temps et de la température et une fois le modèle connu, on pourra prédire le rendement pour n'importe quel couple et ensuite choisir le couple qui optimise le rendement. Dans tous ces exemples de modélisation, les objectifs sont de comprendre quelles variables influent sur une variable réponse quantitative et également de prévoir les valeurs de la variable réponse pour de nouvelles conditions. Nous allons illustrer ce cours avec un exemple sur la prévision de la qualité de l'air. Plus précisément, nous allons chercher à prédire le maximum d'ozone atteint lors d'une journée, et ce en fonction de diverses variables météorologiques comme la température à 9 heures, à 12 heures, à 15 heures, la nébulosité à 9 heures, 12 heures et 15 heures, la vitesse du vent calculée sur un axe ouest-est. Si le vent vient de l'ouest, la valeur sera négative. Si le vent vient de l'est, la valeur sera positive. Toujours mesurées à 9h, 12h et 15h, la valeur du maximum d'ozone de la veille, la direction du vent avec 4 modalités possibles: nord, est, sud et ouest, ou la pluviométrie considérée comme une variable qualitative à 2 modalités: temps sec ou temps pluvieux. L'objectif de cette étude est alors de construire un modèle pour comprendre d'une part ce qui peut influer sur le maximum d'ozone et ensuite de construire un modèle qui permettra de prédire le maximum d'ozone pour de nouvelles données météo. Les lignes du jeu de données correspondent à des jours de mesure, à partir du 1er juin 2001, et nous avons 112 relevés et ces données ont été relevées à Rennes. Les données sont présentes dans ce fichier disponible sur internet. On peut importer le fichier dans le logiciel R en utilisant la fonction read.table en précisant le lien vers le fichier, que la première ligne du jeu de données contient le nom des variables avec header= TRUE. Et en précisant que les variables textuelles sont en réalité des facteurs, c'est-à-dire des variables qualitatives grâce à l'argument stringAsFactor= TRUE. Avant de se lancer dans la modélisation, il est toujours indispensable de visualiser les données. Visualiser les données permet d'une part de s'assurer que nous n'avons pas de données aberrantes et d'autre part ça permet d'avoir une idée des liaisons entre les variables et notamment entre la variable réponse et les autres variables. Ce graphique représente le maximum d'ozone en fonction de la température à 9 heures. Il permet de voir par exemple si la liaison est plutôt linéaire, c'est-à-dire si les points sont plus ou moins autour d'une droite, ou si la liaison n'est pas linéaire, par exemple une liaison quadratique ou exponentielle, ou encore s'il n'y a pas de liaison entre ces 2 variables. Évidemment, si on visualise une liaison plutôt quadratique, on ne pourra pas bien prédire avec des effets linéaires uniquement. Les lignes du code à côté du graphe permettent de reproduire ce graphique. On utilise le package ggplot2 pour construire le graphique et donc la fonction ggplot appliquée sur le jeu de données ozone. Ensuite, on précise grâce à la fonction aes la variable qui sera sur l'axe des x, ici T9, et celle sur l'axe des y, ici le maximum d'ozone. geom_point permet de dire qu'on veut dessiner les points. Et geom_smooth qu'on veut dessiner une courbe et ici comme method= lm on dessine une droite. lm veut dire linear model. Et se= FALSE indique qu'on ne dessine pas la zone de confiance autour de la droite. Et enfin ggtitle permet de préciser le titre du graphique. Il est possible d'écrire un modèle de régression simple entre le maximum d'ozone et la température à 9 heures. Plusieurs écritures sont possibles, mais en toute rigueur, on écrit Yi= bêta 0+ bêta 1 Xi+ epsilon i. L'indice i correspond au numéro de l'individu statistique. Dans notre exemple, Yi sera le maximum d'ozone le jour i. Et on écrit que cette valeur est égale à une constante bêta 0 plus bêta 1 fois la température à 9 heures ce même jour i. Et plus un résidu epsilon_i. On considère alors que la relation est la même pour tous les individus avec les mêmes bêta_0 et bêta_1. Des hypothèses sont faites sur les résidus et ce sont les hypothèses classiques en statistiques, à savoir que les résidus ont une espérance nulle, ils ont tous la même variance sigma carré et ils sont indépendants 2 à 2. Pour généraliser ce modèle qui n'a qu'une seule variable explicative en un modèle de régression avec plusieurs variables explicatives, on va simplement étendre l'écriture en ajoutant les effets de variables W, Z, etc. Chaque variable est multipliée par un nouveau coefficient bêta. On aura donc bêta 0 plus bêta 1 Xi plus bêta 2 Wi plus etc.
plus bêta P.
Zi, et on ajoute toujours à la fin un résidu epsilon_i. En effet, même si on ajoute beaucoup de variables, il reste un epsilon_i, c'est-à-dire une part de variabilité que l'on n'explique pas. Si le nombre de variables est grand, on va plutôt écrire les variables X en les numérotant xi_1, qui sera la ième valeur de la variable explicative X_1, Xi_2 la ième valeur de la variable explicative X_2, etc., jusqu'à Xi_p la ième valeur de la variable explicative X_p. Pour les résidus epsilon_i, les hypothèses sont à nouveau les hypothèses usuelles, à savoir qu'ils ont une espérance nulle, la même variance sigma carré et sont indépendants 2 à 2. Voilà comment les effets des variables explicatives quantitatives seront pris en compte dans le modèle. Si on s'intéresse maintenant à la liaison entre une variable quantitative, toujours le maximum d'ozone, et cette fois une variable qualitative comme la direction du vent, on représentera les données avec une boîte à moustache pour chaque modalité de la variable qualitative. Ce graphe permet à nouveau de repérer d'éventuelles données aberrantes et donne une idée des différences de distribution qu'il peut y avoir pour la variable réponse lorsque les données proviennent de différentes modalités pour la variable qualitative. Là encore, on utilise le package ggplot2 et la fonction ggplot que l'on applique sur notre jeu de données. On précise ensuite la variable x qualitative, ici le vent, la variable y quantitative, ici le maximum d'ozone, et on précise avec fill qu'on colorie les boîtes en fonction de la variable vent, et avec col on précise qu'on colorie les points en fonction de la variable vent également. geom_boxplot indique que l'on dessine des boîtes à moustaches en supprimant les points qui sont extrêmes avec outlier.shape NA. On supprime les points qui sont extrêmes, ceux qui sont en dehors de la boîte à moustaches, car on dessine ensuite tous les points y compris ceux qui sont en dehors de la boîte à moustaches. Et on colorie la boîte avec une certaine transparence en mettant alpha= 0.4. Il faut mettre pour la transparence une valeur entre 0 et 1 pour avoir plus ou moins de transparence. Plutôt que geom_point, on utilise ici geom_jitter qui permet de bouger légèrement les abscisses des points, ce qui évite que tous les points correspondant à une même direction de vent aient la même abscisse et soient plus ou moins superposés. Enfin, on ajoute un titre au graphique. Alors, comment s'écrit le modèle? Simplement en écrivant que le maximum d'ozone dépend de la direction du vent et plus précisément que le maximum d'ozone du jour j pour une direction de vent i, c'est un maximum de zones moyen mu plus un effet alpha_1 si le vent vient de l'est, alpha_2 si le vent vient du nord, alpha_3 si le vent vient de l'ouest et alpha_4 s'il vient du sud. Donc selon la direction du vent, on ajoute la valeur spécifique qui convient. Et enfin, on a toujours un résidu, donc quelque chose que l'on n'explique pas. Mathématiquement, on écrira que la réponse y pour le jème individu qui prend la modalité i pour la variable qualitative est égal à une valeur moyenne mu plus une valeur alpha_i qui dépend donc de la modalité de la variable qualitative. Par exemple, si le vent vient de l'est, le maximum d'ozone sera de +4 par rapport au maximum d'ozone moyen, ou -2 si le vent vient du nord, etc. Et nous avons ensuite le résidu epsilon_ij qui correspond à l'écart entre notre réponse y_ij et ce que prévoit le modèle, à savoir mu+ alpha_i. Et sur ces résidus, on fait à nouveau les hypothèses usuelles, c'est-à-dire que les résidus sont d'espérance nulle, de même variance sigma carré, et les résidus sont indépendants 2 à 2. Si maintenant on étend ce modèle d'indice de variance à 1 facteur à un modèle d'indice de variance à 2 facteurs, il suffit d'ajouter un effet bêta_j pour le 2ème facteur. On utilise alors un indice k supplémentaire pour les répétitions. Et on écrit que la réponse Y pour le k-ième individu qui prend à la fois la modalité i pour le premier facteur et la modalité j pour le deuxième facteur est égale à un effet moyen mu plus un effet alpha_i qui dépend de la modalité i que prend l'individu pour le premier facteur plus un effet bêta_j qui dépend de la modalité j que prend l'individu pour le deuxième facteur et on a toujours un résidu epsilon_ijk. Ici, par exemple, pour le k-ième jour de vent d'est où il pleut, on aura un effet moyen plus un effet alpha est plus un effet bêta pluie plus un résidu. Et à nouveau, on a les hypothèses classiques pour les résidus. Et il n'y a aucune difficulté à avoir plus de variables explicatives. On va simplement ajouter les effets de chaque variable explicative. Donc nous avons vu pour l'instant les effets de variables quantitatives sur la réponse ou les effets de variables qualitatives sur la réponse. Cependant, nous avons pour l'instant considéré que les effets de chaque variable ne font que s'additionner. Voyons maintenant des effets conjoints de 2 variables sur la réponse. Et commençons par voir l'effet conjoint d'une variable quantitative et d'une variable qualitative sur la variable réponse. On va construire un graphique avec la variable réponse en ordonnée et en abscisse on met la variable quantitative, ici la température à 9 heures. On va alors simplement colorier les points en fonction de la variable qualitative, ici la direction du vent. Et on peut dessiner une droite de régression par modalité de la variable vent, c'est-à-dire une droite de régression par sous-nuage de points. L'intérêt est alors de voir si l'effet de la température à 9 heures sur le maximum d'ozone est le même pour toutes les directions du vent, ou bien si l'effet de la température à 9 heures sur le maximum d'ozone dépend de la direction du vent. Si les pentes des 4 droites étaient identiques, donc si les droites étaient parallèles, alors cela signifierait que l'effet de la température à 9 heures sur le maximum d'ozone est le même quelle que soit la direction du vent. Autrement dit, 1 degré de plus à 9 heures conduit à la même augmentation ou la même diminution du maximum d'ozone, et cela quelle que soit la direction du vent. Ça, c'est si les droites sont parallèles. Ici, les droites ne sont pas parfaitement parallèles et on a l'impression que l'effet de la température à 9 heures est moins important quand le vent vient de l'est par rapport aux 3 autres directions du vent. L'augmentation du maximum d'ozone est moindre pour une augmentation de la température de 1 degré à 9 heures puisque la pente est plus faible. Cependant, ce graphique permet de visualiser l'effet conjoint de la température et de la direction du vent sur le maximum d'ozone, mais nous aurons besoin d'un test statistique pour décider si l'effet conjoint est significatif ou non. On parle d'interaction de la température et du vent et on testera si l'effet de l'interaction est significatif ou non. Pour construire le graphique, on précise qu'en x on met la variable de vent, en y le maximum d'ozone, on colorie les individus avec une couleur différente pour chaque direction du vent et on groupe les individus par direction du vent, ce qui permet ensuite de faire des régressions par direction du vent. geom_smooth permet de dessiner la droite de régression, la droite de régression car on met method= lm. On met sce= FALSE pour dire qu'on ne veut pas dessiner de zone de confiance. L'écriture du modèle donne la variable réponse, le maximum d'ozone, et précise que ce maximum d'ozone dépend de la direction du vent, de la température à 9 heures et de l'effet conjoint du vent et de la température à 9 heures. Cela signifie qu'on n'a pas seulement l'effet du vent et l'effet de la température à 9 heures, mais bien un effet conjoint en plus. Plus précisément, le maximum d'ozone s'écrit comme un effet moyen plus un effet lié à la direction du vent, c'est-à-dire une constante spécifique selon la direction du vent, alpha 1, alpha 2, alpha 3 ou alpha 4. Ensuite, on ajoute un effet linéaire de la température à 9 heures, en précisant qu'il y a un effet moyen bêta de la température à 9 heures, plus un effet spécifique gamma_i qui dépend de la direction du vent. Autrement dit, la pente de la droite de régression est égale à bêta en moyenne, mais selon la direction du vent, on ajoute à cette pente une valeur gamma_i qui est positive ou négative. Ainsi, la pente de la droite de régression est plus ou moins forte, et donc l'impact de l'augmentation de 1°C de la température à 9 heures sur le maximum d'ozone sera plus ou moins important selon la direction du vent. Mathématiquement, le modèle s'écrit Yij, la réponse pour le jème individu de la modalité i pour la variable qualitative, est égale à un effet moyen mu, un effet alpha_i lié à la direction du vent pour notre exemple, puis une pente moyenne bêta plus un écart de pente gamma_i positif ou négatif selon que la plante est plus ou moins forte que la moyenne. Et cette pente est multipliée par Xij, c'est-à-dire la valeur du jème individu qui prend la modalité i. Pour nous, ce sera la température à 9 heures du jème jour quand la direction du vent est i. Et on a en plus les résidus avec les hypothèses usuelles sur les résidus. Visualisons maintenant l'effet conjoint de 2 variables qualitatives sur la variable réponse. On va parler de l'effet de l'interaction de 2 variables qualitatives sur la variable réponse. Notez bien que, dans le dictionnaire, la définition courante de l'interaction est la réaction réciproque de 2 phénomènes l'un sur l'autre. 2 phénomènes ou variables seulement entrent en jeu et ont chacun un impact sur l'autre. En statistiques, l'interaction met en jeu 3 variables et on s'intéresse à l'effet conjoint de 2 variables sur une 3ème variable, la variable réponse. Donc on va construire un graphique avec la variable réponse en ordonnée, en abscisse une des variables qualitatives et on construit une ligne brisée pour chaque modalité de l'autre variable qualitative. Le choix de la variable à mettre en abscisse et de la variable utilisée pour construire les lignes brisées peut être interverti. On visualise alors de façon un peu différente la même interaction et on peut donc faire les 2 graphiques et choisir celui qui est le plus facile à interpréter. Souvent, on préférera mettre en abscisse la variable qualitative qui a le plus de modalités pour avoir moins de lignes brisées. Comment sont construites les lignes brisées? On va d'abord positionner les points avec un point qui a pour ordonnée la moyenne des valeurs de Y pour une combinaison des 2 variables qualitatives. Par exemple, Pour le couple vent d'est avec pluie, on a ce point, et pour le couple vent d'est sec, on aura ce point. On positionne alors autant de points qu'il y a de combinaisons de modalités des 2 variables qualitatives, puis on relie les points d'une même modalité de la variable qualitative pour constituer une ligne brisée. Si les lignes brisées sont parallèles, alors cela signifie qu'il n'y a pas d'effet de l'interaction sur la variable réponse. Et au contraire, s'il y a des écarts au parallélisme, cela signifie qu'une interaction est présente. Par exemple ici, l'écart de maximum d'ozone entre avec et sans pluie est beaucoup plus important quand le vent vient de l'est par rapport aux écarts quand le vent vient d'une autre direction. Cela signifie que lorsque le vent vient de l'est, l'effet de la pluie ou du temps sec est exacerbé et le maximum d'ozone est particulièrement élevé quand le temps est sec ou particulièrement faible quand le temps est pluvieux. Pour construire ce graphique avec ggplot2, on utilise le package dplyr qui permet de grouper les données par combinaison de vent et pluie avec la fonction group_by. Ensuite, on calcule la moyenne du maximum d'ozone pour chaque combinaison avec la fonction summarize Puis, pour construire le graphique, on place en abscisse le vent et en ordonnée le maximum d'ozone, on colorie en fonction de la pluie et on groupe en fonction de la pluie, ce qui permettra d'avoir une ligne brisée par modalité de la variable pluie. On utilise ensuite geom_line pour tracer les lignes et geom_point pour mettre les points. Et on ajoute un titre et les libellés des axes. Pour écrire le modèle, on dit simplement que le maximum d'ozone est expliqué en fonction du vent, de la pluie et de l'interaction vent-pluie symbolisée par les 2 points. Plus dans le détail, on écrit que le maximum d'ozone est égal à un effet moyen mu plus un effet alpha_i selon la direction du vent. Donc si le vent vient de l'est, on ajoute alpha_1, s'il vient du nord alpha_2, etc. C'est donc l'ajout d'une constante spécifique selon la direction du vent. Même chose ensuite avec la pluie, on ajoute bêta_1 s'il pleut et et bêta 2 s'il fait sec. Enfin, pour l'interaction, on ajoute une valeur spécifique pour le couple de modalités vent/pluie qui est présent. Si le vent vient de l'est et qu'il pleut, on ajoute alpha bêta 1 1. Et on aura une valeur différente alpha bêta ij pour chaque couple. Et bien entendu, il reste un résidu. Quand on dit qu'on ajoute alpha bêta 1 1, on ajoute alpha bêta 1 1 en plus de alpha 1 et de bêta 1, qui sont alpha 1 l'effet spécifique quand le vent vient de l'est, bêta 1 l'effet spécifique quand il pleut, mais alpha bêta 1 1 c'est une particularité quand il pleut et que le vent vient de l'est. Donc plus formellement, le modèle s'écrit y i j k, la réponse pour le k-ième individu qui prend la modalité i, pour la première variable qualitative et la modalité j pour la deuxième variable qualitative. Ce Yij est égal à un effet moyen mu, un effet alpha_i lié à la direction du vent pour notre exemple, un effet bêta_j lié à la pluviométrie, puis un effet alpha bêta_ij lié au couple direction du vent i, pluviométrie j. Et on a en plus les résidus avec les hypothèses usuelles pour les résidus. Nous avons vu 4 types d'effets possibles sur une variable réponse. Ces 4 types d'effets sont les plus couramment utilisés et permettent de construire beaucoup de modèles. Nous retrouvons donc l'effet linéaire d'une variable quantitative sur la variable réponse, l'effet d'une variable qualitative à plusieurs modalités, l'effet joint d'une variable quantitative et d'une variable qualitative sur la variable réponse, Cet effet joint permet de différencier l'effet linéaire de la variable quantitative sur la réponse selon les modalités de la variable qualitative. Et enfin l'effet de l'interaction de 2 variables qualitatives sur la variable réponse. Nous pouvons alors construire des modèles plus ou moins complexes en combinant ces 4 types d'effets selon bien sûr la nature des variables explicatives mais aussi les effets que l'on souhaite inclure dans le modèle. On peut ne pas vouloir mettre certaines interactions dans le modèle si on sait a priori qu'il n'y a pas d'effet de ces interactions. Et si on n'a pas de connaissances a priori, on mettra l'interaction dans le modèle et on prendra une décision sur l'effet ou non de l'interaction grâce au test statistique qui sera mis en place. Ces 4 types d'effets et leur interprétation sont très importants à comprendre Car toute la difficulté réside dans l'interprétation des résultats, les calculs étant faits par l'ordinateur assez simplement. Donc bien comprendre ce que représente chacun de ces effets et comment le visualiser et l'interpréter est vraiment crucial. Voici un tableau récapitulatif avec les noms des modèles selon la nature des variables explicatives. Dans tout le cours, la variable réponse est quantitative. Quand il y a une variable explicative et que celle-ci est quantitative, il s'agit d'une régression linéaire simple. Si la variable explicative est qualitative, il s'agit d'une analyse de variance à 1 facteur. Dans le cas particulier où il n'y a que 2 modalités, l'analyse de variance à 1 facteur équivaut à faire une comparaison de moyennes avec variances égales. Si maintenant il y a plusieurs variables explicatives et que toutes sont quantitatives, on parle de régression linéaire multiple. Si toutes les variables explicatives sont qualitatives, il s'agit d'une analyse de variance à k facteurs. Enfin, si certaines variables explicatives sont quantitatives et d'autres sont qualitatives, on parle d'analyse de covariance. À chaque fois, la variable réponse est quantitative et tous ces modèles sont des modèles linéaires. Si la variable réponse est qualitative, le plus souvent binaire, malade versus non malade, on peut représenter les mêmes 4 effets pour les variables explicatives selon la nature des variables. Et la présence ou non d'interaction. Mais la modélisation est différente et on parlera de régression logistique, une méthode qui ne fait pas l'objet de ce cours. La régression logistique s'intéresse à modéliser la probabilité de survenue ou non d'un événement, ou plus précisément modélise le logarithme du ratio de la probabilité de survenue sur la probabilité de non-survenue d'un événement.
Donc reprenons l'écriture du modèle de régression linéaire multiple. En rouge apparaissent les paramètres du modèle qui doivent être estimés à partir des données. Le nombre de paramètres estimés est égal au nombre de variables explicatives+ 1 car il faut estimer la constante. Pour estimer tous ces paramètres, nous réécrivons le modèle sous une forme matricielle: Y= X× bêta+ e avec Y le vecteur des valeurs observées, X, la matrice qui contient toutes les valeurs des variables explicatives, plus précisément une première colonne avec uniquement des 1 qui permettra d'estimer la constante bêta 0, puis une colonne pour chaque variable explicative. Bêta est le vecteur qui regroupe tous les coefficients du modèle à estimer et e est le vecteur des résidus. En plus de l'équation Y= X bêta+ e, on retrouve les hypothèses sur les résidus À savoir qu'ils sont sans biais, ce qui est donné par l'espérance de E qui vaut 0, de même variance sigma carré et indépendants 2 à 2, ce qui est donné par la variance de E qui est une matrice de variance-covariance qui a sur la diagonale les variances et hors diagonale les covariances entre 2 résidus. Comme on a sigma carré fois la matrice identité, on retrouve bien sur la diagonale que tous les résidus ont la même variance sigma carré Et hors diagonale, on retrouve que les résidus sont indépendants 2 à 2 puisque la covariance est égale à 0. Si on lit le modèle écrit sous la forme matricielle, on lit pour la première ligne que Y1 est égal à 1 fois bêta0 plus X11 fois bêta1 plus etc. plus X1p fois bêta_p plus epsilon_1. En lisant cela, on retrouve l'équation donnée par l'écriture du modèle sous forme indicée pour i 1. C'est un peu plus difficile à voir mais les modèles d'analyse de variance et d'analyse de covariance peuvent aussi s'écrire sous la forme Y= X bêta+ E. Et c'est parce que c'est la même écriture qu'on parle de modèles linéaires quelle que soit la nature des variables explicatives et que les fonctions des logiciels permettant d'estimer les coefficients des modèles sont les mêmes. Pour les variables qualitatives, le codage nécessite d'utiliser plusieurs colonnes pour une même variable. Plus précisément autant de colonnes que de modalités. Et pour les interactions entre variables qualitatives, on aura besoin d'autant de colonnes que de couples de modalités. Nous verrons plus tard dans la prochaine vidéo que des contraintes seront nécessaires pour bien estimer tous les paramètres et qu'il est possible d'utiliser I-1 colonnes pour une variable à I modalités et colonnes pour les interactions de 2 variables à I et J modalités. Pour estimer les paramètres, nous utilisons le critère des moindres carrés qui consiste à minimiser la somme des carrés des écarts entre, entre les valeurs observées pour la variable Y et les prévisions du modèle. Pour donner l'idée, on cherche à estimer le vecteur de paramètres bêta tel que X bêta soit le plus proche possible de Y. Si on multiplie à gauche par la transposée de X, on a X'X bêta est le plus proche possible de X'Y avec X' la transposée de X. Et si la matrice X'X est inversible, alors on peut dire qu'on estime bêta par bêta chapeau égal X'X moins 1 X'Y. Cet estimateur est sans biais et la variance de cet estimateur est connue et dépend de X'X et donc simplement de la matrice X c'est-à-dire du choix des expériences que l'on effectue. Ceci est très important, notamment si on peut planifier les expériences. Dans ce cas, on choisira des expériences telles que X' prenne des valeurs les plus faibles possibles. La variance de bêta chapeau dépend aussi de sigma carré et donc de la variance des résidus, c'est-à-dire la variance de ce que le modèle n'explique pas. Comment estimer cette variance des résidus justement? En calculant la somme des carrés des résidus et en divisant par les degrés de liberté associés. Les degrés de liberté de la résiduelle se calculent toujours de la façon suivante: c'est le nombre de données moins le nombre de paramètres estimés à partir des données. Donc pour la régression, ce sera N- , car N est le nombre de données et p+ 1 est le nombre de paramètres que l'on estime. Une fois le modèle construit, une question légitime est de se demander à quel point le modèle explique la variable que l'on cherche à étudier. Les valeurs des Y observées varient et cette variabilité des valeurs de Y peut se décomposer en une somme de la variabilité expliquée par le modèle et de la variabilité non expliquée par le modèle, c'est-à-dire la variabilité résiduelle. Ainsi, la variabilité totale de Y qui est égale à la variance de Y multipliée par n- 1, est bien expliquée par le modèle si la variabilité résiduelle est petite et donc si les prédictions du modèle sont proches des valeurs observées. On calcule alors le R², appelé le coefficient de détermination, qui est la part de variabilité totale de la réponse Y qui est expliquée par le modèle. Ce coefficient R² varie entre 0, le modèle n'est pas bon du tout, à 1 le modèle prévoit parfaitement les valeurs observées. Si la part de variabilité expliquée par le modèle est grande, le modèle s'ajuste bien aux données observées. Attention toutefois, un modèle peut bien s'ajuster à des données, c'est-à-dire coller aux données observées, mais ne pas être un bon modèle pour prédire de nouvelles données. Cela arrive notamment quand le modèle contient beaucoup de variables et nécessite donc l'estimation de nombreux paramètres. Plus le nombre de paramètres estimés augmente, plus il est facile de s'ajuster aux valeurs observées. Mais pour autant, le modèle n'est pas nécessairement bon pour prédire de nouvelles valeurs. Les modèles qui prédisent bien de nouvelles valeurs sont des modèles qui s'ajustent bien et qui ont nécessité l'estimation d'un nombre raisonnable de paramètres. Cette variabilité expliquée par le modèle peut être décomposée en parts de variabilité expliquée par chacune des variables explicatives et interactions. Cependant, il y a une difficulté ici car 2 variables explicatives, ou plus de 2 d'ailleurs, peuvent expliquer à peu près la même chose et donc à peu près la même part de variabilité de Y. C'est le cas si 2 variables quantitatives sont très corrélées par exemple. À quelle variable attribuer alors cette variabilité sachant que lorsque le modèle contient les 2 variables, la variabilité n'est expliquée qu'une seule fois? Il y a alors 2 façons de décomposer la variabilité expliquée par le modèle. La première façon est de calculer la part de variabilité expliquée par la première variable du modèle, puis la part de variabilité expliquée par la 2ème variable et qui n'a pas encore été expliquée par la première, puis la part expliquée par la 3ème variable non encore expliquée par les 2 premières, etc. L'avantage de cette décomposition est que la variabilité expliquée par l'ensemble du modèle est égale à la somme des variabilités de chaque variable. L'inconvénient majeur est que l'ordre d'apparition des variables dans le modèle modifie la part de variabilité expliquée par une variable. Une autre façon de décomposer la variabilité du modèle est de calculer la part de variabilité expliquée exclusivement par une variable. Ainsi, l'ordre d'apparition des variables dans le modèle ne modifie pas la variabilité expliquée par la variable. En revanche, si une part de variabilité est expliquée par plusieurs variables, s'il y a une variabilité commune expliquée par plusieurs variables, alors cette variabilité commune n'apparaît pas dans la décomposition. La somme des variabilités de toutes les variables sera alors inférieure à la variabilité du modèle. Une variabilité commune est expliquée par plusieurs variables quand les variables explicatives ne sont pas indépendantes. Quand les données sont équilibrées, c'est-à-dire quand les variables explicatives sont indépendantes 2 à 2, la variabilité du modèle se décompose parfaitement et la somme des variabilités expliquées par chaque variable est égale à la variabilité expliquée par le modèle. L'interprétation des résultats est alors beaucoup plus facile. Pour construire le modèle et obtenir la variabilité expliquée par chaque variable, on utilise la fonction linear_model du package FactoMineR. On écrit alors la formule du modèle avec la variable à expliquer, le maximum d'ozone, puis~ et enfin les variables explicatives séparées par un+. Donc on écrit par exemple maxO3~ T9+ T12+ T15 vent+ pluie en mettant toutes les variables quantitatives et qualitatives. Quand le nombre de variables explicatives est grand, on peut écrire~. car cela indique que l'on utilise toutes les variables du jeu de données comme variables explicatives, sauf bien entendu le maximum d'ozone qui est la variable réponse. Les sorties du modèle donnent alors l'écart-type résiduel qui vaut 14.51 et a 97 degrés de liberté. Le R² du modèle vaut 0.7686. Ce qui signifie que 76,86% de la variabilité du maximum d'ozone est expliquée par ce modèle. Ensuite un test est construit pour tester la significativité du R². Nous reviendrons sur ce test plus tard. Et ensuite nous avons un tableau avec en ligne chaque variable et dans la colonne SS, pour sum of squares, les sommes de carrés, ce qui correspond à la variabilité expliquée exclusivement par chaque variable. Là encore, nous avons des tests que nous allons décrire ultérieurement. Le modèle ainsi construit contient toutes les variables que nous avons choisies comme variables explicatives et toutes les interactions que nous avons pu considérer. On peut alors se demander si tous ces effets sont utiles ou si certains sont superflus. On peut aussi se demander si aucune variable n'est utile, auquel cas les variables explicatives du modèle seraient très mal choisies. Pour cela, des tests existent. Ils sont tous construits selon le même principe. La question que l'on se pose est alors: est-ce que cet ensemble de V variables apporte des informations complémentaires intéressantes sachant que les autres variables sont dans le modèle? Notez bien ici que l'on teste l'intérêt d'un ensemble de variables sachant que d'autres variables sont déjà présentes dans le modèle, ce qui revient à tester si les variables de l'ensemble V apportent un plus. Mathématiquement, on va tester une hypothèse H0 contre une hypothèse alternative H1. L'hypothèse H0 est: tous les coefficients associés aux variables de l'ensemble V sont nuls. Et l'hypothèse alternative est que l'un au moins des coefficients n'est pas nul. La statistique de test utilisée pour ce test est le ratio entre le carré moyen de l'ensemble V et le carré moyen de la résiduelle. Le carré moyen d'un effet ou d'un ensemble d'effets est simplement la variabilité expliquée par cet effet ou par cet ensemble d'effets divisé par les degrés de liberté de cet effet ou de cet ensemble d'effets. Dans cette statistique de test, le carré moyen résiduel sert de comparaison. Si la variabilité expliquée par l'ensemble V de variables est du même ordre de grandeur que la variabilité résiduelle, alors cela veut dire que l'ensemble V de variables explique de choses, à peu près autant que ce que la résiduelle explique, c'est-à-dire autant que la variabilité que l'on n'arrive pas à expliquer. Dans ce cas, on aura envie de dire que l'ensemble V de variables n'apporte pas une information significativement intéressante pour mieux expliquer Y. Et au contraire, si l'ensemble V apporte beaucoup plus d'information que la résiduelle, c'est-à-dire si le F observé est grand, c'est-à-dire si le F obs est grand, alors on aura envie de dire que l'ensemble V apporte une information significativement intéressante pour comprendre Y. La loi de la statistique de test sous l'hypothèse H0 est une loi de Fisher avec les degrés de liberté du numérateur et les degrés de liberté du dénominateur. Avec ce test, retenir l'hypothèse H0 revient à considérer que le sous-modèle sans les variables de l'ensemble V est aussi bon que le modèle complet. Le test conduit à choisir le sous-modèle si la variabilité supplémentaire expliquée par l'ensemble V de variables est du même ordre de grandeur que la variabilité résiduelle, c'est-à-dire la statistique de Fisher n'est pas significativement différente de 1. Le plus souvent, l'ensemble V est restreint à une seule variable, ce qui revient à tester si cette variable apporte une information supplémentaire intéressante sachant que les autres variables sont déjà présentes dans le modèle. L'autre situation classique est au contraire d'avoir l'ensemble V qui contient toutes les variables. L'hypothèse H0 correspond au modèle nul, c'est-à-dire au modèle sans variable explicative. Ce modèle nul n'est absolument pas intéressant pour prédire et indique, s'il est préféré au modèle complet, que le modèle complet n'apporte pas d'information complémentaire intéressante par rapport à un modèle qui n'explique rien. Et par conséquent le modèle complet n'est pas intéressant et donc les variables explicatives sont mal choisies. Si l'ensemble V contient toutes les variables, le test revient à tester si le R² est significativement différent de 0, c'est-à-dire si toutes les variables explicatives ont un coefficient égal à 0 et sont donc inutiles, ou au contraire si au moins une variable est utile pour prédire Y. Pour construire le test, on calcule la variabilité expliquée par l'ensemble V de variables sachant que toutes les autres variables sont déjà dans le modèle. On est donc bien en train de voir si l'ensemble V de variables apporte un plus par rapport aux autres variables présentes dans le modèle. Et on divise cette variabilité par les degrés de liberté associés à cet ensemble de variables. Pour calculer les degrés de liberté, il suffit de sommer les degrés de liberté de chaque variable et interaction présente dans l'ensemble V, sachant qu'une variable quantitative a 1 degré de liberté, une variable qualitative a I- 1 degrés de liberté et une interaction a comme degré de liberté le produit des degrés de liberté de chaque facteur. Il peut être intéressant comme exercice d'écrire le test dans les cas particuliers suivants: tester l'effet d'une variable qualitative tester l'effet d'une interaction, tester l'effet de toutes les variables. Pour l'instant, nous avons construit un modèle utilisant toutes les variables explicatives qui nous semblent pouvoir influer sur Y et nous avons également ajouté des interactions qui peuvent également avoir un effet sur Y. Cependant, ce modèle peut nécessiter l'estimation de nombreux paramètres et il est essentiel de sélectionner les variables utiles qui seront conservées dans le modèle. Cela permet d'une part de simplifier la compréhension du phénomène que l'on étudie en supprimant quelques variables ou interactions, mais cela permet aussi de construire un modèle plus parcimonieux pour lequel on aura estimé moins de paramètres et qui sera plus performant d'un point de vue prédictif. Se pose alors la question de comment sélectionner un bon modèle. Et qu'est-ce qu'un bon modèle? Un bon modèle est un modèle qui permet de bien comprendre les relations entre les variables explicatives et la variable réponse et qui permet également de bien prédire la variable réponse pour de nouvelles observations. Pour sélectionner un bon modèle, on peut alors utiliser 2 grandes stratégies. La première est de sélectionner le sous-modèle pour lequel la probabilité critique associée au test de significativité du R² est la plus petite. On choisit alors le sous-modèle pour lequel on rejette le plus fortement l'hypothèse que le sous-modèle n'est pas intéressant, ce qui indique que le sous-modèle est intéressant. Une autre façon de faire est de sélectionner le modèle à partir d'un critère comme le critère d'Akaïke noté AIC ou encore le critère d'information bayésien noté BIC pour Bayesian Information Criterion. Le sous-modèle qui a l'AIC ou le BIC le plus petit est le meilleur. Sélectionner selon l'AIC et le BIC peut conduire à des sous-modèles différents, le critère BIC retenant des sous-modèles avec moins de variables. On utilisera de préférence le critère AIC quand on veut bien prédire et le critère BIC quand on veut sélectionner les variables explicatives et comprendre le phénomène. Ces 2 critères fonctionnent selon le même principe qui est de retenir un modèle avec la variabilité résiduelle minimum, en toute rigueur l'opposé du logarithme de la vraisemblance minimum, mais tout en ayant peu de paramètres. Les critères sont d'autant plus pénalisés que le nombre de variables du modèle est grand. Quand les variables explicatives sont quantitatives et nombreuses, on recommande d'utiliser le critère BIC. Et quand des variables explicatives sont qualitatives, on recommande plutôt l'AIC. Comment maintenant trouver le sous-modèle qui a la p-value la plus petite pour le test du R² ou qui a l'AIC le plus petit ou le BIC le plus petit? Une stratégie très basique consiste à construire tous les sous-modèles possibles, à calculer le critère qui nous intéresse pour chaque sous-modèle et à retenir le le sous-modèle qui minimise notre critère. Cependant, le nombre de sous-modèles possibles devient très vite extrêmement grand et les temps de calcul prohibitifs dès que le nombre de variables explicatives, variables explicatives ou interactions, du modèle est grand. Pour contourner ce problème, plusieurs stratégies sont possibles. La première, appelée méthode descendante, consiste à construire le modèle complet puis à supprimer la variable ou l'interaction la moins intéressante, donc qui diminue très peu le critère qui nous intéresse. Rappelons-nous que, quel que soit le critère que l'on utilise, on cherche à le minimiser. Et on itère jusqu'à ce que, quelle que soit la variable que l'on supprime, le critère ne diminue plus. On a alors trouvé un sous-modèle qui minimise notre critère parmi tous les sous-modèles qui ont été explorés. Cela ne garantit pas que nous avons trouvé le sous-modèle avec le critère minimal. Mais cela reste un bon sous-modèle. Une autre stratégie consiste à faire l'inverse, à partir du modèle nul sans variable et à ajouter la variable qui améliore, c'est-à-dire qui diminue, le plus possible notre critère d'intérêt. Ensuite on garde ce sous-modèle et on itère en ajoutant la variable ou l'interaction qui améliore le plus le critère. Et on continue jusqu'à ce que, quelle que soit la variable ou l'effet ajouté, le critère se met à augmenter. Cette méthode est appelée méthode ascendante. On peut ensuite avoir une méthode nommée stepwise qui combine la méthode descendante et la méthode ascendante, ce qui permet de rajouter une variable qui aurait été supprimée lors des premières étapes ou à enlever une variable qui aurait été rajoutée et qui n'est plus intéressante une fois que d'autres variables ont été ajoutées. Cette méthode stepwise est rapide et permet souvent de trouver un sous-modèle proche du meilleur modèle qu'on ne peut obtenir avec certitude qu'avec la méthode de construction exhaustive de tous les sous-modèles. Reprenons notre exemple sur les données ozone et utilisons la fonction linear_model du package FactoMineR pour choisir un sous-modèle avec le critère BIC. La fonction linear_model retourne les résultats pour le modèle complet et pour le sous-modèle sélectionné. On voit par exemple que le R² du sous-modèle est légèrement plus petit, 0.7622 contre 0.7686 pour le modèle complet. Ainsi, le pourcentage de variabilité du maximum d'ozone expliqué par le sous-modèle est quasiment le même qu'avec le modèle complet alors qu'on utilise beaucoup moins de variables et donc qu'on estime moins de paramètres. Les valeurs de la probabilité critique de l'AIC et du BIC du sous-modèle sélectionné sont plus petites que celles du modèle complet. Le sous-modèle sélectionné est écrit ici et contient seulement 4 variables: T12, NE9, VX9 et MAXO3V. On peut ensuite regarder le tableau qui donne pour chaque variable explicative et interaction les résultats du test de la significativité de cet effet sachant que les autres variables sont présentes dans le modèle. Dans le tableau des tests F donc, on peut lire que toutes les p-values sont inférieures à 5% et donc chacune des 4 variables apporte une information significative supplémentaire utile sachant que les 3 autres variables sont dans le modèle. Dans certains cas, on peut avoir des résultats avec certaines variables ou interactions qui ont une probabilité critique supérieure à 5%. Le test F nous indiquerait que l'on peut supprimer la variable ou l'interaction qui a la p-value la plus élevée alors que le critère BIC a conservé cette variable dans le sous-modèle. Ces situations peuvent arriver et conduisent à une légère contradiction au niveau de l'interprétation sur l'utilité de garder ou non cette variable dans le modèle. Mais cette variable aura généralement peu d'effet sur la prédiction de nouvelles valeurs et la garder ou non dans le sous-modèle ne modifient pas beaucoup les prédictions. Nous verrons ensuite comment interpréter le 2ème tableau avec les tests t de Student dans la prochaine vidéo de cours. Quelle démarche adopter alors pour la modélisation? La première étape est de lister toutes les variables qui entrent en jeu pour expliquer ou prédire la variable réponse. Cette étape est essentielle et il ne faut surtout pas oublier une variable qui peut influer sur Y. Prendre une variable en trop n'est pas grave car les tests statistiques permettront d'éliminer cette variable. 2ème étape, il faut visualiser les données et notamment les liaisons avec la variable réponse pour s'assurer qu'il n'y a pas de valeurs aberrantes et pour avoir quelques idées sur les liaisons entre variables. On peut également faire une ACP en mettant en supplémentaire la variable réponse et en actif toutes les variables explicatives. Ensuite, on écrit puis construit le modèle en choisissant à la fois les effets et les interactions qui peuvent expliquer la variable réponse. On ne mettra pas systématiquement et sans réfléchir toutes les interactions possibles dans le modèle. On peut souvent écarter a priori certaines interactions quand on connaît le phénomène que l'on étudie. Et surtout, on évite de mettre des interactions d'ordre supérieur à 2. Ensuite, à partir du modèle complet, On sélectionne le sous-modèle qui minimise l'AIC ou le BIC, ou bien on fait de la sélection à la main, en supprimant les interactions et effets non utiles, puis on construit ce sous-modèle. Ensuite, et c'est le plus important, on interprétera les résultats, les effets significatifs comme les non significatifs. On interprétera les coefficients du modèle en faisant bien attention aux possibles confusions notamment pour les variables quantitatives. Et enfin on utilise le sous-modèle pour prédire de nouvelles valeurs si on a un objectif de prévision. Pour savoir comment interpréter les résultats d'un modèle, revenons dans un premier temps sur le codage qui a permis d'estimer les paramètres du modèle et sur les contraintes qui sont utilisées pour les variables qualitatives. Dans le modèle Y= X bêta+ E, la matrice X est la matrice qui contient toutes les valeurs permettant de décrire précisément chaque expérience. Mais aussi chaque effet qui sera utilisé dans le modèle, c'est-à-dire les interactions si des interactions sont présentes dans le modèle. La matrice X a alors une ligne par individu statistique, une ligne décrit une expérience. Et comme colonnes, la matrice X a les colonnes suivantes: tout d'abord une colonne avec uniquement des 1 qui sert à calculer la constante du modèle notée mu ou bêta 0. 1 degré de liberté est donc utilisé ici pour estimer la constante. Chaque variable quantitative correspond à une colonne de X et utilise donc 1 degré de liberté pour estimer son paramètre correspondant. Chaque variable qualitative est transformée en autant d'indicatrices qu'elle a de modalités, avec le codage 1 si l'individu prend la modalité et 0 sinon. Cependant, il suffit de connaître I-1 indicatrices pour connaître la dernière. Il suffit donc d'estimer I-1 paramètres à partir des données et donc d'utiliser I-1 degrés de liberté pour estimer tous les coefficients alpha_i. On pose alors une contrainte sur les alpha_i et le mieux est de prendre la contrainte que la somme des alpha_i est égale à 0. Chaque interaction est codée par autant d'indicatrices qu'il y a de paires de modalités. Comme pour une variable qualitative, il n'est pas nécessaire d'avoir toutes les indicatrices et avec seulement indicatrices, et donc avec degrés de liberté, on peut estimer tous les paramètres. Les contraintes sont alors: pour tout i, la somme sur j des alpha bêta ij vaut 0 et pour tout j, la somme sur i des alpha bêta ij vaut 0. Une remarque fondamentale et qu'il faut toujours garder en tête au moment où l'on interprète les résultats d'un modèle: le choix de la contrainte impacte très fortement l'interprétation. Avec la somme des alpha_i égale à 0, interpréter la valeur d'un coefficient alpha_i revient à comparer ce qui se passe pour la modalité i par rapport à ce qui se passe en moyenne. Plus précisément, la comparaison se fait par rapport à la moyenne des moyennes par modalité. Un coefficient égal à 0 signifie que les résultats de la modalité ne sont pas différents de l'effet moyen. L'autre contrainte classique possible est de poser alpha_1= 0. Cette contrainte est utilisée par défaut pour certaines fonctions de R, par exemple la fonction lm. Et lors de l'interprétation du coefficient alpha_i, on comparera ce qui se passe pour la modalité i par rapport à ce qui se passe pour la modalité 1 qui est la référence. Cette contrainte est à proscrire quand il y a des interactions. Car l'interprétation devient très très compliquée. Pour interpréter les résultats du modèle, on va se concentrer sur les résultats obtenus grâce aux sous-modèles après avoir fait la sélection de variables. Ainsi certaines variables ou interactions ont pu être supprimées du modèle. On interprète alors la présence des variables et interactions dans le modèle mais aussi l'absence des effets et interactions qui n'apparaissent plus dans le modèle. Il y a 2 situations qui rendent l'interprétation bien différente. La première situation où les données sont équilibrées est idéale. Les données sont équilibrées si tous les effets sont orthogonaux 2 à 2. L'interprétation est alors facile car tous les effets s'additionnent et il n'y a pas de confusion entre les effets. La 2ème situation, quand les données sont déséquilibrées, rend l'interprétation beaucoup plus difficile. C'est parce que l'interprétation est difficile quand les données sont déséquilibrées que, si on le peut, on va chercher à construire des plans d'expériences et donc à récupérer des données telles que celles-ci soient équilibrées. Il y a donc un pan de la statistique appelé planification expérimentale qui permet de bien choisir les expériences à réaliser. Lorsque les variables explicatives sont qualitatives, il est relativement facile d'avoir des données équilibrées ou en tout cas peu déséquilibrées. Pour avoir des données équilibrées, il suffit en effet de tester toutes les combinaisons des facteurs un même nombre de fois. En régression ou analyse de covariance, très souvent les données sont déséquilibrées car elles ont été recueillies sans plan d'expériences. Dans notre exemple sur l'ozone, les températures et les nébuleosités ont été recueillies et il y a des corrélations qui existent entre ces variables explicatives, ce qui conduit à des données déséquilibrées. Quand les données sont équilibrées et dans le cadre de l'analyse de variance, c'est-à-dire quand toutes les variables sont qualitatives, on peut décomposer la variabilité de la réponse Y en plusieurs termes. La variabilité de Y, qui est donc la variance de Y multipliée par n- 1, est égale à la somme de 4 variabilités. La variabilité liée au premier facteur, donc liée au fait que la moyenne des Y pour chaque modalité i n'est pas la même pour tout i, la variabilité du 2ème facteur, la variabilité liée à l'interaction qui est ce terme, et enfin la variabilité résiduelle. Et si les données sont équilibrées, on estime très facilement chaque paramètre du modèle: l'effet moyen mu est estimé par la moyenne des données. L'effet de la modalité i du premier facteur est simplement l'écart entre la moyenne des valeurs pour la modalité i et la moyenne générale. C'est très intuitif tout ça. De même, l'effet bêta_j s'estime par la différence entre la moyenne des valeurs prises pour la modalité j et la moyenne générale. Pour l'interaction, on peut voir ce terme comme Y_ij point moins Y_i point point moins entre parenthèses y.j moins y... Le premier terme yij moins yi... revient à calculer l'effet de la modalité j en se restreignant uniquement aux individus qui prennent la modalité i pour le premier facteur. Donc on voit l'effet de j pour uniquement les individus qui prennent la modalité i sur le premier facteur. Quant au terme y.j moins y... Il correspond à l'effet de la modalité j, c'est-à-dire à notre bêta chapeau j. Cette variabilité de l'interaction revient donc à comparer l'effet spécifique de la modalité j quand le premier facteur prend la modalité i par rapport à l'effet moyen de la modalité j. Enfin, le dernier terme correspond au résidu du modèle et donc à l'écart entre la valeur observée et la valeur prédite par le modèle. Cette écriture montre que les effets de chaque variable et de l'interaction s'interprètent facilement quand les données sont équilibrées car on compare simplement des moyennes. Si les données sont déséquilibrées, on n'a plus égalité entre alpha_i chapeau et la différence des moyennes, et de même pour tous les autres coefficients du modèle. L'interprétation devient plus difficile et on ne peut estimer les paramètres du modèle qu'avec la formule matricielle x'x-1 et x'y. Quand les données sont déséquilibrées, les problèmes d'interprétation commencent et la difficulté d'interprétation augmente avec le déséquilibre dans les données. Si les données sont trop déséquilibrées, il sera impossible de distinguer quel effet ou variable explique la variabilité de y. On parle de confusion ou d'alias en anglais. Donnons un exemple de confusion. Si par exemple sur les données ozone Tous les jours où la température à 9 heures est basse, le vent vient du nord. Et tous les jours où la température est haute, le vent vient du sud. Si le maximum d'ozone est plus élevé, comment savoir si c'est parce que les températures sont élevées ou parce que le vent vient du sud? Il y a une confusion entre température élevée et vent du sud. Et il sera impossible de savoir ce qui fait varier le maximum d'ozone. Est-ce le vent ou la température élevée? Le modèle retiendra peut-être une seule des 2 variables lors de l'étape de sélection de variables, mais lors de l'interprétation, il faudra avoir en tête que l'effet sur le maximum d'ozone peut être dû aux 2 variables. Avec des données déséquilibrées, la somme des variabilités expliquées par chacun des effets n'est pas égale à la variabilité totale quand on comptabilise uniquement la variabilité expliquée exclusivement par chaque variable. Quand les variables explicatives sont très liées, c'est-à-dire très corrélées pour les variables quantitatives, l'interprétation est très difficile. En général, la sélection de variables évite de mauvaises interprétations qui sont possibles comme un signe du coefficient de régression différent du signe du coefficient de corrélation entre la variable explicative et la réponse. Cependant, l'effet d'une variable explicative peut cacher l'effet d'autres variables non sélectionnées dans le modèle. On peut construire le test de significativité d'une variable qualitative, mais ce test est juste un cas particulier du test général présenté à la diapositive 15. La question est de savoir si une variable a un effet sur la variable réponse. L'hypothèse H0 est que, quelle que soit la modalité du facteur d'intérêt, les valeurs de Y ne sont pas significativement différentes Contre, il y a au moins une modalité pour laquelle les individus prennent en moyenne des valeurs significativement différentes. Mathématiquement, on teste donc H0: tous les coefficients alpha_i sont égaux à 0 contre H1: il y a au moins une modalité i pour laquelle le coefficient alpha_i est différent de 0 et donc les valeurs de Y sont en moyenne significativement différentes. La statistique de test est le ratio entre la variabilité expliquée par le facteur que divisé par les degrés de ce facteur sur la variabilité de la résiduelle divisée par les degrés de liberté de la résiduelle. La variabilité résiduelle sert alors de valeur de comparaison pour voir si la variabilité du facteur d'intérêt est grande ou petite. Si la variabilité du facteur est du même ordre de grandeur que la variabilité résiduelle, cela signifie que le facteur explique autant de variabilité que la résiduelle. C'est-à-dire autant de variabilité que ce que l'on n'arrive pas à expliquer. Si au contraire la variabilité du facteur testé est significativement plus grande que la variabilité résiduelle, alors on va dire qu'il y a un effet significatif du facteur. Si l'hypothèse H0 est vérifiée, cette statistique F obs suit une loi de Fisher avec les degrés de liberté du numérateur et les degrés de liberté du dénominateur. Et donc grâce à la p-value associée, qui est donnée par tout bon logiciel, on peut prendre une décision entre les 2 hypothèses H0 et H1. Si on veut tester une interaction, on construit exactement le même type de test. L'hypothèse H0 est que tous les coefficients d'interaction sont nuls contre l'alternative il y a au moins un couple ij tel que le coefficient soit différent de 0. Là encore, on a une statistique de test qui va comparer la variabilité de l'interaction avec la variabilité résiduelle et, sous l'hypothèse H0, la statistique de test suit une loi de Fisher avec les degrés de liberté de l'interaction et les degrés de liberté de la résiduelle. Si maintenant on rejette l'hypothèse H0 et que l'on considère qu'il y a un effet du facteur A et donc qu'il y a au moins un coefficient alpha_i qui est différent de 0, alors on a envie de savoir quel coefficient alpha_i est différent de 0 Ou plutôt quels sont les coefficients alpha_i qui sont différents de 0. On va donc construire autant de tests qu'il y a de modalités pour le facteur A, donc I tests. Et on va tester si le coefficient alpha_1 par exemple est différent de 0 ou non, ce qui revient à tester si la modalité 1 donne des résultats égaux ou significativement différents de la moyenne. L'hypothèse H0 est alpha_1= 0. Et H1: alpha 1 différent de 0. La statistique de test t obs est une statistique de Student qui, sous l'hypothèse H0, suit une loi de Student avec les degrés de liberté de la résiduelle. On utilisera la p-value pour prendre la décision sur le test. Remarquons que, pour les variables quantitatives, tester si la variable a un effet linéaire significatif revient à tester si le coefficient associé à la variable est égal à 0, ce qu'il est possible de faire avec ce test. Une autre façon d'aller plus dans le détail une fois que l'on a rejeté l'hypothèse H0 du test global d'un effet, donc une fois que l'on a affirmé qu'il y a un effet du facteur A, consiste à comparer les moyennes de Y pour différentes modalités du facteur A. Plus exactement, on va comparer les moyennes ajustées. Les moyennes ajustées utilisent les résultats du modèle et sont simplement les mu chapeau plus alpha_i chapeau. Utiliser les moyennes ajustées permet de s'affranchir de l'effet des autres variables, comme si pour les autres variables on travaillait avec une modalité moyenne. Concrètement, si les données sont équilibrées, cela ne change rien car la moyenne et la moyenne ajustée sont égales. Mais si les données sont déséquilibrées, travailler sur les moyennes ajustées neutralise l'effet des autres variables. On peut alors comparer les modalités 2 à 2 et construire des tests de comparaison par paires. Comme on construit beaucoup de tests, on va utiliser une correction des tests comme la correction de Bonferroni. Cela évite de rejeter à tort une hypothèse H0 quand on fait de nombreux tests. La fonction mincomp de FactoMineR permet de construire ces tests de comparaison. On peut donner un exemple avec des données où la saveur sucrée est évaluée pour 6 chocolats par 21 juges. On construit le modèle avec la fonction linear_model de FactoMineR et on précise que la variable sucrée est expliquée en fonction d'un effet chocolat, d'un effet juge et de l'interaction chocolat-juge. Ensuite on va comparer les moyennes ajustées des chocolats grâce à la fonction meanscomp et la correction de Bonferroni. La fonction meanscomp retourne d'abord un tableau avec toutes les moyennes ajustées et leur intervalle de confiance. Ensuite, la fonction classe les chocolats par moyenne croissante et indique avec des lettres quelles sont les moyennes qui sont égales, plus exactement non significativement différentes. Par exemple, le chocolat 1 est dans le groupe A et c'est le seul à être dans le groupe A. Il est donc significativement différent de tous les autres chocolats. Le chocolat 4 est dans le groupe B, il n'est donc pas significativement différent des chocolats 2 et 5 qui sont aussi dans le groupe B. Les chocolats 1, 6 et 3 n'étant pas dans le groupe B, le chocolat 4 est significativement différent de ces chocolats. Quant au chocolat 5, il est dans le groupe B, donc pas significativement différent des chocolats 4 et 2. Et il est aussi dans le groupe C et donc pas significativement différent du chocolat 6. On voit qu'ici certains chocolats peuvent être non significativement différents de 2 chocolats qui sont eux significativement différents. Ceci s'explique par le fait que le chocolat 5 a une moyenne ajustée de 5.22 qui est entre les moyennes ajustées des chocolats 2 et 6, respectivement 4.62 et 5.62. Par contre, les chocolats 2 et 6 ont des moyennes ajustées significativement différentes. L'écart entre 4.62 et 5.62 est significatif. La figure fournie par Minscomp résume toutes ces informations. En abscisse, vous avez les moyennes ajustées, en ordonnée le chocolat. Et les chocolats sont triés par moyenne ajustée croissante. Le point donne la moyenne ajustée et la barre l'intervalle de confiance. À côté de la barre, on peut lire les lettres des groupes auxquels appartient chaque chocolat. Un des objectifs de la modélisation est de prédire les valeurs de la variable réponse pour de nouvelles valeurs des variables explicatives. Dans notre exemple, ce serait par exemple de prédire le maximum d'ozone à partir de nouvelles données de température, vitesse de vent et nébulosité. Évidemment, cela nécessite de connaître les températures, vitesses de vent et nébulosités, ce qui n'est pas simple ou plutôt qui est connue une fois la journée passée et donc une fois le pic du maximum d'ozone passé. On peut cependant utiliser les données de prévision météo comme entrée ou encore on peut utiliser le modèle pour prédire la concentration du maximum d'ozone dans des situations d'augmentation des températures par exemple. Pour la prédiction, on va simplement utiliser les coefficients du modèle que l'on a estimés. Bien sûr, on utilise le modèle sans ajouter de résidus Car la prédiction ne contient pas de résidu. Le résidu serait l'écart entre la prévision du modèle et la valeur observée. Donc dans le listing, on récupère sur la première colonne les estimations des coefficients et on multiplie par les valeurs des variables explicatives en utilisant simplement l'équation 12.63, la constante,+ 2.764 fois la valeur pour la température à 12 heures moins 2.51 fois la nébulosité à 9 heures plus 1.29 fois la vitesse du vent à 9 heures plus 0.35 fois le maximum d'ozone de la veille. Ceci est tout à fait intuitif. Sur ordinateur, c'est un peu moins intuitif car il faut saisir les nouvelles données dans un data frame puis utiliser la fonction predict sur l'objet résultat de notre modèle, donc l'objet qui contient les coefficients. Ensuite, on donne le nom du DataFrame, ici X_new, qui contient les nouvelles valeurs. Et on peut préciser soit qu'on veut un intervalle de confiance de la prédiction avec pred, soit un intervalle de confiance de la moyenne avec confidence. L'intervalle de confiance de la moyenne est d'amplitude plus faible car il donne l'intervalle de confiance d'une moyenne des prédictions pour les valeurs X_new tandis que pred donne l'intervalle pour une prédiction et donc pour un jour donné. Dans cet intervalle, il y a l'incertitude journalière qui augmente sensiblement l'amplitude de l'intervalle de confiance. Un petit commentaire sur les hypothèses qui sont posées et que l'on peut vérifier lorsque l'on construit un modèle. Notez bien que ces hypothèses concernent les résidus du modèle. Et donc qu'il faut avoir construit le modèle et calculé les résidus pour savoir si on a le droit de construire le modèle. C'est un peu paradoxal de construire le modèle d'abord pour savoir si on a le droit de le construire. La première hypothèse est l'égalité de la variance des résidus. On parle de l'homoscédasticité des résidus. Cette hypothèse est importante et il ne faut pas que la variance des résidus soit grande pour certaines modalités d'une variable qualitative et petite pour d'autres. Ou alors que la variance des résidus soit petite pour les résidus correspondant à certaines valeurs d'une variable quantitative les petites valeurs par exemple d'une variable quantitative, et que la variance des résidus soit grande pour les grandes valeurs de la variable quantitative. On peut tester l'égalité de variance grâce à un test de Bartlett. Une autre hypothèse, beaucoup moins importante à tester, est la normalité des résidus. En fait, cette hypothèse n'est pas importante car il suffit que la distribution des résidus soit à peu près symétrique pour que les tests ne soient pas problématiques. En fait, il faut surtout éviter ici des distributions de résidus très dissymétriques, du type lognormale avec un pic en 0 par exemple. On testera la normalité des résidus grâce à la fonction Shapiro.test. J'insiste, c'est sur les résidus que l'on fait ces tests. Revenons plus en détail sur l'exemple ozone. On s'intéresse à comprendre ce qui influence le maximum d'ozone journalier en fonction de données climatiques et on veut proposer un modèle pour prédire le maximum d'ozone. La variable réponse est donc bien le maximum d'ozone et les variables explicatives à notre disposition sont la température, la nébulosité et la vitesse du vent à 9h, 12h et 15h ainsi que le maximum d'ozone de la veille. On a de plus la direction du vent et le fait qu'il pleuve ou non. On peut donc construire un modèle avec toutes ces variables Mais doit-on ajouter en plus des interactions? L'interaction entre la direction du vent et la température à 9 heures existe si l'effet de la température à 9 heures sur le maximum d'ozone n'est pas le même selon que le vent vienne de l'est, de l'ouest, du nord ou du sud. Il est difficile de décider a priori si une telle interaction existe. Dans le doute, on choisira de mettre l'interaction dans le modèle et on utilisera les tests statistiques et la sélection de modèles pour décider. On construit alors un modèle avec tous les effets potentiels possibles et ici, comme on ne peut pas décider a priori que certaines interactions sont négligeables, on les met toutes dans le modèle. Pour écrire le modèle, on peut alors donner la formule maxO3~ et une formule avec tous les effets et interactions. Pour écrire une telle formule, le symbole étoile indique que l'on considère à la fois les 2 effets et l'interaction. A* B indique A+ B A:B. Il faut manipuler le symbole étoile avec parcimonie car il ne faut pas mettre d'interaction d'ordre supérieur à 2 dans le modèle. En toute rigueur, ce serait possible mais il est très rare que des interactions d'ordre 3 ou plus soient non négligeables et de plus elles sont souvent très difficiles à interpréter. L'écriture de la formule utilise les mêmes règles qu'en mathématiques avec les signes étoiles, les parenthèses ou encore le signe moins. Le modèle tel que nous l'avons écrit revient donc à écrire ce modèle avec tous les effets et toutes les interactions avec vent et toutes celles avec pluie. Notez que l'interaction d'un effet avec lui-même revient à écrire simplement l'effet: A:A équivaut à A. Si vous mettez plusieurs fois le même effet, il ne sera considéré qu'une fois. Si on écrit pluie:vent et vent:pluie, l'interaction entre la pluie et le vent ne sera estimée qu'une fois. On voit que le modèle que l'on construit utilise beaucoup d'effets et d'interactions et par suite nécessite l'estimation de beaucoup de paramètres. Rappelons que les variables quantitatives ont 1 degré de liberté. Que la variable vent a 3 degrés de liberté et donc toutes les interactions avec vent utiliseront également 3 degrés de liberté. La variable pluie ayant 2 modalités, elle n'utilise qu'1 degré de liberté tout comme toutes les interactions de la pluie avec les variables quantitatives. On a donc 11 variables avec 1 degré de liberté, 1 variable à 3 degrés de liberté, 10 interactions avec vent qui ont 3 degrés de liberté et 10 interactions avec pluie qui ont 1 degré de liberté et l'interaction pluie-vent qui a 3 degrés de liberté. On a donc 57 degrés de liberté plus 1 paramètre pour la constante, soit 58 paramètres à estimer à partir des données. La sélection de variables et d'interactions diminuera grandement le nombre de paramètres à estimer. On l'a vu, le nombre de paramètres à estimer est très grand et il est donc important de sélectionner un sous-modèle. En utilisant le critère BIC pour faire la sélection, on retient un sous-modèle beaucoup plus simple avec les variables T9, T15, NE12, VX9, MAXO3V, vent et les interactions T9*vent et T15*vent. Le R² est plus petit avec le sous-modèle mais ceci est attendu car nous avons estimé beaucoup moins de paramètres. Et maintenant le plus intéressant commence: l'interprétation des résultats. On peut donc voir le tableau des tests globaux de chaque effet, donc de chaque variable explicative et interaction. Ce tableau donne la variabilité du maximum d'ozone expliquée exclusivement par chaque effet, mais nous allons surtout commenter la p-value. Les p-values sont inférieures à 0.05 sauf pour la variable vent et les variables T9 et T15. Mais ces variables sont conservées dans le modèle car elles influent sur le maximum d'ozone à travers les interactions T9*vent et T15*vent. On peut donc dire qu'il y a des effets significatifs de la nébulosité, de la vitesse du vent et du maximum d'ozone de la veille sur le maximum d'ozone. Les interactions significatives permettent de dire qu'il y a des effets de la direction du vent et de la température sur le maximum d'ozone, mais l'effet de la température dépend de la direction du vent. Autrement dit, selon la direction du vent, l'effet de la température est amplifié ou diminué. On peut aussi commenter les effets non significatifs. La pluviométrie n'est pas un facteur déterminant qui influe sur le maximum d'ozone car elle n'apparaît pas dans le modèle. Une seule nébulosité, NE12, est conservée dans le modèle. Cela ne veut pas dire que les autres nébulosités n'ont pas d'effet. Elles peuvent avoir un effet similaire à celui de la nébulosité à 12 heures. Donc attention ici, lors de l'interprétation, à ne pas croire que la nébulosité à 12 heures influe sur le maximum d'ozone et que les 2 autres n'influent pas. Il y a de grandes chances pour qu'il y ait une corrélation forte entre toutes les variables de nébulosité et que le modèle n'ait retenu qu'une seule variable car l'information portée par les variables de nébulosité est, sont redondantes et peut être résumée par une seule variable. C'est la même chose pour la vitesse du vent. Pour la température, on a besoin des températures à 9 heures et à 15 heures pour mieux prévoir le maximum d'ozone. L'effet de la température n'est pas exactement le même entre 9 heures et 15 heures, mais 12 heures n'est pas utile comme info ici. L'effet de la nébulosité sur le maximum d'ozone est le même quelle que soit la direction du vent puisque l'interaction nébulosité-vent n'est pas significative. De même, l'effet de la vitesse du vent sur le maximum d'ozone est le même quelle que soit la direction du vent puisque toutes les interactions entre la direction et les vitesses de vent sont non significatives. On peut évidemment continuer à interpréter la présence ou l'absence de tous les effets. Après avoir commenté les effets globaux de chaque variable ou interaction, on peut interpréter plus dans le détail les coefficients non nuls. Le coefficient pour la température à 9 heures vaut 1.82. Ce qui n'est pas significativement différent de 0. On l'avait vu dans la diapositive précédente, l'effet de la température à 9 heures est présent à travers l'interaction avec la direction du vent. On ne va donc pas trop commenter ce coefficient. De même pour la température à 15 heures. Le coefficient de la nébulosité à 12 heures est égal à -0.301. Cela signifie que plus la nébulosité à 12 heures est grande, plus le maximum d'ozone a tendance à être petit. Pour éviter de mal interpréter, on vérifie que le signe du coefficient est le même que le signe du coefficient de corrélation entre la nébulosité et le maximum d'ozone. Plus précisément, le modèle dit que si la nébulosité à 12 heures augmente d'une unité, toutes les autres variables de température, vitesse du vent, maximum d'ozone de la veille restant égales par ailleurs, le maximum d'ozone diminue de -3. Diminue de 3. En pratique, il est souvent difficile de dire toutes les autres variables restant égales par ailleurs car il existe des liaisons entre les variables explicatives et on ne peut donc pas voir ce que serait une augmentation d'une unité pour une variable sans que les autres variables bougent. Le coefficient du maximum d'ozone de la veille vaut +0.34 et donc plus le maximum d'ozone de la veille est grand, plus le maximum d'ozone est grand. Pour les quatre lignes suivantes, nous avons les coefficients de direction du vent. On peut lire que les jours de vent d'est et surtout du nord ont des maximums de zones supérieurs aux jours de vent d'ouest et du sud. Cependant, on l'a vu, l'effet seul de la direction du vent est non significatif. Donc on ne peut pas affirmer que ces coefficients soient différents de zéro. On ne va donc pas trop les commenter. Nous avons ensuite 4 coefficients pour l'interaction direction du vent et température à 9 heures. Les jours de vent du nord, l'effet de la température à 9 heures est plus important car le coefficient vaut 6.14. Ainsi, quand le vent vient du nord, l'effet de la température à 9 heures est particulièrement fort. Donc s'il fait chaud à 9 heures quand le vent vient du nord, le maximum d'ozone risque d'être important. Pour 1°C de plus avec une température à 9 heures, Le maximum d'ozone augmente de 1,82. Ça, c'est l'augmentation moyenne quelle que soit la direction du vent, plus 6,14. Donc 1,82+ 6,14= 7,96. Donc 1°C de plus à 9 heures si le vent vient du nord fait augmenter le maximum d'ozone de 7,96. Là encore, si toutes les autres variables restent constantes. Quand le vent vient de l'est, l'effet de la température à 9 heures est de 1,82 moins 4.74 qui est égal à -2.92. Donc si la température à 9 heures augmente de 1 degré et que le vent vient de l'est, alors le maximum d'ozone diminue de 2.92, toujours si toutes les autres variables restent constantes. Cela peut paraître surprenant que le maximum d'ozone diminue si la température à 9 heures est plus élevée. Mais en fait, il faut bien avoir en tête que ce serait le cas si toutes les autres variables restaient constantes. Or, si la température à 9 heures augmente de 1°C, il y a de grandes chances que la température à 15 heures augmente aussi et si la température à 15 heures augmente, le coefficient entre vent d'est et T15 vaut 3.68, ce qui a tendance à augmenter le maximum d'ozone. C'est ici toute la difficulté des interprétations des coefficients quand les variables explicatives sont corrélées. Et c'est donc tout l'intérêt de pouvoir construire des plans d'expériences quand on peut choisir les expériences que l'on effectue. On pourrait ici construire un modèle avec la température à 9 heures comme variable explicative et l'écart de température entre 15 heures et 9 heures plutôt que la température à 15 heures. Il y aurait moins de liaison entre T9 et l'écart de température entre 15 heures et 9 heures. Et ce serait plus facile d'interpréter ensuite les résultats du modèle. Revenons sur la démarche à adopter en modélisation. Tout d'abord, on va lister toutes les variables qui entrent en jeu pour expliquer ou prédire la variable réponse. On n'hésitera pas à mettre plus de variables que pas assez. Ensuite, il est important de visualiser les données et notamment les liaisons avec la variable réponse pour s'assurer qu'il n'y a pas de valeurs aberrantes et pour avoir quelques idées sur les liaisons entre variables. Puis on écrit et construit le modèle en choisissant à la fois les effets et les interactions qui peuvent expliquer la réponse. On ne mettra pas systématiquement et sans réfléchir toutes les interactions possibles dans le modèle. On peut a priori écarter certaines interactions quand on connaît un peu le phénomène que l'on étudie. Et surtout on évite de mettre des interactions d'ordre supérieur ou égal à 3. Les interactions pour lesquelles on ne peut pas décider a priori seront mises dans le modèle quitte à construire un modèle avec beaucoup d'effets. Et on laissera les tests statistiques faire la sélection. Pour cela, à partir du modèle complet, on sélectionne le sous-modèle qui minimise l'AIC ou le BIC ou on construit le sous-modèle à la main en supprimant les interactions et effets non utiles puis on construit ce sous-modèle. Enfin, et c'est le plus important, on interprétera les résultats, les effets significatifs comme ceux non significatifs. On interprétera les coefficients du modèle en faisant bien attention aux confusions possibles, notamment pour les variables quantitatives. Et enfin, on peut utiliser le sous-modèle pour prédire de nouvelles valeurs si on a un objectif de prévision. Merci d'avoir visualisé toutes ces vidéos sur la modélisation. À vous de jouer pour construire des modèles et interpréter les résultats de la modélisation.
More from Yamossoun

Algorithme de calcule de la racine carrée par dichotomie #dichotomy #squareroot #algorithm









