Cours d'ACP : représentation des individus et des variables (partie 2/3)

Maintenant que nous avons défini les données sur lesquelles appliquer l'ACP et quelles étaient les problématiques de l'ACP, voyons comment mettre en œuvre l'ACP. On a dit qu'un individu était une ligne du tableau et donc un point dans un espace à K dimensions. Si K= 1, il n'y a qu'une seule variable et il est facile de représenter les individus. On peut faire une représentation axiale et positionner les individus en fonction de la valeur qu'ils prennent pour la variable. Avec 2 variables, on peut construire un nuage de points classique comme on fait avant une régression simple, avec une première variable sur l'axe des X, la deuxième variable sur l'axe des Y. Avec 3 variables, la représentation des individus est plus difficile mais certains logiciels permettent de visualiser des points en 3 dimensions. En fait l'image est en 2 dimensions mais en bougeant le nuage on peut avoir une idée de sa forme en 3 dimensions. Mais avec 4 variables ou plus, il est impossible de représenter un nuage de points en 4 dimensions. C'est impossible à représenter et même impossible à imaginer. Par contre, le concept mathématique est simple: nous avons K coordonnées sur K dimensions, K étant plus grand que 4. Maintenant comment faire pour visualiser le nuage d'individus si celui-ci vit dans un espace très grand? Pour répondre à cette question, nous devons d'abord définir la notion de ressemblance. Quand est-ce que 2 individus se ressemblent? 2 individus se ressemblent s'ils prennent des valeurs proches sur l'ensemble des K variables. Et donc on peut définir la distance entre 2 individus grâce à Pythagore: la distance au carré entre 2 individus est la somme des carrés des écarts sur chacune des variables. Donc c'est une définition simple de la notion de ressemblance et donc finalement quand je veux étudier le nuage des individus, cela revient à étudier la forme de ce nuage: voir les individus qui sont proches, les individus qui sont éloignés. L'étude du tableau de données peut être réalisée géométriquement via l'étude des distances entre individus. Et l'analyse des distances entre individus revient à étudier la forme du nuage de points. On voit sur cette photographie un vol d'étourneaux. Le nuage d'oiseaux est en 3 dimensions et la photographie permet de visualiser le nuage dans un espace plus petit en 2 dimensions seulement. À partir de cette représentation en 2 dimensions, on a une bonne idée de la forme du nuage dans l'espace complet et donc une bonne idée des distances entre chaque oiseau. Donc quand les individus vivent dans un espace de grandes dimensions, on va chercher à étudier la forme du nuage et à visualiser ce nuage en 2 dimensions. Pour étudier la forme du nuage, nous allons parler de 2 prétraitements possibles sur les données: le centrage et la réduction. Centrer les données revient à translater le nuage, ce qui ne modifie absolument pas sa forme. La forme du nuage reste inchangée puisque le centrage revient juste à translater le nuage. Donc on centrera toujours les données. Voyons maintenant si nous devons réduire ou non les données. Dans le schéma de droite, on a une représentation de la taille d'individus en fonction de leur poids. La taille est exprimée en centimètres et le poids en quintal. Notons que les données ont été centrées. On voit que le nuage de points est très allongé et vertical. Sur le schéma du milieu, la taille est cette fois représentée en mètres et le poids en kilogrammes. La forme du nuage est très différente puisqu'on a un nuage de points très allongé et horizontal. Or nous avons dit que nous voulons étudier la forme du nuage de points. On voit bien que selon l'unité choisie, centimètre et quintal ou mètre et kilogramme, la forme du nuage n'est pas du tout la même. Comment gérer cela? Une idée est de centrer-réduire les données car si on centre et réduit les données, les variables deviennent comparables car elles sont sans unité. La réduction, on parle aussi de standardisation ou encore de normer les données, est indispensable si les unités de mesure sont différentes d'une variable à l'autre. Maintenant si toutes les variables sont exprimées dans la même unité, il est possible de réduire ou non. La réduction conduit à accorder la même importance à chaque variable et ne pas réduire donne plus d'importance aux variables qui ont une variabilité plus grande, une variance plus grande. L'importance d'une variable sera proportionnelle à son écart-type. Donc il y a une discussion à avoir pour normer ou non, c'est-à-dire réduire ou non avant l'ACP. Dans la suite du cours, on va toujours centrer et réduire les variables du jeu de données. Voici le jeu de données de l'exemple centré-réduit. Ce tableau de données centrées-réduites donne déjà quelques informations. On voit par exemple qu'à Brest, en juillet, on a une valeur de -2,06. Cela signifie que les températures à Brest sont assez extrêmes en juillet. La valeur de -2 signifie que ce sont des valeurs inférieures à la moyenne et assez extrêmes. On sait que si les valeurs d'une variable suivent une loi normale, alors 95% des valeurs centrées-réduites sont comprises entre -1,96 et 1,96. Ici on ne sait pas si les données suivent une loi normale mais une valeur centrée-réduite de -2 est très extrême. Donc à Brest il fait particulièrement froid en juillet. À Nice, en revanche, il fait particulièrement chaud surtout en février et octobre-novembre. Les températures sont supérieures à la moyenne et particulièrement grandes. L'ACP, l'analyse en composantes principales, va permettre d'analyser ce tableau centré-réduit. Alors analyser ce tableau centré-réduit ça veut dire le visualiser. C'est difficile de voir ce tableau puisqu'il est en 12 dimensions. On ne peut pas le visualiser en 12 dimensions. On va chercher à en avoir une image approchée. Mais on va chercher une image qui s'en rapproche le plus possible. On va donc ajuster ce nuage des individus, c'est-à-dire l'approcher au mieux. L'objectif de l'ACP sera de fournir une image simplifiée du nuage de points qui soit la plus fidèle possible, qui permette d'avoir une idée des distances entre individus, et que ces distances entre individus soient les plus fidèles possibles. Donc l'ACP va chercher un sous-espace qui résume au mieux les données. Résumer au mieux les données, ça veut dire quoi? L'image est bonne si elle restitue le plus fidèlement possible la forme du nuage original. On peut voir ça sur une petite animation 3D. Alors on a un nuage de points en 3 dimensions. Je vais bouger ce nuage de points et le fait de bouger le nuage de points permet d'avoir une idée de sa forme en 3D. Seulement on cherche uniquement une représentation en 2 dimensions. Uniquement à un plan. Voilà une première proposition de la visualisation du nuage 3D. Là une deuxième proposition. Et enfin une troisième proposition du nuage 3D. Et donc la question est de savoir, parmi ces 3 propositions, quelle est celle qui restitue au mieux le nuage dans son ensemble. J'ai droit à une seule photographie de mon nuage 3D et laquelle choisir? On va avoir tendance à choisir la 3ème proposition. Pourquoi? Parce qu'on a bien séparé les points, ce qui nous donne l'impression de mieux voir les distances entre individus. C'est l'intuition qui nous dit de bien séparer les points et cette intuition est bonne. Par conséquent, une image est bonne si elle restitue fidèlement la forme du nuage. Autrement dit, une image est bonne si on visualise bien la diversité, la variabilité qu'il y a dans les données. Et surtout une image est bonne si elle ne déforme pas trop les distances entre individus. Les distances entre individus sont au départ calculées dans un espace à 12 dimensions et en les plongeant dans un espace à 2 dimensions elles ont été un peu déformées. Et on cherche à ce qu'elles soient le moins déformées possible. Alors comment peut-on quantifier la qualité d'une image? Tout simplement avec la notion de dispersion. Plus un nuage de points sera dispersé, mieux on verra le nuage. Et un nuage de points est dit très dispersé s'il y a une forte variabilité. Cette variabilité est sur plusieurs dimensions et une variabilité sur plusieurs dimensions c'est ce qu'on appelle l'inertie. On va donc parler d'inertie maintenant. L'inertie est une variance mais généralisée à plusieurs dimensions. Voici une petite illustration, là encore d'une visualisation d'un nuage 3D. Ici nous avons un animal qui est en réalité en 3 dimensions mais nous avons une photographie qui le représente uniquement sur un plan en 2 dimensions. Et quelle est l'image qui restitue au mieux La forme du nuage dans l'espace global, c'est plutôt l'image de droite. On reconnaît un chameau parce qu'on voit beaucoup plus de choses et notamment 2 bosses et 4 pattes. Décrivons plus en détail comment ajuster le nuage des individus, c'est-à-dire comment trouver la meilleure image approchée du nuage. En fait, on va le faire en plusieurs étapes. On va commencer par trouver le premier axe, on parle aussi de premier facteur, qui déforme le moins possible le nuage de points. Donc si on note Hi la projection d'un individu sur un axe, O le centre de gravité du nuage, iHi² est l'écart entre l'individu i dans l'espace initial et sa projection sur un axe. Et on veut que l'écart entre un individu et sa projection soit le plus petit possible. Plus précisément, on veut que le carré de cet écart soit le plus petit possible. Comme la distance OI d'un individu à l'origine est toujours la même, IHI est petite si OHI est grande. Ça c'est grâce à Pythagore. On sait que OHI²+ IHI²= OI². Donc comme OI est constant, IHI² est petit si OHI² est grand. Donc on veut avoir les OHI² les plus grands possibles. Comme je veux ça sur tous les individus, je veux que la somme des OHi² soit la plus grande possible. Et la somme des OHi² c'est bien la dispersion des individus la plus grande possible. On trouve ainsi le premier facteur. Ensuite on va chercher le meilleur plan. Donc trouver le meilleur plan revient à trouver les points Hi qui appartiennent non plus à un axe mais qui appartiennent à un plan, et tel que la dispersion soit la plus grande possible là encore. Donc il faut que la somme des OHi² soit la plus grande possible. Que les points soient les plus dispersés possible. Alors une remarque: le meilleur plan, donc le plan qui permet de visualiser au mieux le nuage de points, contient le meilleur axe. Et pour trouver le meilleur plan, on va chercher le meilleur axe et ensuite chercher un axe orthogonal à ce premier axe et qui maximise la somme des OHi², autrement dit qui maximise l'inertie. Puis une fois qu'on a trouvé le 2ème axe, on peut rechercher un 3ème axe et donc séquentiellement chercher les axes les uns après les autres. Et à chaque fois, un axe doit être orthogonal à tous les axes précédents et maximiser l'inertie. Visualisons cela avec cette animation. Ici j'ai une théière en 3 dimensions et je vais trouver les axes qui permettent de visualiser au mieux cette théière. Donc je trouve le premier axe, c'est celui qui permet de visualiser au mieux la théière. Si on avait projeté les points de la théière sur un axe, on aurait pris l'axe en rouge. Et maintenant on cherche un 2ème axe orthogonal au 1er. On fixe la 1ère dimension et on cherche un axe orthogonal au 1er qui permet de visualiser au mieux la théière. Et donc là on a trouvé le 1er axe en rouge et le 2ème axe en vert. Alors reprenons nos données avec les 15 villes, les 14 variables quantitatives, donc les 12 variables de température et les 2 variables géographiques, la latitude et la longitude. On va visualiser le nuage des individus uniquement à partir des données de température. Donc on s'intéresse dans un premier temps uniquement aux 12 premières variables de température. La meilleure représentation des individus est la suivante. Ce graphe montre par exemple que Montpellier et Marseille sont très proches. Que signifie Montpellier et Marseille sont très proches? Cela signifie que les températures moyennes à Montpellier et à Marseille sont à peu près les mêmes et ce quel que soit le mois de l'année. Les valeurs sont à peu près les mêmes donc les points sont proches. De même, Rennes et Nantes sont 2 villes ayant des températures proches pour les 12 mois de l'année. Par contre, Nice et Lille ont des comportements très différents. Ces 2 villes sont complètement opposées, opposées sur le premier axe. Donc si elles sont opposées sur le premier axe, cela signifie que ce sont des villes très différentes puisque le premier axe est celui qui sépare au mieux les points. Donc l'axe qui sépare au mieux les points est un axe qui sépare Lille et Nice et donc ces 2 villes ont des comportements très différents. Et ce sur l'ensemble des variables. Alors maintenant qu'est-ce qui sépare, qu'est-ce qui oppose Lille à Nice? Pour répondre à cette question, on peut avoir une bonne connaissance des données et dire qu'à Lille il fait plutôt froid et à Nice plutôt chaud. Mais si on veut raisonner uniquement à partir du jeu de données, on va vouloir utiliser les variables pour interpréter ces dimensions de variabilité. Qu'est-ce qui oppose Lille à Nice? Pour le savoir, on va considérer les coordonnées des individus sur les axes. Par exemple ici l'individu Brest. On va récupérer sa coordonnée sur le 1er axe et la noter fi1, 1 pour 1er axe, et puis sa coordonnée sur le 2ème axe fi2. Donc pour chaque individu nous collectons sa coordonnée sur l'axe horizontal et sa coordonnée sur l'axe vertical. On peut ainsi créer 2 vecteurs: un 1er vecteur qui regroupe toutes les coordonnées de tous les individus sur le 1er axe et un 2ème vecteur qui regroupe toutes les coordonnées de tous les individus sur le 2ème axe. Par construction, ces vecteurs ont I coordonnées, le même nombre que chaque variable du tableau de données. Pour interpréter le graphe des individus, on peut calculer la corrélation entre une variable, par exemple la variable janvier, et l'axe 1. On peut aussi calculer la corrélation entre janvier et l'axe 2. Si la variable janvier est très liée à l'axe 1, cela voudra dire que les températures en janvier sont très liées aux coordonnées sur l'axe 1. Ainsi, si la corrélation est proche de 1, cela veut dire que les individus qui ont de faibles valeurs pour janvier prennent de faibles valeurs sur l'axe 1. Les individus qui prennent de faibles valeurs sur l'axe 1 sont les individus à gauche du graphe. Et les individus qui ont de fortes valeurs en janvier prennent de fortes valeurs sur l'axe 1 et seront donc à droite sur le graphe. Si la corrélation est négative, alors les individus qui prennent de faibles valeurs pour janvier prendront de fortes valeurs sur l'axe 1. Et inversement, les individus qui prennent de fortes valeurs pour janvier prendront de faibles valeurs sur l'axe 1. Et même chose avec l'axe 2. On a la corrélation avec l'axe 2. Et donc on va pouvoir construire un graphe avec une représentation de toutes les variables du jeu de données. Toutes ces variables vont se retrouver dans un cercle qu'on appelle le cercle des corrélations et on appelle ce graphe le graphe du cercle des corrélations. Pour l'exemple, le graphe du cercle des corrélations est le suivant. On voit que toutes les variables sont corrélées à l'axe 1, au facteur 1. On a une corrélation qui est positive et supérieure à 0.6, 0.7 pour toutes les variables. On a même des corrélations très élevées pour octobre et mars par exemple, des corrélations très proches de 1. Cela signifie que les températures en octobre sont très liées aux coordonnées sur l'axe 1. Autrement dit, les villes qui sont à gauche, avec une faible coordonnée sur l'axe 1, ont des températures faibles au mois d'octobre. Les villes qui sont au milieu ont des températures moyennes en octobre et les villes qui sont à droite ont des températures élevées en octobre. Quand je dis des températures élevées, c'est par rapport aux autres villes, le même mois de l'année. Donc comment peut-on interpréter l'axe 1? En fait, on a toutes les variables qui sont très liées à l'axe 1. Donc à droite du graphe, on a toutes les villes pour lesquelles il y a de fortes valeurs à la fois pour janvier, décembre, février, novembre, etc. Donc pour tous les mois de l'année. À droite, les villes qui ont une forte coordonnée sur l'axe 1 sont des villes où il fait plutôt chaud tous les mois de l'année. Et à gauche on a des villes où il fait plutôt froid tous les mois de l'année. Et ça c'est le principal facteur de variabilité. Ce qui différencie le plus les villes c'est qu'il y a des villes où il fait froid un peu tout le temps et d'autres où il fait chaud un peu tout le temps. Maintenant qu'est-ce qui sépare les villes par rapport au 2ème axe? Dans le 2ème axe, les corrélations sont un peu moins fortes. Ceci est normal puisque c'est un axe de variabilité qui est moins important, c'est le 2ème axe de variabilité. Donc en haut du graphe des individus, on a des villes où il fait plutôt chaud en janvier-décembre et plutôt froid en mai-juin-juillet. Il fait plutôt chaud en janvier-décembre parce que la corrélation avec l'axe 2 est positive. Elle n'est pas très proche de 1 mais elle est positive, de l'ordre de 0.5. Tandis que la corrélation est négative avec les variables mai-juin-juillet. On peut donc dire que les villes qui ont des coordonnées plutôt élevées sur l'axe 2 vont prendre des valeurs plutôt faibles en mai, juin, juillet. Autrement dit, en haut du graphe, on va avoir des villes où il fait plutôt doux l'hiver, plutôt chaud l'hiver et plutôt froid l'été. Et au contraire, les villes qui sont en bas du graphe sont des villes où il fait plutôt chaud l'été et plutôt froid l'hiver. On a donc déterminé les principaux facteurs de variabilité. Le premier axe sépare les villes chaudes des villes froides. Le deuxième axe est orthogonal au premier et donc il différencie des villes à une température moyenne annuelle constante. Ce deuxième axe sépare, en haut du graphe, des villes où il fait plutôt chaud l'hiver et froid l'été, donc ayant une petite amplitude thermique annuelle, aux villes, en bas du graphe, où il fait plutôt froid l'hiver et chaud l'été, donc aux villes ayant une forte amplitude thermique annuelle. C'est ça qui va différencier principalement les villes. Donc il y a un premier axe de variabilité, villes chaudes, villes froides, le deuxième axe plutôt par rapport à l'amplitude thermique annuelle. Nous avons vu l'étude des individus, voyons maintenant l'étude des variables. Rappelons qu'une variable est un point dans un espace à I dimensions puisqu'il y a I individus. C'est donc un vecteur de I coordonnées. On va s'intéresser au nuage des variables qui vit dans cet espace à I dimensions. Les variables seront représentées par des flèches, ce qui est coutume en analyse en composantes principales car, comme nous le verrons, nous interpréterons surtout des angles. Donc je représente la variable k par une flèche qui part de l'origine. Le cosinus de l'angle θkl entre la flèche qui représente la variable k et la flèche qui représente la variable l, le cosinus de cet angle est égal au produit scalaire entre la variable k et la variable l divisé par la norme de la variable k et la norme de la variable l. C'est donc égal à la somme sur tous les i des xik xil divisé par la norme de xik xil. Divisé par la racine carrée de la somme des Xik² que multiplie la somme des Xil². Puisque les X sont centrés, on peut lire somme des Xik- X̄k fois Xil- X̄l divisé par l'écart-type de la variable k multiplié par l'écart-type de la variable l. Donc quand les données sont centrées, on reconnaît finalement le coefficient de corrélation entre la variable k et la variable l. On a ainsi une représentation géométrique ici du coefficient de corrélation entre 2 variables k et l. La représentation géométrique de cette corrélation est le cosinus de l'angle entre les variables k et l. Si les variables sont réduites, la longueur des flèches est égale à 1 et donc l'extrémité de chaque flèche sera à une distance 1 et toutes les extrémités des flèches seront sur une hypersphère de rayon 1. Comment faire maintenant pour visualiser ce nuage de variables? Ce nuage vit dans un espace à I dimensions et on ne peut pas le visualiser sur les I dimensions. On va utiliser la même stratégie que pour les individus, c'est-à-dire qu'on va ajuster le nuage des variables afin de visualiser au mieux le nuage des variables. Comme pour les individus, on va chercher des axes orthogonaux qui permettent de représenter au mieux les variables. Le premier axe, l'axe qui permet de voir au mieux l'ensemble des variables, est l'axe qui maximise la somme des corrélations entre le facteur et chacune des variables. Donc le meilleur facteur V1 est le facteur qui est le plus lié à l'ensemble des variables, plus liée au sens des corrélations au carré. Donc la variable V1 sera une variable synthétique qui résume au mieux l'ensemble des variables. Cette variable 1 va porter le 1er axe et une fois que cette variable V1 est déterminée, on cherche un 2ème axe orthogonal au 1er et qui permet de bien synthétiser le reste de l'information qui n'a pas encore été synthétisée par le 1er axe. On va donc séquentiellement chercher un axe orthogonal aux axes précédents et qui maximise l'information qui n'est pas encore résumée par les premiers axes. Et donc l'ajustement du nuage des variables sur notre jeu de données, eh bien c'est la même représentation des variables que la représentation qu'on avait précédemment. Tout à l'heure on avait construit une représentation des variables pour nous aider à interpréter le nuage des individus et maintenant quand je construis des axes pour voir au mieux le nuage des variables, je retombe sur la même représentation. Donc c'est un peu magique, un peu incroyable, mais c'est ce qui fait toute la force de l'analyse en composantes principales. On a la même représentation que précédemment et donc cette représentation du nuage des variables nous a permis de caractériser le nuage des individus, la représentation des individus. Elle nous a servi à caractériser les individus, donc dans l'exemple, les villes froides, les villes chaudes, les villes avec une faible amplitude thermique, une forte amplitude thermique. C'est aussi, on vient de le voir, une représentation optimale du nuage des variables. Mais c'est également une visualisation de l'ensemble des corrélations entre entre les variables prises 2 à 2, visualisation grâce aux cosinus des angles entre les variables. C'est donc aussi une visualisation de la matrice des corrélations. C'est assez magique parce que c'est la même représentation. Alors justement pour les représentations, on a vu que le coefficient de corrélation entre la variable B et la variable A est égal au cosinus de l'angle entre la variable B et la variable A. Attention, cette égalité est vraie pour l'angle dans l'espace. Or on ne visualise pas l'angle dans l'espace mais on le visualise dans le plan de projection. Le schéma suivant montre à gauche les variables dans l'espace avec le plan de projection en grisé et à droite le plan avec leurs projections. Par exemple, les variables D et E ici sont très proches du plan de projection. Ces variables sont proches de leurs projections respectives. Le projeté Hd est très proche de D parce que la variable D est proche du plan de projection. Et donc l'angle dans l'espace global entre D et E est très proche de l'angle entre les projections Hd et He, angle que l'on peut visualiser dans le plan de projection. Et donc on peut utiliser l'angle entre les projetés pour visualiser la corrélation entre D et E. Plus exactement, le cosinus de l'angle HdHe est très proche du cosinus de l'angle entre D et E parce que les variables sont bien projetées et donc ce cosinus de l'angle entre Hd et He est très proche du coefficient de corrélation entre D et E. Par contre, quand les variables sont mal projetées, ce qui est le cas par exemple pour les variables A et B, l'angle ici dans le plan de projection est petit alors que l'angle dans l'espace est très grand. Il y a une flèche qui part avec une coordonnée élevée sur une 3ème dimension quand la flèche B est plus vers le bas avec une coordonnée faible sur la 3ème dimension. Et donc ces 2 flèches se projettent à peu près au même endroit dans le plan de projection mais elles sont mal projetées et donc le cosinus de l'angle ici est très différent du cosinus de l'angle dans l'espace. Par conséquent, on ne peut pas lire le coefficient de corrélation pour les variables A et B. Le cosinus de l'angle ici, qui est proche de 1 car l'angle est petit, n'est pas proche du coefficient de corrélation. Donc je ne peux lire les coefficients de corrélation que pour les variables qui sont bien projetées. Et les variables sont bien projetées si elles sont proches du cercle des corrélations. En effet, comme on a une hypersphère de rayon 1 qui est coupée par un plan, alors elle se projette dans un cercle de rayon 1. Si la flèche est proche du bord du cercle, la variable est bien projetée et donc je peux visualiser l'angle entre les variables qui sont bien projetées. Par contre, pour des variables mal projetées comme A et B, leurs projetés Ha et Hb se projettent à peu près au même endroit. Mais il est impossible, juste avec la projection, de savoir si la flèche A est vers nous et la flèche B derrière nous ou si les 2 flèches sont vers nous. Dans un cas on a une forte corrélation positive, dans l'autre il n'y a pas de corrélation. Donc il est impossible d'interpréter. On ne peut interpréter que les variables bien projetées. Nous avons vu comment visualiser le nuage des variables et le nuage des individus. Nous verrons dans la prochaine vidéo différentes aides à l'interprétation très utile pour compléter l'analyse des résultats d'une ACP. Vous pouvez maintenant faire le quiz pour vous assurer que vous avez bien compris comment fonctionne l'analyse en composantes principales.