Analyse des correspondances (cours 2/5) : visualisation du nuage des lignes et des colonnes

Nous avons vu que l'analyse des correspondances allait travailler à partir du modèle d'indépendance. Pour représenter l'analyse des correspondances, nous allons maintenant raisonner essentiellement géométriquement et construire 2 nuages de points. Tout d'abord, nous allons construire le nuage de profils lignes. Un profil ligne est un ensemble de J valeurs numériques, c'est donc un point dans l'espace à J dimensions que l'on note R^J, chaque dimension de cet espace correspondant à une modalité j de la variable V2. Ainsi, sur la dimension j, le profil ligne i a comme coordonnée fij sur fi., c'est-à-dire le jème terme de son profil. Si l'on considère l'ensemble des profils lignes i, on obtient le nuage des profils lignes, ce que l'on note Ni. Dans ce nuage, on peut situer ce que l'on a appelé le profil moyen qui a comme coordonnée la jème dimension f.j. Ce profil moyen, on l'appelle G comme centre de gravité. G peut en effet être considéré comme le centre de gravité du nuage N_I à condition d'affecter à chaque point i un poids proportionnel à son effectif marginal, donc à fi. Dans cet espace, ce qui nous intéresse surtout c'est de comparer la position du profil ligne i au profil moyen. Pour cela, on va placer l'origine du nuage au profil moyen. Dans cet espace, il faut savoir calculer une distance. La distance qui est utilisée dans l'analyse des correspondances est appelée distance du chi². Elle ressemble beaucoup à la distance euclidienne usuelle. En effet, on va retrouver une somme des carrés des écarts. Ici on a l'écart entre le profil i et le profil i', fij sur fi. et fi'.j sur fi'. On élève au carré et on fait la somme sur tous les j. La différence avec la distance euclidienne usuelle, c'est que chaque dimension j a un poids qui est 1/f.j. La justification de cette distance apparaîtra dans la suite du cours. Le centre de gravité du nuage, qui correspond au profil moyen, a pour coordonnée f.j. Donc la distance entre le profil i et le profil moyen est simplement cette distance. De même que l'on a construit un nuage des profils lignes, on va construire un nuage des profils colonnes. Un profil colonne, c'est un ensemble de I valeurs numériques, c'est donc un point dans un espace à I dimensions. Dans cet espace, chaque dimension correspond à une modalité i de V1. Le long de cette modalité i, la coordonnée du profil colonne est fij sur f.j. Il y a J profils colonnes qui constituent à eux tous le nuage N_J. À ce nuage, on ajoute le profil moyen G_j qui a donc comme coordonnée fi. sur l'axe i. Ce profil moyen peut être considéré comme le centre de gravité du nuage à la condition d'affecter à chaque profil colonne j un poids égal à son effectif marginal, ou plus exactement à sa probabilité marginale, c'est-à-dire ici f.j. Dans cet espace, on accorde une importance très grande à la distance entre un profil colonne et le profil moyen. Pour cela, on va mettre l'origine au centre de gravité. Pour calculer la distance dans cet espace, on utilise, comme dans le nuage des profils lignes, la distance du chi². Ici, cette distance du chi² s'écrit de la façon suivante: c'est une somme des carrés des différences des coordonnées mais chaque différence des coordonnées est pondérée par 1/fi. Le centre de gravité du nuage, qui correspond au profil moyen, a pour coordonnée fi. Donc la distance entre le profil j et le profil moyen est simplement la racine carrée de cette quantité. Alors que se passe-t-il s'il y a indépendance? S'il y a indépendance, la probabilité conditionnelle est égale à la probabilité marginale, c'est-à-dire que dans chacun des nuages, tous les profils sont confondus avec le profil moyen. Autrement dit, le nuage dans ce cas est réduit à un seul point, l'origine des axes. Donc plus les données s'écartent de l'indépendance et plus les profils s'écartent de l'origine. Calculons l'inertie du nuage NI par rapport à son centre de gravité. L'inertie d'un nuage de points c'est la somme des inerties de ces points. L'inertie d'un point c'est la masse par le carré de distance donc on a bien ici l'inertie du point i qui vaut fi. multipliée par le carré de la distance du qui-deux entre i et Gi. Lorsque l'on effectue les calculs, on obtient le résultat intermédiaire suivant qui n'est autre que le Phi carré ou si l'on préfère le Chi² sur n. Ainsi l'inertie du nuage de points est bien un indicateur d'intensité de l'écart à l'indépendance. Comme ce qui nous intéresse c'est d'étudier l'écart à l'indépendance, ceci revient à étudier l'inertie de Ni. Tel est le point de vue de l'analyse des correspondances. On peut faire le même raisonnement pour le nuage NJ et on a le résultat suivant: l'inertie pour le nuage NI est égale à l'inertie du nuage NJ. Ça c'est un résultat capital qui est englobé dans ce qu'on appelle la dualité, c'est-à-dire le caractère double. En fait, il revient au même d'analyser des tableaux en termes de lignes ou en termes de colonnes. Ceci est très important en analyse des correspondances. On s'aperçoit que, en analyse des correspondances, lignes et colonnes jouent des rôles parfaitement symétriques. C'est là une propriété très importante qui la distingue d'autres méthodes comme l'analyse en composantes principales par exemple. Nous avons traduit notre question initiale qui est celle de la liaison entre 2 variables qualitatives comme d'abord un écart à l'indépendance. Cet écart à la situation d'indépendance s'interprète géométriquement comme une inertie du nuage NI par rapport à l'origine des axes. Pour étudier cette inertie, comment procède l'analyse des correspondances? Eh bien elle décompose cette inertie par analyse factorielle. Ce qu'on appelle ici analyse factorielle, c'est le dénominateur commun à toutes les méthodes dites factorielles, à savoir l'analyse en composantes principales, l'analyse des correspondances bien sûr, l'analyse des correspondances multiples enfin. Et donc l'analyse factorielle procède de la façon suivante. Elle projette un nuage de points sur une suite d'axes orthogonaux d'inertie maximum. Quand on a une suite d'axes, on peut apparier les axes et constituer ainsi des plans. Examinons comment on va trouver le premier plan. Alors la meilleure représentation plane du nuage NI s'obtient, comme on l'a dit, par projection donc sur un plan . On a ici le point Mi qui correspond au profil de i. Ce point Mi est projeté sur le plan en Hi. En fait, ce que l'utilisateur regarde, ce sont les points Hi et il espère que le point Hi n'est pas trop différent du point Mi pour pouvoir conclure. Quel est le critère que l'on utilise pour trouver le plan? Ce que l'on cherche à bien représenter, rappelons-le, c'est l'inertie du nuage Ni et ce que l'on cherche à maximiser, c'est l'inertie projetée. Examinons cette relation. On reconnaît ici l'inertie projetée du point i, c'est-à-dire la masse du point i, fi point, par le carré de sa distance à l'origine. En intégrant le signe somme, on a bien l'inertie projetée du nuage N_i. Donc la question est de trouver le plan P qui rend maximum l'inertie projetée. On dit que l'on a un plan d'inertie maximum. Alors pour trouver ce plan, on va d'abord chercher un axe u1 d'inertie maximum, puis un second axe u2 d'inertie avec la contrainte que u2 doit être orthogonal à u1. On a donc apparié u1 et u2 pour avoir le plan . L'inertie d'un axe s sera notée lambda_s, lambda parce qu'il s'agit d'une valeur propre, s parce qu'il s'agit de la valeur propre de rang s, les valeurs propres étant rangées par ordre décroissant. Voici le graphique fourni par l'analyse des correspondances quand on l'applique à notre tableau de données. On a donc un graphique plan sur lequel se trouvent et les lignes et les colonnes. Pour les lignes, ce sont les points en bleu, à savoir les pays. Pour les colonnes, on a les points rouges, à savoir les catégories de prix. Quelles sont les règles d'interprétation? Un point sur lequel nous avons beaucoup insisté, c'est la distance au centre de gravité. Examinons par exemple le point du Royaume-Uni. Il est très proche du centre de gravité. Regardons le profil du Royaume-Uni: 25%, 6%, 8%, 28%, 12% et 22%. Et ce profil comparons-le maintenant au profil moyen. On voit aussi ici qu'il est très proche: 25% contre 21%, 6% contre 11%, 8% contre 9%, 28% contre 25%, 12% contre 9% et 22% contre 26%. On voit bien que le profil du Royaume-Uni est proche du profil moyen, ce qui se concrétise par une proximité entre le point correspondant et l'origine. Si maintenant on choisit un autre point, par exemple l'Italie, eh bien l'Italie est assez loin de l'origine, ce qui veut dire que le profil de l'Italie est différent du profil moyen. Examinons le profil de ce pays. Par exemple, 5% des prix obtenus par les Italiens le sont en chimie. Alors que dans la population le pourcentage est de 21%. En revanche, 32% des prix italiens sont obtenus en littérature alors que 9% des prix sont obtenus en littérature pour l'ensemble des pays du G8. Un point important pour l'utilisateur est de nommer un axe. Alors comment nommer un axe ici? Considérons les éléments d'un ensemble, par exemple les points bleus, c'est-à-dire les lignes, donc les pays. On trouve des oppositions entre les pays d'Amérique du Nord sur la gauche, les pays latins, France et Italie, sur la droite et Japon et Allemagne dans le bas du graphique. Il est difficile de décrire les axes avec les pays sauf si on sait par exemple que les Nord-Américains sont réputés en sciences économiques et que Français et Italiens sont plus tournés vers la littérature. Maintenant si on regarde les points rouges, c'est-à-dire les catégories de prix. Ces points rouges se répartissent avec sur la gauche les prix obtenus en médecine et sciences économiques et sur la droite les prix Nobel de littérature et de la paix. Le 2ème axe, l'axe vertical, oppose quant à lui les prix Nobel de physique et chimie aux prix Nobel en sciences économiques. On peut penser que le 1er axe oppose les prix scientifiques aux autres prix tandis que le 2ème axe oppose la physique-chimie aux sciences économiques. L'interprétation des axes est la même entre les lignes et les colonnes en raison de ce que nous avons déjà appelé la dualité. En effet, on étudie le même tableau au travers des lignes et au travers des colonnes mais c'est bien le même tableau que l'on analyse. Le tableau des données confronté à ce que l'on obtient si l'on avait exactement l'indépendance. Nous avons vu comment visualiser le nuage des lignes et le nuage des colonnes. Nous verrons dans les prochaines vidéos 2 particularités de l'analyse des correspondances: l'inertie et la représentation simultanée.