Analyse des correspondances (cours 1/5) : données et modèle d'indépendance

Cette semaine, nous vous présentons 5 vidéos de cours sur l'analyse factorielle des correspondances. L'ensemble des vidéos aborde les points suivants: nous commencerons par décrire les données, préciserons quelques notations et les questions que l'on se pose lorsque l'on met en œuvre une analyse des correspondances. Nous verrons que la notion cruciale en analyse des correspondances est celle de la liaison entre 2 variables qualitatives et qu'étudier la liaison entre 2 variables qualitatives, c'est examiner l'écart entre les données et une situation d'indépendance. Nous verrons ainsi comment l'analyse appréhende l'écart à l'indépendance. Nous raisonnerons de façon essentiellement géométrique en construisant un nuage des lignes et un nuage des colonnes, nuages que nous représenterons par analyse factorielle, c'est-à-dire en projetant sur des plans en pratique. Nous donnerons quelques indications sur les pourcentages d'inertie. De ce point de vue, l'analyse des correspondances ne se distingue pas d'autres méthodes d'analyse factorielle comme l'analyse en composantes principales. Nous indiquerons également quelques résultats techniques concernant les inerties et là il s'agit de résultats qui sont tout à fait particuliers en analyse des correspondances. De même, en analyse des correspondances, la représentation simultanée des lignes et des colonnes est assez particulière et elle bénéficie des propriétés dites barycentriques. Nous décrirons enfin quelques aides à l'interprétation: contributions et qualité de représentation. De ce point de vue, l'analyse des correspondances n'est pas particulière par rapport à l'analyse en composantes principales par exemple. Commençons donc par décrire les données. Les données sur lesquelles on travaille sont constituées par n individus pour lesquels on dispose de 2 variables qualitatives. Ces données sont regroupées dans un tableau dit tableau de contingence dans lequel on trouve en lignes les modalités de la variable V1, en colonnes les modalités de la variable V2 Et à l'intersection de la ligne i avec la colonne j, on trouve xij, le nombre d'individus ayant choisi ou possédant à la fois la modalité i de V1 et la modalité j de V2. Ce tableau de contingence est aussi appelé tableau croisé dans la terminologie des enquêtes. Donnons quelques exemples de tableaux de contingence. Un premier exemple, historique parce que c'est sans doute une des premières applications de l'analyse des correspondances. Est l'étude du vocabulaire des personnages de la pièce de théâtre Phèdre. On place les personnages en lignes, les mots utilisés par les personnages en colonnes et en xij le nombre de fois que le personnage i a utilisé le mot j. 2ème exemple, on s'intéresse à la perception de parfums de luxe. Pour cela, on a demandé à des dégustateurs d'associer des mots à chacun des parfums. On place les parfums en lignes, les mots en colonnes et en xij le nombre de fois où le parfum i a été décrit par le mot J. Enfin, en écologie, on s'intéresse à la diversité écologique de plusieurs milieux. On place en lignes les milieux, en colonnes les espèces de plantes ou d'animaux et en xij le nombre de plantes j trouvées dans le milieu i. De telles données sont nombreuses et pour ceux qui connaissent le test du chi² d'indépendance, il s'agit des mêmes tableaux de données. Les données qui vont nous servir à illustrer notre présentation de l'analyse des correspondances sont les suivantes. Il s'agit d'un tableau qui croise les pays du G8 en lignes et les différentes disciplines dans lesquelles les prix Nobel sont décernés. Dans une case du tableau, on dénombre le nombre de personnes nées dans un des pays du G8 et ayant obtenu un prix Nobel dans la discipline concernée. Le tableau donne donc la répartition des 570 prix Nobel distribués entre 1901 et 2015. Par exemple, 51 Américains ont obtenu le prix Nobel en chimie. Ce tableau croisé a été complété par ce que l'on appelle des marges. Ici on a ce qu'on appelle la marge colonne, marge colonne parce qu'elle se présente comme une colonne, mais chacun de ces termes, par exemple 80, est une somme qui est faite en ligne. 80 est bien la somme de 24+ 1+ 8+ 18+ 5+ 24. Il y a aussi une marge ligne. Cette marge ligne s'appelle marge ligne parce qu'elle se présente comme une ligne, Mais pour l'obtenir, on fait la somme des termes en colonne. Ainsi 121 est bien la somme de 4+ 8+ 24+ 1+ 6+ 4+ 23+ 51. Donc on se pose la question suivante: y a-t-il une relation entre les pays et les disciplines? Autrement dit, est-ce que certains pays sont spécialisés dans certaines disciplines? Et est-ce que certaines disciplines priment plutôt les ressortissants de certains pays? Un tableau de contingence est généralement obtenu à partir du croisement de 2 variables. Donc initialement, les données sur lesquelles on travaille sont constituées par n individus pour lesquels on dispose de 2 variables qualitatives. Dans le tableau de données que l'on voit ici, l'individu l possède la modalité i de la variable V1 et la modalité j de la variable V2. On construit alors un tableau de contingence ou tableau croisé en mettant en regard les modalités de la première variable V1 en ligne par exemple, et les modalités de la seconde variable V2 ici en colonne. À l'intersection de la ligne i et de la colonne j, on trouve Xij, le nombre de personnes ayant choisi ou possédant la modalité i de V1 et la modalité j de V2. Si l'on calcule la somme de tous les termes de ce tableau, on trouve n. Ce tableau contient donc la distribution des n individus, dans notre cas ce sont les n= 570 prix Nobel répartis dans les ij cases du tableau. À partir de ce tableau de contingence, on va calculer le tableau de probabilités correspondant. Et l'analyse des correspondances va en fait travailler sur le tableau des probabilités. Pour obtenir une probabilité, par exemple fij, on divise simplement l'effectif xij par l'effectif total n. On obtient bien ainsi la probabilité conjointe de posséder à la fois la modalité i de V1 et la modalité j de V2. C'est ce terme que l'on met dans le tableau. Quand on fait la somme de tous ces termes, on obtient 1, ce qui est bien la marque d'une distribution de probabilités. Ce tableau va être complété par sa marge colonne. On va noter fi. la somme des termes de la ligne i. De même, on va compléter ce tableau par une marge ligne dont le terme général f.j est obtenu en faisant la somme des termes de la colonne j. Notre problème est de regarder la liaison entre V1 et V2, c'est-à-dire l'écart entre les données observées et une situation d'indépendance. Donnons quelques précisions sur l'indépendance entre 2 variables qualitatives et comment l'analyse des correspondances appréhende l'écart à l'indépendance. Commençons par rappeler le modèle d'indépendance pour 2 événements. 2 événements sont indépendants si la probabilité de A et B est égale au produit des probabilités, probabilité de A fois probabilité de B. Pour 2 variables qualitatives, on va avoir fij, probabilité de i et de j, est égale à fi, probabilité de i, multipliée par fj, probabilité de j. Mais ceci doit être vrai, bien sûr, quel que soit i et quel que soit j. On dit que la probabilité conjointe est le produit des probabilités marginales. Il y a une autre écriture de ce modèle d'indépendance que l'on voit ici: fij sur fi point est égal à f point j. Dans ce cas, on dit que la probabilité conditionnelle est égale à la probabilité marginale. Ceci peut paraître un peu formel mais finalement cette écriture est plus proche de l'intuition d'indépendance. La probabilité conditionnelle ici c'est la probabilité d'être j sachant que l'on est i. Et donc s'il y a indépendance, cette probabilité est égale à la probabilité d'être J même si l'on ne dispose d'aucune information quant à l'autre variable, c'est-à-dire I. Il y a enfin l'écriture symétrique dans laquelle on divise f par f.J et selon le modèle d'indépendance, cette nouvelle probabilité conditionnelle, c'est-à-dire la probabilité cette fois d'être I sachant que l'on est J, est bien égale à la probabilité marginale d'être i. La liaison entre 2 variables qualitatives, c'est l'écart entre les données observées d'une part, c'est-à-dire fij, et le modèle d'indépendance d'autre part, c'est-à-dire fi. que multiplie f.j. Quand on étudie la liaison entre 2 variables qualitatives, on réalise généralement en premier lieu un test de significativité de la liaison en mettant en œuvre un test du chi². On rappelle ici la forme du test du chi² dans lequel on confronte les effectifs observés avec les effectifs théoriques. L'effectif théorique est tout simplement la probabilité selon le modèle d'indépendance, c'est-à-dire fi.f.j multiplié par l'effectif total n. Dans cette quantité du chi², on peut mettre n en facteur et faire apparaître la quantité n phi². Le Phi², lui, confronte les probabilités observées et les probabilités théoriques. C'est donc un indicateur d'intensité de la liaison. C'est l'écart entre probabilités observées et probabilités théoriques. Pourquoi intensité de la liaison? Parce que ce terme ne dépend pas de l'effectif mais uniquement des probabilités. Il y a enfin un 3ème point qui est la nature de la liaison, c'est-à-dire comment les modalités des 2 variables s'associent entre elles. L'analyse des correspondances travaille sur le tableau des probabilités, elle ne dit donc rien sur la significativité. Son objectif essentiel est de visualiser la nature de la liaison entre les 2 variables. Petit récapitulatif sur ces 3 points concernant l'étude d'une liaison. Distinguons bien la significativité de l'intensité. Pour l'intensité, par exemple, on a réalisé une petite enquête et on dit qu'à l'issue de cette enquête, Toutes les personnes qui ont les yeux bleus portent des lunettes. On ne peut pas imaginer de liaison plus forte puisque systématiquement pour la variable couleur des yeux, si l'on sait que l'on a les yeux bleus alors on porte des lunettes. L'intensité de la liaison est très grande. Mais maintenant si je vous dis, en fait cette enquête a porté sur 4 personnes, alors évidemment on imagine bien, sans même réaliser le test du chi², que ceci n'est pas significatif. Comment l'analyse des correspondances appréhende-t-elle l'écart à l'indépendance? On va d'abord adopter le point de vue d'une analyse par ligne. Dans cette analyse, on se réfère au modèle d'indépendance suivant: la probabilité conditionnelle sachant i est égale à la probabilité marginale. Pour cela, dans le tableau, on va diviser chaque élément d'une ligne par sa marge. On obtient ainsi ce qu'on appelle un profil ligne i qui n'est rien d'autre qu'une distribution conditionnelle. Dans cette ligne, on a la distribution des réponses pour la variable V2 sachant que l'on possède la modalité i de la variable V1. Ce profil ligne, on va le comparer au profil ligne moyen qui est donc la distribution marginale de la variable V2. Alors pour comparer la distribution conditionnelle à la distribution marginale, l'analyse des correspondances va comparer les profils ligne au profil ligne moyen. Il s'agit bien d'une approche multidimensionnelle de l'écart à l'indépendance parce que l'on considère simultanément l'ensemble des profils. Donc la question c'est bien de comparer la probabilité conditionnelle fij sur fi. et la probabilité marginale f.j mais ceci pour l'ensemble des j. Tout ceci est un petit peu formel, illustrons dans l'exemple ce que signifie comparer un profil ligne au profil ligne moyen. Voici le tableau des profils de chaque pays complété par le profil ligne moyen. La somme de chaque ligne vaut 100. Colorions les colonnes, c'est-à-dire les disciplines, d'une largeur proportionnelle au pourcentage de la discipline dans le profil moyen, donc par rapport à la ligne du bas. Construisons pour chaque ligne, donc pour chaque pays, un graphe en barres empilées afin de visualiser les profils. Examinons la ligne Italie. Il s'agit de la distribution du nombre de prix obtenus par catégorie pour les personnes nées en Italie. Plus concrètement, parmi les lauréats du Nobel nés en Italie, 31,6% ont obtenu un prix Nobel en littérature. Pour apprécier ce pourcentage, il faut le comparer à 8,6%, qui est le pourcentage de prix attribués en littérature pour l'ensemble des pays. Donc le pourcentage de prix Nobel en littérature en Italie est particulièrement grand. Ainsi, on va comparer la répartition des prix Nobel en Italie par rapport à la répartition totale des prix Nobel dans tous les pays. Cette comparaison du profil ligne Italie au profil moyen permet de répondre à la question: les Italiens obtiennent-ils leurs prix plutôt dans certaines disciplines et sont-ils peu primés dans d'autres disciplines? Autrement dit, sont-ils particulièrement primés dans certaines disciplines? Nous allons maintenant étudier ce même tableau mais en procédant par colonne. Alors lorsqu'on réalise une analyse par colonne, on se réfère au modèle d'indépendance suivant: fij sur f.j égale fi. Précisons. On construit le tableau suivant des profils colonnes. Examinons la colonne j. fij sur f.j, c'est la probabilité conditionnelle de répondre i sachant que l'on a déjà répondu j. La somme des termes de cette colonne vaut 1, il s'agit bien d'une distribution de probabilités. De même que l'on a construit le profil colonne j, on va construire le profil colonne moyen. Ce profil colonne moyen a pour terme général fi. qui est la probabilité de répondre i. L'idée de l'analyse des correspondances est de comparer les profils colonnes au profil colonne moyen. Il s'agit là encore d'une approche multidimensionnelle de l'écart à l'indépendance. Multidimensionnel parce que l'on va considérer dans l'ensemble tous les termes d'une colonne que l'on va comparer à tous les termes correspondants de la colonne du profil moyen. Examinons dans l'exemple ce que signifie comparer un profil colonne au profil colonne moyen. Voici les profils colonnes. La somme d'une colonne vaut 100. On peut colorier chaque ligne en fonction de la valeur prise par la ligne dans le profil colonne moyen. Construisons pour chaque profil colonne un graphe en barres empilées afin de visualiser les profils et comparons chaque profil au profil colonne moyen. Par exemple, examinons la colonne littérature. La répartition des prix Nobel de littérature par pays semble très différente du profil moyen. Par exemple, le pourcentage de prix Nobel en littérature attribué aux auteurs américains est plus faible 16,3% en littérature, à comparer à 45,1%. En revanche, en littérature, la France et l'Italie sont particulièrement plus primées par rapport à la répartition globale des prix de ces pays. Donc quand on compare ce profil colonne au profil colonne moyen, on répond à la question suivante: la répartition par pays des prix Nobel en littérature est-elle la même que la répartition de l'ensemble des prix Nobel? Nous avons vu sur quelles données travaille l'analyse des correspondances et que l'analyse des correspondances compare une situation à une situation d'indépendance. Nous verrons dans la prochaine vidéo comment visualiser les écarts à l'indépendance en construisant un nuage des lignes et un nuage des colonnes.