Analyse des correspondances sur données textuelles

Dans cette vidéo, le présentateur montre comment appliquer l’analyse des correspondances (AFC) à un corpus de textes décrivant cinq méthodes d’analyse de données (ACP, AFC, ACM, AFM, classification). À partir des transcriptions de cours, il construit un tableau lexical où les lignes sont les mots et les colonnes les méthodes, chaque cellule contenant le nombre d’occurrences du mot pour la méthode. Il décrit les prétraitements (élimination des mots‑outils, lemmatisation, seuil de fréquence ≥20, regroupement par racine) et rappelle la propriété d’équivalence distributionnelle qui justifie le regroupement de mots aux profils identiques. Il présente les diagnostics statistiques (chi², Phi² = 0.871, inerties, valeurs propres 0.34 et 0.25) montrant une forte association entre mots et méthodes, et explique que les deux premiers axes capturent 67,7 % de l’inertie. L’interprétation du graphe simultané révèle que le premier axe sépare la classification des méthodes factorielles, tandis que le second axe différencie AFC et AFM. Il détaille les mots caractéristiques de chaque méthode. Enfin, il montre que le choix du seuil de fréquence (10, 20, 50) n’affecte pas substantiellement les positions, attestant de la stabilité des résultats. Le cours s’ouvre sur un rappel historique des débuts de l’AFC avec Jean‑Paul Benzécri et ses premières applications textuelles (Phèdre, associations verbe‑nom, rimes).
Chapters
Nous allons voir dans cette vidéo une application de l'analyse des correspondances dans un domaine particulier: l'analyse de données textuelles. L'objectif de cet exposé est d'une part d'illustrer le cours d'AFC par un exemple et d'autre part de montrer comment l'analyse des correspondances permet d'analyser un corpus de textes. Cette vidéo permet aussi de comparer plusieurs méthodes d'analyse de données qui sont vues dans ce cours. Plus précisément, les données sur lesquelles nous travaillons sont des descriptions de 5 méthodes d'analyse de données. L'analyse en composantes principales, l'analyse des correspondances, l'analyse des correspondances multiples, l'analyse factorielle multiple et la classification. La description de ces méthodes correspond au contenu des vidéos de cours après avoir supprimé les exemples traités dans chaque cours pour éviter de différencier les textes en fonction des exemples choisis. À partir des transcriptions de cours, nous avons construit ce que l'on appelle un tableau lexical. En colonne, on trouve les méthodes d'analyse de données et et en ligne les mots tels qu'ils ont été utilisés. Ce tableau lexical comporte, à l'intersection de la ligne i et de la colonne j, le nombre de fois où chaque mot, donc le mot numéro i, a été utilisé pour décrire la méthode numéro j. Par exemple, le mot actif a été cité 14 fois pour l'ACM, 2 fois pour l'ACP, jamais pour l'AFC, 5 fois pour l'AFM et 3 fois pour la classification. Des prétraitements spécifiques à l'analyse de données textuelles peuvent être utilisés ou non avant de faire une analyse des correspondances. Il est plutôt conseillé de faire ces prétraitements lorsque le corpus de textes n'est pas trop important. Les mots-outils comme par exemple alors, donc, et, etc. ont été éliminés de l'analyse pour éviter de surcharger les graphes mais les laisser dans l'analyse ne modifierait pas vraiment les résultats. De même, les mots de même racine comme réduit, réduction, réduite sont concaténés ainsi que les mots utilisés au singulier ou au pluriel. Nous avons de plus conservé les mots cités au moins 20 fois et supprimé donc les mots de faible fréquence. Rappelons la propriété tout à fait remarquable de l'analyse des correspondances qu'est l'équivalence distributionnelle. C'est une propriété particulièrement précieuse dans l'analyse de tableaux lexicaux. En effet, si plusieurs mots ont le même profil, on peut les regrouper en un seul groupe de mots avant de faire l'analyse, en additionnant les effectifs. L'analyse des correspondances de ce tableau simplifié donnera exactement les mêmes résultats que l'AFC sur le tableau d'origine. Cela dépassionne tout à fait le débat: faut-il regrouper certains mots synonymes ou non, les singuliers et pluriels, etc. Grâce à l'équivalence distributionnelle, on sait que, si ces mots ont le même profil, il revient au même de les regrouper ou non. Notre tableau lexical contient finalement 126 mots distincts. Notre objectif est donc l'analyse d'un tableau d'effectifs. La première idée, très simple, consiste à rechercher dans ce tableau les grands effectifs. Exemple: le mot variable a été utilisé 144 fois pour décrire l'ACM. On se dit que l'ACM est une méthode particulière parce qu'elle utilise des variables. Seulement, avant de dire ça, il faut quand même se rendre compte que le mot variable est en fait le mot le plus utilisé, 637 fois. Il est finalement assez banal et donc utilisé 144 fois, ce n'est pas si extraordinaire que ça. On comprend donc que pour analyser un effectif, il faut examiner les marges du tableau. Ça, c'est une des idées importantes de l'analyse des correspondances. Quel est notre objectif? Notre objectif, c'est la visualisation du tableau lexical par l'analyse des correspondances. Donnons, avant de démarrer, quelques éléments historiques. Les premières applications de l'analyse des correspondances, au début des années 60, étaient justement des applications sur des données textuelles. Elles sont dues à Jean-Paul Benzécri qui a fondé l'analyse des correspondances et par la suite toute l'école d'analyse des données. Jean-Paul Benzécri avait comme première étudiante Brigitte Escoffier qui a soutenu sa thèse en 1965. Dans sa thèse, il y a beaucoup de résultats théoriques qui sont très importants pour l'analyse des correspondances. Il s'agit des formules de transition, des formules de reconstitution. Les applications étaient sur des données textuelles. Une première étude consistait dans la pièce de théâtre Phèdre de Racine dans laquelle on avait les personnages de Phèdre d'une part, les mots et pour chaque personnage on avait le nombre de fois qu'il avait utilisé tel mot, tel mot, tel mot. Ça c'est un des premiers tableaux analysés par analyse des correspondances. On avait aussi des tableaux d'association entre verbes et noms. Nombre de fois que tel verbe est utilisé avec tel nom, les rimes, nombre de fois que tel mot rime avec tel autre, etc. Donc il s'agissait bien de données textuelles. Avant d'interpréter les représentations graphiques, regardons les inerties et pourcentages d'inertie. La statistique du chi² et la probabilité critique extrêmement faible associée à ce test nous indiquent que la liaison entre les mots et les méthodes est significative. Nous pouvons aussi calculer l'indicateur de liaison entre les 2 variables qu'est le Phi². Le Phi² vaut ici 0.871 alors qu'il peut au plus être égal à 4 puisque 4 correspond au nombre maximum de valeurs propres non nulles. 4 c'est égal au minimum du nombre de lignes- 1 et du nombre de colonnes- 1. Par conséquent, la valeur de 0.871 est relativement élevée, ce qui montre qu'il y a des associations fortes entre les méthodes et les mots. Cela signifie que certains mots sont employés spécifiquement pour décrire une méthode tandis que d'autres mots sont spécifiques pour d'autres méthodes. Les 2 premières valeurs propres sont élevées, 0.34 et 0.25, ce qui signifie que les interprétations des 2 axes que nous pourrons faire seront fondées sur beaucoup d'informations. Rappelons qu'au maximum une valeur propre peut être égale à 1. Si on regarde les pourcentages d'inertie, peut dire que les 2 premiers axes représentent 67,7% de l'écart à l'indépendance. On pourra considérer ce pourcentage comme grand et se limiter à ces 2 axes dans l'interprétation. Voilà dans notre exemple le graphique simultané fourni par l'analyse des correspondances. Nous avons donc une représentation des lignes, c'est-à-dire des mots en bleu, et des colonnes, donc ici les méthodes en rouge. On voit tout de suite que le premier axe sépare sur la droite la classification des méthodes d'analyse factorielle. Cette séparation est nette et montre que la classification est décrite avec un vocabulaire spécifique. Quels sont les mots suremployés pour décrire la classification? Sans surprise, on retrouve les mots classification, hiérarchique, mais on trouve aussi des mots qui décrivent la méthode: arbre, partition, classe, etc. À l'opposé, à gauche, on retrouve des mots qui décrivent les méthodes d'analyse factorielle. Mais ces mots sont dispersés le long du 2ème axe qui oppose l'AFC en haut à l'AFM en bas. L'ACP et l'ACM ont des coordonnées proches de 0 sur le second axe et sont donc des méthodes assez centrales par rapport aux autres. Les termes en haut à gauche sont suremployés pour décrire l'AFC. On retrouve beaucoup de termes comme le profil, l'indépendance, la probabilité. En bas à gauche, on a des termes spécifiques à l'AFM comme partiel, équilibre, groupe, global ou encore pondéré. Le positionnement de l'ACP est intermédiaire entre l'AFM qui est une ACP pondérée et l'ACM ou l'AFC. Cette diapositive résume les principales interprétations que nous venons de donner à partir du graphe simultané. L'inertie du premier axe est égale à 0.34 et est donc élevée. Cela signifie que le premier axe oppose assez clairement la classification aux 4 méthodes d'analyse factorielle. Et par suite ce premier axe oppose les mots caractérisant la classification de ceux qui caractérisent les autres méthodes. Si la première valeur propre valait 1, alors les mots utilisés pour décrire la classification seraient exclusivement utilisés pour la classification et aucun autre mot ne serait utilisé pour décrire la classification. La valeur propre n'est pas aussi extrême, certains mots sont communs, mais la valeur propre élevée indique que le vocabulaire utilisé pour décrire la classification est assez spécifique. De même, la 2ème valeur propre est relativement élevée, ce qui indique que le vocabulaire utilisé pour l'AFC ou par l'AFM est sensiblement différent. Une autre question se pose de façon systématique à la personne qui analyse des textes. C'est le seuil à partir duquel on conserve les mots. Dans l'analyse qui vient d'être présentée, on a conservé les mots qui étaient utilisés au moins 20 fois. Mais que se passerait-il avec un seuil de 10 ou avec un seuil de 50? Nous avons refait l'analyse avec un seuil de 50 et on voit que les résultats sont ici très stables. Les positions des mots et des méthodes sont très similaires sur ce graphe par rapport au graphe de l'analyse précédente. Ainsi, le choix du seuil pour conserver les mots à utiliser ne modifie pas les interprétations.
More from Yamossoun

Algorithme de calcule de la racine carrée par dichotomie #dichotomy #squareroot #algorithm









