L'analyse textuelle, ou comment la statistique décortique des œuvres littéraires

Moi, je vais vous présenter des choses sur l'analyse textuelle. Alors, je travaille pas vraiment en recherche là-dessus, mais sur les techniques qui sont utilisées pour essayer de visualiser ces données de texte. Et donc là, c'est un petit exemple pédagogique que j'ai essayé de faire sur des œuvres littéraires. Alors, les données sur lesquelles j'ai travaillé, eh bien, c'est des œuvres littéraires provenant de 18 auteurs avec 323 textes qui ont été pris en compte. Donc j'ai pas tout lu, loin de là. Et l'idée, eh bien, c'est de se dire, est-ce qu'on peut voir comment les auteurs rendent compte de la réalité du monde? Quelles sont les questions qui peuvent se poser? Quelles sont leurs visions de la vie qu'ils sont en train de mener, de leur entourage? Et bien, autre question, est-ce qu'on peut construire des classes d'auteurs, des courants de pensée parmi ces auteurs? Alors, en faisant ça, pas en lisant tous les textes, mais en s'aidant éventuellement un petit peu de statistiques. Évidemment, il faut aussi lire les textes, mais là on va voir ce que les statistiques pourraient apporter si on veut bien appréhender cette question-là. Donc l'idée de départ, c'est qu'on a ces textes, donc ces 323 textes. Alors en fait, moi j'ai considéré que j'avais 18 auteurs, comme s'ils avaient fait une seule, un ensemble d'œuvres quoi. Et l'idée qu'on peut avoir, c'est de se dire, finalement, parmi ces auteurs, s'ils emploient les mêmes mots, c'est qu'en fait derrière, ils véhiculent un peu les mêmes idées, ils s'intéressent aux mêmes problèmes. Et donc ce qu'on peut se dire, c'est que finalement, est-ce qu'on peut construire un tableau de données qui va croiser les auteurs et les mots qu'ils utilisent? Donc ce qu'on fait, c'est que les œuvres ont été numérisées, ça c'est assez facile maintenant, Et puis on prend le dictionnaire, et puis sur tous les mots du dictionnaire, on va compter combien de fois Aragon, par exemple, a employé le mot accord. Et puis on fait ça sur tous les mots et tous les auteurs, et on se retrouve avec un tableau de données qui a énormément de lignes, autant de lignes qu'il y a de mots. Donc c'est vraiment très important comme tableau de données. Alors moi, je me suis restreint à tous les mots qui étaient cités au moins 100 fois. C'est un tableau un peu plus court, mais il y a quand même 978 mots et puis 18 auteurs. Donc vous voyez un tableau qui est assez conséquent. Et puis l'idée, c'est à partir de ce tableau d'essayer de trouver des regroupements et de comprendre pourquoi les auteurs se ressemblent. Comment est-ce qu'on va pouvoir analyser un tel tableau de données? Avant d'aller directement sur un gros tableau de données comme ça, j'ai pris un petit exemple pour essayer de de faire passer les idées de comment est-ce qu'on peut voir les auteurs qui se ressemblent, les auteurs qui sont différents, en quoi ils se ressemblent, en quoi ils sont différents. Donc j'ai pris un extrait avec 5 mots et 3 auteurs uniquement. Et puis ici, j'ai mis 3 auteurs: Corneille, Racine et Zola. Et puis 5 mots sur la profondeur. Il y a 5 mots: la fureur, linge, Je ne vois pas bien. Sentier, vallée et victoire. Et là, ce qu'on voit, c'est que tous les auteurs emploient les mots à peu près dans les mêmes proportions. La hauteur du bâton est à peu près la même partout, donc tous les auteurs emploient les mots dans les mêmes proportions. Donc là, on a envie de dire il n'y a pas de spécificité des auteurs. Ils disent tous à peu près les mêmes choses, ils s'intéressent à peu près tous aux mêmes choses. Autre situation, bien là, les barres ne sont pas de la même hauteur d'un auteur à l'autre. Il y a des auteurs qui ont employé beaucoup plus de mots. Zola, qui est à droite, toutes les barres sont plus hautes, mais finalement, c'est dans les mêmes proportions pour chaque auteur. Donc en fait, ils emploient à peu près les mots dans les mêmes proportions. Donc on a envie de dire, là encore, ils s'intéressent à peu près tous aux mêmes choses. Et puis, situation qui va beaucoup plus nous intéresser, là, vous voyez immédiatement qu'il y a des choses qui sont particulières, notamment par exemple que Corneille, On voit qu'il accorde beaucoup d'importance au mot victoire, il suremploie ce mot-là beaucoup plus que les autres. Il y a une association forte entre Corneille et le mot victoire. Et puis il y a une petite barre tout en bas ici où on se dit que Zola, lui, au contraire, sous-emploie le mot victoire. Pardon, excusez-moi, Corneille c'était pour le mot fureur, qui suremploie le mot fureur, et au contraire Zola sous-emploie le mot victoire. D'accord, donc là, on voit bien ce qui se passe sur les données. Et puis, en faisant ça, on va pouvoir voir les auteurs qui se ressemblent plus ou moins, qui ont à peu près les mêmes profils d'utilisation des mots. Et puis les auteurs qui ont des profils différents et qui suremploient certains mots. Alors, pour les étudiants de terminale, vous avez peut-être entendu parler d'indépendance, de tests du chi-2. C'est un petit peu ces choses-là qu'on peut faire sur ces données. Le problème dans notre analyse à nous, c'est qu'on avait quand même 18 auteurs et 978 mots. Donc des barres, il va y en avoir beaucoup, je vais quand même avoir du mal à retrouver les profils qui se ressemblent et les profils qui sont différents. Il y a beaucoup trop de chiffres dans mon tableau, de nombres dans mon tableau, pour pouvoir visualiser les données comme ça. Donc comment je vais faire? Je vais construire une carte des auteurs, en ayant l'idée suivante: 2 auteurs qui emploient à peu près les mots dans les mêmes proportions, qui ont à peu près les mêmes idées, je vais les rapprocher sur la carte, je les mets proches. Et des auteurs qui emploient des mots très différents, je vais les éloigner sur la carte. Et puis je vais essayer de construire la carte, une carte optimale pour pouvoir voir au mieux les ressemblances entre auteurs, les différences entre auteurs. Donc j'éloigne les auteurs qui emploient des mots différents, et puis les auteurs qui emploient les mots à peu près dans les mêmes proportions que tout le monde, je vais avoir envie de le mettre à peu près au milieu de la carte. Et puis ceux qui emploient des mots qui sont très particuliers, eh bien je les éloigne, je les mets sur le côté. Et donc voici la carte qui est donnée de façon complètement automatique. Une fois que j'ai le tableau de mots, c'est immédiat avec un petit logiciel. Et donc qu'est-ce qu'on voit ici? On voit des choses, alors vous allez pouvoir reconnaître des choses, par exemple Corneille Racine qui s'intéresse un petit peu quand même aux au même sujet puisqu'ils sont proches sur ma carte, c'est qu'ils s'intéressent au même sujet. Ils sont opposés au contraire à Zola qui est très éloigné. Donc voilà, après, est-ce qu'on peut interpréter ça? Là, on pourrait demander à des linguistes de nous expliquer plus ça ou des gens qui s'intéressent à la littérature de près de nous interpréter ça. Stendhal, Balzac sont très proches aussi, très éloignés de Lamartine. Voilà, donc on retrouve des choses. Qui peuvent être intéressantes, qu'on connaît plus ou moins. Alors j'ai voulu vérifier un petit peu cette carte-là, voir si c'était pas complètement aberrant, et j'ai mis par exemple les dates de naissance des auteurs juste dessous. Et ce qu'on voit, c'est qu'il y a quand même une évolution du vocabulaire. On voit dans le temps les auteurs qui sont positionnés, alors pas parfaitement sur cette parabole, mais quand même, Ils sont positionnés et on voit l'évolution du vocabulaire partant de Corneille et Racine qui sont les plus vieux et allant par le XVIIe siècle et XVIIIe siècle, pardon, Marivaux, Diderot, après XVIIIe, Stendhal, Balzac et non, XIXe, Stendhal, Balzac et tout cela XIXe et XXe. Donc il y a vraiment une évolution du vocabulaire. On se dit qu'on retrouve des choses intéressantes. Autre chose qu'on peut faire en mathématiques, en statistiques, c'est d'essayer de faire les groupes d'auteurs. C'est ce que je vous disais tout à l'heure: est-ce qu'on peut regrouper les auteurs, retrouver des courants littéraires? Eh bien, on peut construire ce qu'on appelle des arbres hiérarchiques. Dans ces arbres, il y a d'ailleurs des nœuds, donc par rapport à l'exposé de tout à l'heure, donc des nœuds et des branches. Et l'arbre est propose en fait une visualisation des distances entre les auteurs, donc des auteurs qui sont très proches, Diderot et La Bruyère sont très proches, Corneille et Racine sont très proches, etc. Puis on peut voir que ces auteurs-là sont très éloignés au contraire d'Aragon, Zola. Et on peut couper l'arbre, et quand on coupe l'arbre, ça construit des classes. Et donc là, j'ai constitué les classes qui sont proposées par la classification qui s'appelle une classification en statistiques automatiques. Et donc dans ces classes, eh bien, on retrouve en fait des courants de pensée littéraire de façon quasi automatique. Donc là, il y a des regroupements qui ont été faits et qui sont loin d'être aberrants. Alors on retrouve par exemple donc Corneille et Racine qui sont des classiques, qui sont du XVIIe siècle, qui sont opposés à Zola, qui est un naturaliste. Donc là, les classifications que je donne, classique, naturaliste, je l'ai retrouvé dans Wikipédia. C'est ces noms pour ces courants. On voit aussi Stendhal et Balzac qui sont des réalistes, qui sont très éloignés de Lamartine, qui est un romantique. Et en regardant dans Wikipédia, ce qu'on peut noter par exemple, c'est une phrase qui est dite, c'est Les réalistes, ils ont un point commun, c'est de s'éloigner des romantiques. Moi, sur ma classification, j'observe exactement ça, c'est que les réalistes sont à l'opposé des romantiques. Donc on retrouve des choses comme ça. Enfin, moi, je les retrouve en tout cas, je connaissais pas. Et puis on retrouve l'évolution du vocabulaire selon les siècles. Alors maintenant que j'ai fait mes groupes d'auteurs, ce qu'on peut se dire, c'est est-ce qu'on peut caractériser ces auteurs? Ils avaient le même courant de pensée ou des courants de pensée proches? Qu'est-ce qui caractérisait ces courants de pensée? De quoi est-ce qu'ils parlaient? Donc là, on avait un jeu de données avec des mots, eh bien on va pouvoir utiliser ces mots-là pour essayer de caractériser les courants de pensée. Donc alors là, c'est peut-être un peu plus technique, c'est pour voir comment est-ce qu'un mot est caractéristique d'un groupe d'auteurs. Donc là, je me suis dit, est-ce que le mot victoire est caractéristiques du groupe d'auteurs Corneille et Racine. Donc ça, c'est des choses, alors pour les terminales, des choses que vous avez dû faire. C'est bien, on se dit le mot victoire, il a été cité 303 fois en tout par les 18 auteurs et 248 fois par Corneille et Racine. Donc là, on se dit quand même, ils ont beaucoup cité le mot victoire par rapport aux autres. Et en tout, il y avait 1 548 000 mots, peu plus, et Corneille et Racine, eux, ont utilisé 81 065 mots. Et donc là, ce qu'on peut se dire, c'est est-ce que le mot victoire est suremployé ou pas par Corneille et Racine? Bien là, l'idée, c'est des idées qu'on a avec les boules et les urnes. Là, on met des boules dans une urne, des boules blanches, des boules rouges, et on fait des tirages. Et quelle est la probabilité d'avoir des boules rouges, un certain nombre de boules rouges? Bien là, la question, c'est un peu ça, c'est je mets dans une urne des boules blanches qui correspondent aux mots qui sont tous les mots autres que le mot victoire, et je mets des boules rouges qui sont les boules qui correspondent au mot victoire. Donc j'en mets 303. Et puis après, je tire des boules au hasard, j'en tire 81 065, c'est le nombre de mots que Corneille et Racine ont cités. Donc j'en tire 81 065 et je regarde combien j'ai de boules rouges. Et je me dis, eh bien, si j'ai 248 boules rouges ou 250 boules rouges, c'est que Corneille et Racine utilisent les mots comme s'ils avaient choisi ces mots-là au hasard. Et puis si au contraire j'ai très peu de chances d'avoir 248 boules rouges ou plus que 248 boules rouges, je me dis Corneille et Racine n'utilisaient pas ces mots-là par hasard, ils avaient vraiment, ils ont vraiment suremployé ce mot-là. Et donc là, la probabilité d'avoir plus que 248 boules rouges, 248 boules rouges ou plus que 248 boules rouges, c'est 2× 10⁻⁶. Donc j'ai très, très, très, très, très peu de chances de tomber sur 248 boules rouges ou plus si j'avais tiré au hasard dans une urne. Donc là, je peux affirmer qu'il y a quelque chose de significatif. Et donc Corneille et Racine suremploient ce mot victoire et donc ça caractérise ce courant de pensée. Et donc ce que j'ai fait là avec le mot victoire, je peux le répéter pour les 978 mots. Et donc je vais voir comme ça quels sont les mots qui caractérisent chaque courant de pensée. Donc là, j'ai repris le courant de pensée pour les classiques, La Corneille et Racine. Donc il y a ingrat, pleure, alarme. Et puis il y a beaucoup de mots. Et puis je peux le faire pour Lamartine et puis après pour Sade. Alors là, je ne vais pas citer les mots pour Sade. Et puis il y a quelque chose qui est éventuellement plus intéressant, c'est de se dire plutôt que d'avoir des listes, Est-ce que je ne pourrais pas positionner les mots sur ma carte d'auteurs? Comme ça, je vais avoir à la fois les auteurs et les mots, et je vais pouvoir comprendre directement sur une même carte. Ça, c'est assez facile, il suffit de calculer un barycentre. Tout le monde sait calculer un barycentre. Le mot victoire, je vais le positionner au barycentre des auteurs, au barycentre des auteurs, mais en mettant un poids sur le nombre de fois où ils ont utilisé le mot. Corneille a utilisé le mot par exemple 150 fois, je vais prendre un poids de 150 pour Corneille. Racine, 100 fois, ça va être un poids de 100. Puis Zola, 0, je mets un poids de 0. Je calcule le barycentre et je positionne le mot victoire à cet endroit-là. Je positionne comme ça tous les mots. Voici la carte qu'on obtient. C'est une carte évidemment qui est très chargée puisque j'ai beaucoup de mots au départ. J'ai 978 mots, donc voilà, il y a beaucoup de mots. Eh bien, ils sont positionnés. Alors je peux éclaircir un petit peu et puis donner quelques mots caractéristiques de chaque courant de pensée positionné sur la carte. Et on voit comme ça comment caractériser maintenant les courants de pensée. Et puis bien, les classiques Corneille et Racine, on voit qu'ils utilisent des mots par rapport au thème de la tragédie, d'accord. Les romantiques, eux, ils utilisent des mots comme vallée, tronc, Rocher, bien eux, ils s'intéressent beaucoup à la nature et on retrouve ici les thématiques de ces auteurs. Alors là, c'est assez général ce que je dis, mais on peut aller un peu plus dans le détail, par exemple comparer les réalistes et les naturalistes ou voir leurs points communs. Mais en fait, on peut voir que naturalistes et réalistes, eux, ce qu'ils ont envie, c'est de montrer la société telle qu'elle est et dans les mots qu'ils emploient. Mais on retrouve bien ça. Et puis même, on peut les différencier, naturalistes et irréalistes, parce que dans les naturalistes, alors là, c'est encore sur Wikipédia que j'ai trouvé ça, c'est qu'ils s'intéressent à décrire de façon un peu plus scientifique les choses pour expliquer le comportement des protagonistes. Donc là, c'est ce qu'on retrouve avec Zola et le naturalisme. Il emploie des mots où il décrit vraiment le réel avec le trottoir, le linge, etc. Donc voilà sur cet exemple d'analyse textuelle, c'est un petit exemple. Alors évidemment, après il faut aller creuser et puis discuter avec des gens qui connaissent bien les œuvres, mais ça peut permettre une première approche de nombreuses œuvres. Ici, il y avait quand même 323 textes, Ce qui est vraiment énorme. Alors d'autres exemples d'analyse textuelle. Je vous ai dit pour chaque auteur, j'avais pris l'ensemble de ses œuvres directement et j'avais mis tout ça dans un seul sac. Mais j'aurais pu aussi prendre chaque œuvre et puis positionner chaque œuvre et voir s'il y a une évolution dans ses œuvres à chaque auteur. Mettre un point par œuvre et puis voir s'il y a une évolution dans le temps, ou si au contraire ils restent vraiment très proches sur un même sujet. On pourrait faire de l'analyse textuelle sur les professions de foi des candidats à la présidentielle par exemple. Ça va arriver, et je ne sais pas si ce sera très intéressant, mais bon. On peut faire des analyses textuelles aussi sur des questions ouvertes. On a questionné des personnes, et puis on leur demande de répondre à différentes questions, et puis il y a aussi des questions ouvertes souvent, pour donner leur avis, c'est libre, eh bien on peut faire de l'analyse textuelle sur ce genre de données. L'analyse des tweets aussi sur des recettes de maïs dans une grosse entreprise d'agroalimentaire. Alors je dis ça parce qu'on a eu des étudiants en stage qui ont fait ça, donc voilà, c'est pour ça que j'en parlais. Mais c'est des choses où on a énormément de tweets, donc énormément de données, et on a besoin d'outils pour visualiser ça de façon facile. Et puis ce que je voulais dire, c'est que tout ce que je vous ai dit là sur la construction des cartes, sur les associations entre les cartes et les mots, je l'ai fait avec des auteurs français, mais j'aurais pu le faire avec des auteurs allemands. Il n'y avait aucune difficulté parce que j'ai juste un tableau avec des mots et des auteurs, et donc je peux très bien le faire avec Goethe, Kant, Nietzsche, etc. Après, je vais avoir du mal à interpréter un peu plus loin, Mais il n'y a pas vraiment de difficulté à passer à ça. Et puis la technique qui permet d'analyser ces tableaux qu'on appelle tableaux où on croise les auteurs et les mots, il y a des tableaux comme ça, il y en a dans d'autres domaines. Alors comme moi je suis dans une école d'agronomie, il y en a par exemple en écologie, on va s'intéresser à des milieux, différents milieux et puis différentes espèces, et puis on compte le nombre d'espèces dans chaque milieu pour voir s'il y a il y a des associations qui sont privilégiées. Donc ça, c'est des choses relativement connues. Alors il y a aussi des recherches actuelles sur le sujet, par exemple sur des tableaux de données où on a fait des enquêtes, et on avait des enquêtes auprès de personnes qui sont des Espagnols et d'autres qui sont des Anglais. Et donc forcément, ils emploient pas les mêmes mots. Les Espagnols emploient des mots espagnols et les Anglais des mots anglais. Mais pour autant, ce qu'on a envie, c'est de savoir s'ils ont à peu près les mêmes idées, s'ils disent à peu près les mêmes choses. Donc là, on a un tableau de données qui est assez particulier parce qu'il n'y a aucune donnée en commun. Ici, en grisé, c'est que j'ai pas de données. Et pour autant, j'ai envie de savoir si— Alors là, les données qu'on avait, c'était des données sur une enquête sur des voyageurs qui prenaient un train en Espagne. Et donc il y avait les Espagnols qui répondaient à un questionnaire qui était en espagnol, et puis les non-Espagnols répondaient à un questionnaire en anglais. Mais ce qu'on voulait, c'était savoir si le ressenti était le même chez les Espagnols et chez les non-Espagnols. Alors évidemment, on peut pas directement analyser ces tableaux-là et voir leurs ressemblances parce qu'il n'y a pas de données en commun, ni les lignes ni les colonnes. Et ce qu'on fait, c'est qu'on s'aide d'autres, d'autres données pour essayer de voir les liens entre ces deux études. Et là, on avait un tableau de données où, voilà, on avait vu ce que disaient les Espagnols était assez proche de ce que disaient les non-Espagnols. Les non-Espagnols souffraient plus de la chaleur quand il y avait des problèmes de climatisation que les Espagnols. Voilà, c'était ce qui est ressorti de l'étude. Et puis, bien, je vais m'arrêter là juste pour vous donner le nom de la méthode qui a été utilisée. C'est ce qu'on appelle l'analyse des correspondances et puis la classification qui permet de faire un arbre et de faire des groupes. Et puis si vous voulez en savoir plus, il y a un MOOC sur ces données-là. Donc un MOOC, c'est un cours en ligne gratuit. Donc voilà, vous pouvez regarder, ou des vidéos sur YouTube. Et je vous remercie de votre attention.