Stanislas Polu - Dust

Bonjour Stanislas Polu, salut, je suis ravi de te recevoir sur Comptoir IA, c'était un invité que je voulais absolument avoir. Donc Stanislas, toi tu es ingénieur entrepreneur, tu as travaillé, tu as créé Totem, une boîte d'analytics il y a longtemps, tu as travaillé chez Stripe et tu es aussi peut-être le seul Français d'OpenAI où tu as travaillé de septembre 2019 à septembre septembre 2022. Donc génial. Donc tu es parti juste avant ChatGPT en fait, alors Stan?

Ouais, quelques, un mois ou deux avant en effet. J'étais pas le seul Français, il y a quelques autres Français chez OpenAI. Les Français sont forts en IA, donc on en a un peu partout.

Trop bien. Alors j'ai vu que, j'ai vu une interview là de Sam Altman par Lex Fridman qui disait que Sam a approuvé toutes les embauches aussi d'OpenAI personnellement. Donc c'est lui qui t'a embauché? Tu l'as rencontré au début de ton aventure là-bas?

Non, pas particulièrement parce que moi j'ai rejoint OpenAI seulement, il me semble, il me semble quelques mois après que Sam Altman devienne vraiment opérationnel dans OpenAI. Donc c'était, je pense qu'il était encore en train de ramp up sur sa fonction. Moi j'ai rejoint OpenAI surtout à travers Greg Brockman. Avec qui j'avais travaillé chez Stripe. Et à travers cette relation, j'avais appris à connaître Ilya et on avait pas mal discuté à l'époque. Et moi, j'avais commencé à m'intéresser au domaine et je voulais m'intéresser aux maths et à l'intelligence artificielle. Et c'était un sujet qui intéressait OpenAI et Ilya en particulier. Et donc c'est à travers ces discussions que finalement j'ai trouvé mon chemin chez OpenAI.

Excellent. Ilya donc, qui est directeur scientifique d'OpenAI, qui est une énorme pointure et qui a misé très gros, si j'ai bien compris, sur le deep learning.

Il a misé très gros toute sa carrière sur le deep learning. C'est lui qui a travaillé sur AlexNet au tout début, avec Alex, je me souviens plus de son nom de famille, et Geoff Hinton. Donc il fait partie de cette toute première génération de personnes qui ont cru au deep learning, mais Donc c'est, ouais, c'est un pilier du domaine, ça, il y a pas de doute.

Trop cool. Et donc aujourd'hui, Stan, tu montes Dust qui permet donc de construire et déployer des LLM, donc des large language models, des applications sur les LLM. Est-ce que tu peux nous en dire plus? Je crois que tu fais ça avec Gabriel Hubert. Et moi, j'avais vu, je pense, une de vos premières aventures même avant Totem, je crois que vous aviez fait une application iPhone qui permettait de téléporter, de voir les images. Super marrant, c'était il y a longtemps, c'était il y a 12 ans ça.

Donc l'application permettait de voir toutes les images publiques temps réel, en temps réel, et donc de pouvoir se balader dans le monde et voir un flot d'images qui arrivait. Ça venait de Facebook, Instagram, Twitter, etc.

Le concept était marrant, ça c'était cool.

Et donc avec Gabriel, alors déjà c'est ça, avec Gabriel il s'avère que quand tu donnes des super pouvoirs comme ça aux gens de pouvoir se téléporter n'importe où dans le monde, malheureusement la plupart des personnes n'ont pas beaucoup d'imagination. Et donc c'est vrai que l'app était très marrante mais pas très sticky, donc les utilisateurs allaient voir chez eux, aller voir peut-être un événement qui se passait et revenaient pas. Donc on avait pivoté vers des, vers des, progressivement on a pivoté vers des analytics sur Instagram, on peut imaginer le chemin entre les deux. Donc on a fait cette aventure de pivots successifs et on avait fini par avoir une belle petite boîte, une belle startup qui marchait bien avec un product market fit sur les analytics Instagram à l'époque. C'était il y a longtemps, c'était il y a 10 ans.

Et alors Fast Forward, et maintenant donc Dust, alors?

Alors moi j'ai quitté OpenAI avec la motivation suivante, et simple, c'est de se dire ces modèles sont déjà incroyablement performants pour certaines tâches. On est loin d'être GA, on pourra creuser sur cette question-là dans le podcast évidemment, mais ils sont déjà extrêmement performants pour plein de tâches utiles et probablement des tâches qui apportent une valeur économique. Néanmoins, si on se place en septembre 2022, leur déploiement dans le monde est resté très limité. Aujourd'hui, c'est je pense encore le cas comparé au potentiel de la technologie. Le déploiement de ces modèles aujourd'hui reste très limité, même si ChatGPT a fait un énorme spike d'usage et de notoriété. Et donc la motivation était de se dire, bah ça y est, c'est plus un problème de autant de recherche. Alors il y a toujours de la recherche à faire pour arriver à créer de l'intelligence artificielle généralisée, c'est le Graal évidemment, mais pour vraiment avoir un impact sur la société, c'est plus autant un problème de recherche qu'un problème de produit. Et donc pourquoi pas aller retourner au charbon d'une certaine manière et essayer d'aller faire cette exploration produit.

D'accord, de l'applicatif en fait.

Ouais, exactement. Et DUST, dans sa première instance, c'est en effet comme tu l'as décrit, une plateforme qui permet de définir ce qu'on appelle des LLM, des Large Language Model Apps. Donc c'est un petit layer d'orchestration au-dessus du Large Language Model pour le spécialiser sur une tâche particulière. C'est-à-dire que, imaginons qu'un workflow demande d'aller chercher de la donnée dans une source de données A, de faire un step de réflexion, d'aller chercher une donnée dans une source de données B et de générer une réponse. Ces modèles sont très stochastiques, donc créer ces apps au-dessus permet de rendre ces modèles un peu plus prédictibles et donc plus utiles, d'essayer de les transformer en outils plutôt qu'en pure magie, d'une certaine manière. Donc c'est le point de départ de Dust. Aujourd'hui, évidemment, il est très tôt, on commence tout juste et notre vision évolue avec ça. Là où on pense qu'il y a un énorme potentiel, évidemment, c'est dans le monde de l'entreprise. Et donc, dans le monde de l'entreprise, les large language models apportent une rupture intéressante qui est la suivante, c'est qu'ils apportent le potentiel de déconnecter la manière dont l'information a été créée et la manière dont elle a été stockée. Par exemple, j'ai fait un message sur Slack ou j'ai écrit un document dans Notion ou j'ai écrit un email ou j'ai j'ai un call qui a été enregistré dans Gong, etc., etc., de la manière dont elle est consommée. Consommer de l'information dans l'entreprise, c'est un problème qu'on a tous ressenti comme un problème. Par exemple, tu rentres sur un nouveau projet, tu veux apprendre tout ce que tu peux apprendre sur le projet, tu vas commencer à chercher dans Notion, dans Drive, dans Slack, etc. Et tu sais pas si ce que tu lis est à jour, tu sais pas si ce que tu lis est vétuste, tu sais pas si ce que tu lis est correct. Et donc tu passes beaucoup de temps à essayer de créer cet état. Et donc les large language models apportent un potentiel génial qui est de se dire, bah en fait maintenant on est dans un monde où on peut envoyer un agent, un modèle, lire toute l'information qui a jamais été créée à propos d'un sujet et répondre à la question de manière factuelle avec du coup une connaissance de ce qui est à jour, de ce qui est pas à jour, etc. Et même détecter peut-être Ah, j'ai vu que cette source d'information est celle-là avec son contradictoire, etc. Et ce faire en choisissant la manière dont on veut consommer l'information. Par exemple, si je pose une question, je peux demander au modèle de m'y répondre en une phrase, en un paragraphe, en une page ou en un document de 10 pages. Donc cette capacité de déconnecter la manière dont l'information a été créée et stockée et la manière dont on la consomme semble être hyper intéressante. Et donc c'est un peu la direction vers laquelle on se dirige. Pour juste décrire un peu là où on en est très rapidement, donc en plus de cette engine d'exécution de dApps où on peut créer des workflows un peu customisés, on a ajouté un concept de data source. Une data source, c'est un semantic search engine mais qui est complètement managed. Donc on envoie juste des documents dedans, le chunking, je pourrais rentrer dans les détails techniques de ce que ça veut dire, mais le découpage du document, l'embedding de ces documents avec des modèles pour pouvoir faire de la semantic search, c'est fait automatiquement pour nos utilisateurs. Et donc ce substrat-là, la capacité de définir des apps et l'accès aux data sources, va être un substrat intéressant pour faire une exploration produit dans le domaine de l'entreprise. Parce que c'est vrai que si tu veux faire des produits dans le domaine d'entreprise, si t'as pas accès à la donnée de l'entreprise, tu travailles un peu hors sol. Donc c'est important d'avoir les deux, cette forme de customisation, de pouvoir définir des workflows qui sont intéressants pour l'utilisateur, et l'accès à la donnée de l'entreprise. Donc voilà la direction dans laquelle on va.

Donc à la fois donc les données de l'entreprise et la puissance des modèles en dessous, en fait, c'est ça?

Exactement.

Très bien.

La vision générale, c'est-à-dire on aimerait bien devenir le productivity OS for smart teams. Donc ça sera sûrement, ça consistera sûrement de produits packagés qu'on créera nous-mêmes, par exemple pour répondre à des questions sur la base de modèles qui analysent toute la donnée nécessaire pour le faire, mais aussi peut-être laisser à nos utilisateurs la capacité de définir des workflows spécifiques qui sont très spécifiques à l'entreprise. Donc ce sera un mix des deux.

Écoute, génial, parce que c'est sûr qu'aujourd'hui on sait très bien que toute entreprise voulant rester compétitive veut son propre modèle, veut toucher à ça. Et donc peut-être que c'est pas la peine de réinventer la roue et que votre solution fait sens. Et de l'autre côté, par rapport à ce que tu décris, mais c'est sûr que tout ce qu'il y a comme données, le knowledge management, le remplissage d'un CRM, toutes les données voix de l'entreprise, tout ce qu'il y a là-dessus. Je pense qu'il peut y avoir une manière totalement révolutionnaire d'y accéder et de la partager. Super.

C'est sûr qu'il y a plein de choses à faire et le potentiel est énorme, donc c'est très excitant.

Trop bien. Tu as déjà des clients ou des clients test?

Alors aujourd'hui, la plateforme est utilisée telle quelle par plein d'utilisateurs. On a plusieurs milliers d'utilisateurs qui ont créé des centaines d'apps qui sont déployées derrière API et qui sont probablement utilisées dans des admin panels au sein de boîtes, etc. Donc on a déjà pas mal d'usages, mais notre vrai next step, c'est probablement de faire une phase d'exploration avec des design partners qu'on va faire probablement avec des boîtes françaises, de gens qu'on connaît bien. Pour essayer de trouver les produits qui vraiment apportent une belle valeur. Et à partir de là, les dérouler à une plus grande audience après ça.

Trop cool. Alors repartons un petit peu dans l'IA générative, après j'aurai d'autres questions qui reviendront sur Dust. Donc aujourd'hui, il se passe quelque chose de dingue dans l'IA générative. On parle d'une explosion cambrienne. Donc l'apparition soudaine à l'échelle des temps géologiques d'anatomies entièrement nouvelles, genre les vertébrés qui étaient arrivés il y a 500 millions d'années. Donc c'est des trucs qui se passent pas souvent. Il y a des décennies dans lesquelles il se passe rien, il y a des semaines dans lesquelles il se passe des décennies. Toi, en étant là sur ce marché, j'imagine que cette semaine, la semaine dernière et les 3 mois qui viennent de se passer Ça a dû être complètement fou.

Ouais, c'est sûr que qu'est-ce qui s'est passé sur les 3 derniers mois, qui est pour quelqu'un qui vient de l'extérieur presque la durée totale de ce, de cette nouvelle, de cette nouvelle génération de produits et de choses. Il y a eu ChatGPT, il y a eu GPT-4, c'est GPT-4 avec un très long contexte, 34, GPT-4 c'est qui est multimodal.

Les API Whisper, ChatGPT, ADEPT, Anthropic.

Mais par contre, ce qui est intéressant, c'est de se rendre compte que toutes ces innovations qui sont devenues grand public d'un coup, elles ont été en construction sur plusieurs années. Elles ont été en construction sur plusieurs années. ChatGPT a apporté une double innovation qui est celle d'être une triple innovation. Triple innovation, c'est 1, une UI sympathique, 2, la gratuité, et 3, le fait que le modèle soit fine-tuné pour être très agréable et très conversationnel. Et c'est vraiment les 3 ensemble qui ont permis de trigger cet engouement.

Pour revenir sur la 3e innovation, Stanislas Polu, donc le reinforcement learning by human feedback.

Le fine-tuning du modèle, c'est un fine-tuning très probablement par RLHF, donc Reinforcement Learning from Human Feedback. Et donc c'est une manière de ce qu'on appelle d'aligner les modèles et de les rendre plus utiles pour l'humain. Ce qui est intéressant, c'est que la capabilité brute de ces modèles, la capacité à summariser, la capacité à résoudre certains problèmes de mathématiques, la capacité à écrire du code, Ces capacités-là étaient existantes, étaient disponibles dans l'API d'OpenAI depuis assez longtemps. GPT-3 était déjà un modèle d'une assez bonne qualité. GPT-3.5, donc toute la génération GPT-3.5, Text Da Vinci 3, est dans l'API depuis 6 mois et avec ces capacités-là. Mais cette triple innovation d'avoir une UI conversationnelle, un modèle bien aligné et la gratuité a fait que le monde a ouvert les yeux sur les tout ce qui existait d'un coup.

Trop bien, je vois très très bien, je partage tout à fait. Qu'est-ce que tu penses du côté un peu anthropomorphique de la conversation, du curseur, tu sais, qui donne l'impression qu'on a quelqu'un qui tape? Je pense que ça en fait partie, et c'est ce que tu décris, je pense, sur l'UI. Mais c'est quelque chose d'assez bluffant, ça, d'assez smart.

Ouais, complètement. Et Mais tu dis anthropomorphique, c'est un point très intéressant, la manière dont ces modèles sont extrêmement anthropomorphiques. C'est vrai que quand on imagine l'intelligence artificielle, on imagine quelque chose où on pose une question et le modèle réfléchit dans son coin et nous donne une réponse. Et il s'avère que très souvent, pour avoir les meilleures performances de ces modèles, la manière de les utiliser nous amène à les utiliser un peu comme si c'était des humains. Par exemple, quand on essaie de résoudre des problèmes de maths avec des modèles, on a de bien meilleures performances quand on demande au modèle de prendre le temps de créer une explication plutôt que donner la réponse directement. Et ça, c'est pas très intuitif. Quand on imagine une machine, on veut poser une question, avoir une réponse. Et il s'avère que ces nouvelles machines-là, pour avoir de meilleures réponses, il faut leur poser une question en leur disant «En même temps, prends le temps de réfléchir un petit peu avant de me donner une réponse.» Et ça, c'est un côté très anthropomorphique qui vient du fait que ces modèles sont entraînés sur de la donnée qui a été générée par l'humain. Et donc ils ont un caractère très anthropomorphique qui est très intéressant comme notion.

Trop bien. Donc dans la foulée, très bonne transition, la question classique est-ce que ChatGPT passe le test de Turing selon toi?

Ça dépend ce qu'on définit. C'est un mot hyper galvaudé. Le test de Turing, ça a été défini comme le test de Turing. Je ne suis pas expert dans la définition des différents niveaux de tests de Turing, mais en tout cas une distinction que je peux faire ici, c'est qu'on pourrait considérer un test de Turing faible et un test de Turing fort. Test de Turing faible, c'est on prend quelqu'un au hasard dans la rue et on le met face à un ordinateur et on lui demande de discuter avec un humain, de discuter avec une machine et d'essayer de distinguer l'humain de la machine. Si cette personne ne sait même pas qu'il est en train de, nécessairement, enfin n'a pas de notion spécifique des limitations de la technologie, etc., il est tout à fait possible que les modèles actuels passent ce test de Turing faible. Un autre exemple de test de Turing faible, par exemple, si on prend des articles de journaux sur un sujet quelconque et qu'on les coupe et qu'on laisse les modèles compléter l'article de journal, c'est très dur de distinguer le vrai article de ce que le modèle a généré. C'est très dur de distinguer, sauf si on est expert du domaine. Si on est expert du domaine, on se rend compte que le modèle raconte des petites bêtises par-ci par-là, et donc des bêtises ou des choses qui sont pas tout à fait, enfin, qui sont vraiment fausses et qu'un journaliste aurait eu, aurait probablement pas écrit. Donc encore, c'est là où on peut définir le test de Turing fort. Le test de Turing fort, c'est un test de Turing d'une certaine manière adversaire. Réel quoi. On prend un expert du domaine dont le but c'est de vraiment utiliser son expertise pour essayer de définir s'il a en face de lui un autre expert ou la machine. Et passer ce test de Turing fort, je pense qu'on en est très loin. Un exemple tout simple, c'est que si tu prends un article sur la fusion nucléaire, si ça se trouve donc le modèle va compléter en disant Stanislas Polu expert en fusion nucléaire. Et en fait, je suis pas du tout expert en fusion nucléaire. Et tout expert en fusion nucléaire sait que Stanislas Polu n'est pas un expert en fusion nucléaire, bien sûr. Mais pour quelqu'un qui n'y connaît rien, ça peut paraître plausible.

C'est vrai, comme sur la, comme sur l'erreur de Bard sur, sur la planète, sur le, là où il y avait une erreur sur, sur une planète qui avait été mal nommée ou quelque chose comme ça, ou une étoile. Et en effet, il avait fallu en tout cas un astrophysicien pour, pour découvrir le poteau OK, très bien. Et donc sur, petite question, Stan, toi tu étais dans la vallée donc ces dernières années, j'imagine?

Alors non, je suis au Bénin depuis la France.

Ah d'accord, tu étais en remote déjà, d'accord. OK, parfait.

J'étais à San Francisco quand j'étais chez Stripe pendant 5 ans.

D'accord. Alors, et la question que je voulais te poser par rapport à ça, c'était un petit peu sur les GAFAM. Tu les sens comment aujourd'hui sur leurs initiatives? On a l'impression qu'ils sont fait un petit peu dépasser par OpenAI parce qu'ils avaient pas trop— ils avaient peur de prendre des risques au niveau des relations publiques par rapport à leur business model existant. Comment tu les vois se positionner?

Mais c'est en effet, je pense que Microsoft a fait un pari extraordinaire avec son partnership avec OpenAI. Je pense que Google a probablement pas pris assez de risques et s'est un peu fait piquer par la guêpe OpenAI. Ce qui est hyper intéressant, c'est que ces gars, ces gars-femmes se réveillent très vite et démontrent aujourd'hui une capacité à innover sur ces nouvelles technologies qui est surprenamment rapide. Donc c'est pas, par exemple, on voit donc GitHub Copilot, évidemment Bing Search, enfin Bing Search avec un modèle à l'intérieur, Bard, Office 365. Alors je sais pas si c'est vraiment le software est prêt ou si c'est juste une démo, une belle vidéo, mais en tout cas il y a vraiment des initiatives qui sont prises très rapidement. Et donc c'est intéressant parce que toutes les GAFA se réveillent de manière très violente, ont une force de frappe énorme, une distribution énorme, et ont été piquées tellement fort qu'elles sont prêtes à bouger vite. Alors c'est pas une bonne nouvelle pour les startups évidemment, parce qu'on a le risque que les startups ne profitent pas de la création de valeur qui va être associée avec le déploiement de ces modèles. Mais je pense qu'il faut aussi relativiser un petit peu. Par exemple, si on pense au au mobile, entre l'apparition de l'iPhone et l'apparition du pull to refresh par exemple, ça a pris pas mal de temps. Je ne sais plus quelle app a fait un pull to refresh en premier, il me semble que c'est une app qui avait été rachetée par Twitter. Pour moi j'avais Twitter en tête, mais je crois que c'est une app qui avait été rachetée par Twitter. Et donc c'était eux qui avaient inventé le pull to refresh et cette UX a été et la bonne UX pour le mobile est apparue partout après, c'est devenu une UX pervasive dans le monde du mobile, mais elle a mis du temps à apparaître. Et je pense qu'aujourd'hui on est dans cette phase où la technologie est en train de se démocratiser, mais le pull to refresh des LLM n'a pas encore été inventé. Donc même si les GAFA bougent très vite, les vraies applications intéressantes de ces modèles-là qui vont créer beaucoup de valeur sont probablement encore à découvrir. Et les GAFA implémentent des choses qui sont d'une certaine manière obvious aujourd'hui. Et je pense qu'il y a encore plein de belles opportunités pour explorer le domaine des possibles et trouver des applications qui créeront une grande valeur dans le futur. Donc on peut aussi se rassurer pour les startups puisque c'est les startups en général qui ont cette capacité d'exploration plus rapide.

Oui, évidemment. Je te posais la question un petit peu parce qu'en fait, pour en arriver aussi sur On en avait parlé 2 secondes ensemble. C'était déjà la question des biais peut-être de ces modèles et la question du wokisme. Est-ce que tu penses que ces modèles aujourd'hui, ben, vu l'entraînement, vu les sociétés qui les ont créés, les équipes de recherche qui travaillent dessus, est-ce qu'ils ont des biais influencés qui peuvent être woke par exemple, et qu'il faut faire attention à ça dans le futur?

Alors, woke, je sais pas, je vais pas utiliser ce mot-là parce qu'il est plein de tensions et de etc. Mais c'est sûr que les modèles de ChatGPT, par exemple, est très policé, on va dire. Il va pas, il va prendre beaucoup de précautions. C'est un modèle qui prend beaucoup de pincettes pour répondre à certaines questions. Est-ce que c'est une bonne chose, une mauvaise chose? C'est un jugement de valeur, donc c'est pas la question. Par contre, ce qu'on peut essayer d'analyser de manière rationnelle, c'est qu'en effet, donc cette procédure de fine-tuning par RLHF, donc reinforcement learning from human feedback, donc ça veut dire qu'il y a des humains à un endroit qui donnent du feedback et qui vont encoder l'alignement du modèle dans une certaine direction. Et donc ils vont encoder des biais culturels, des biais politiques, des biais sociétaux, etc. Tout ça, ça veut dire que ChatGPT en effet a un biais qui est décidé ou qui est contrôlé par OpenAI, qui est aujourd'hui, et donc qui est une poignée de personnes qui sont tous au même endroit, tous à San Francisco, et qui ont une vision du monde qui est la leur et qui est forcément pas partagée par le reste du monde. Ça, on peut, donc là je dis des choses qui sont à mon avis très rationnelles et très véridiques. Ça, c'est pas si grave que ça d'une certaine manière parce que l'utilisateur est libre d'utiliser le modèle ou pas, et si ça lui plaît ou pas. Là où il y a un risque un peu plus gros, c'est que ces modèles sont quand même très utiles et les gens les utilisent beaucoup. Et donc on peut imaginer que sur les années, voire même sur les mois à venir, la quantité de textes créés sur internet par les modèles va augmenter drastiquement.

Bien sûr.

Et donc on peut imaginer un monde où dans quelques années le texte qu'on lira sur internet sera dans une grande mesure, une mesure moyenne, ou dans une mesure non négligeable en tout cas, généré par ces modèles. Et c'est là où il y a vraiment une espèce de contamination de l'internet par du texte qui a un certain biais culturel. Qui est très spécifique. Et donc c'est quelque chose qui va probablement influencer la culture, notre culture en Europe, de manière non négligeable. Est-ce que c'est la fin du monde? Je sais pas. Le cinéma américain a joué ce même rôle-là. Ça a été un outil d'insémination culturelle incroyable qui a été détenu par une poignée de personnes toutes au même endroit, à Hollywood, pendant de longues années, pendant des décennies. Donc on l'a déjà, on l'a déjà vu là. Bon, c'est quelque chose de— est-ce que c'est regrettable, est-ce que c'est bien, c'est une question qui est politique d'une certaine manière, mais on est déjà passé par là. Mais il faut comprendre qu'en effet, si une grosse partie du texte sur internet est générée par ces modèles, c'est du texte qui va venir avec une forme de biais culturel qui est très spécifique.

OK. Sur tout ce texte généré, ce principe de cette IA générative, en tout cas elle génère beaucoup facilement, à profusion, et tout le monde peut le faire justement à partir des solutions existantes. On risque d'avoir donc un afflux immense de textes, un afflux immense d'images et de vidéos qui peuvent quasiment, qui vont certainement dépasser très très vite l'existant non généré de cette manière-là. Et en fait, c'est quelque chose donc de générer à partir de l'existant donc il doit y avoir un peu des effets de moyenne. Qu'est-ce que tu penses de ce contenu? Est-ce qu'il va être de qualité ou est-ce qu'il sera d'une qualité moyenne ou qui va tendre vers le bas? Et ensuite, est-ce qu'il est possible ou est-ce qu'il faut essayer d'être capable de l'identifier?

Alors en effet, si on imagine que dans 2 ans la moitié d'internet a été générée par un modèle existant aujourd'hui, Ça veut dire que le contenu, la moitié du contenu d'internet sera, non pas que le contenu d'internet est de fortement de très haute qualité tout le temps, mais sera au niveau du modèle actuel. Et donc les modèles suivants, on va les réentraîner sur ce texte-là qui sera de la qualité qu'il est, avec des inaccuracies, des fallacies, des hallucinations, etc. Et donc on risque, il y a un risque en effet de regression to the mean. Une espèce d'attracteur vers cette espèce de premier modèle qui a été l'incubation d'une génération de textes à grande échelle sur Internet. Et pour créer un attracteur duquel on ne peut pas sortir, et donc les modèles suivants ne vont pas devenir forcément meilleurs parce qu'ils vont être entraînés sur de la data qui a été générée par un modèle, donc ils vont juste cloner le modèle existant. Et même s'ils sont plus gros, plus forts, si la donnée est mauvaise, enfin mauvaise donnée à l'entrée, mauvaise donnée à la sortie, il n'y a pas de magie. Bien sûr. Donc ça, c'est hyper intéressant. Une autre manière de voir ce problème qui est aussi très intéressante, c'est Copilot par exemple. Copilot est extrêmement utile pour un développeur expérimenté parce qu'un développeur expérimenté, ça lui prend quelques millisecondes de juger l'utilité ou la véracité d'une complétion par Copilot. Et donc il l'utilise pour toutes les tâches mondaines d'écriture de code et sait très bien repérer quand la tâche est un peu plus précise et peut-être à ce moment-là décide de lui implémenter la chose. Si on prend un développeur peu expérimenté, il va probablement se baser sur Copilot beaucoup plus, et donc le niveau des développeurs va être, va encore avoir un attracteur vers Copilot en termes de niveau du code qui est généré. Et donc c'est vrai que tout ça, c'est des phénomènes de, ouais, de regression to the mean, de moyennisation du contenu et de même de la compétence des humains qui est Une question intéressante à considérer, inquiétante, je sais pas, mais très intéressante à considérer. On est tous libres de ne pas les utiliser, d'utiliser notre sens critique, etc., mais c'est vrai que c'est tellement facile de voir quelque chose, ça semble crédible, et de l'utiliser sans trop réfléchir que c'est sûr que ça va être un problème dans le futur.

Ouais, complètement. Alors aussi, je voulais te poser la question justement de peut-être de la, des enjeux de souveraineté là-dessus et des enjeux de sécurité. On était à France Digital Day où il y avait un événement sur l'IA, la data, le Web3, qui était très intéressant. Et justement, j'ai pu voir sur le panel que tu échangeais avec une panéliste qui présentait l'argument de dire qu'aujourd'hui il fallait faire attention parce qu'il y a plein d'entreprises, plein de salariés dans des entreprises qui balancent tout simplement le plan stratégique de leur boîte dans ChatGPT pour trouver des solutions et grosso modo avoir un assistant qui fait leur travail de réflexion, de consultant sur ce sujet. Et ce qui peut donner un exemple assez dingue qui était l'envoi d'un morceau de code GitHub dans ChatGPT et derrière le fait de le recevoir en retour quelques jours plus tard. Donc on peut avoir quelque chose qui semble assez dangereux là-dessus, sur à la fois la sécurité des entreprises et la souveraineté. Tu penses qu'il faut, comment tu penses qu'il faut jouer avec ça? Et est-ce qu'il faut avoir une hygiène ou est-ce que c'est aux entreprises de mettre mettre en place des règles.

Alors attention, envoyer un bout de code et qu'il ressorte dans ChatGPT quelques jours après, ça c'est pas vrai, parce que le modèle il est fixé, il apprend pas au fur et à mesure. Par contre, ce qui est vrai, c'est que quelqu'un peut avoir écrit du code sur GitHub dans le passé et se retrouver à voir son propre code ressortir par ChatGPT, parce que ChatGPT a été entraîné sur ce code-là.

Bien sûr, il ressortira pas avant l'entraînement. Donc l'entraînement, ce qui veut dire du modèle au, du modèle complet. Donc ce qui est, il est pas entraîné tous les jours, il va être entraîné tous les, tous les ans par exemple, ou à la sortie d'un nouveau modèle.

Aujourd'hui ils sont relativement figés. D'ailleurs dans la documentation d'OpenAI, on voit les dates de fin de training. Après, c'est évidemment un sujet de recherche hyper intéressant de maintenir ces modèles à jour et d'avoir un entraînement plus continu, mais ça reste aussi une question de recherche assez ouverte. On sait pas très bien faire ça, donc pour l'instant ils sont figés.

OK.

Et donc la régurgitation de code, c'est à travers ce training-là. Donc c'est du code qui existait sur GitHub, qui peut avoir une licence par exemple GPL, où on n'est pas censé l'utiliser pour des raisons commerciales ailleurs. Et il s'avère que c'est régurgité par ChatGPT, or ChatGPT est payant, en tout cas pour une partie des utilisateurs, et donc c'est une utilisation commerciale, et donc c'est en breach de la licence du code. Donc ça, ça peut arriver. Sur la question de les gens au sein des entreprises envoient le plan stratégique de la boîte pour essayer de brainstormer avec ChatGPT, je pense qu'il faut, il faut pas faire preuve de trop de peur non plus. L'incentive pour les providers de modèles est de ne pas créer d'incidents énormes là-dessus. Cela étant dit, quand on utilise ChatGPT, on accepte que la donnée puisse être utilisée pour le réentraînement des modèles. Donc en effet, dans ce cas-là, quand on utilise ChatGPT, le produit, pas le nécessairement le modèle, parce que si on utilise l'API d'OpenAI aujourd'hui, par l'API, OpenAI est très conservateur, a fait un changement assez récent, est très conservateur. Ils ont ils effacent toute la donnée au bout de 30 jours, donc ils la gardent pour des raisons de debugging, et ne réentraînent pas sur la donnée qui est passée par leur API. Donc ça veut dire que dans un domaine d'entreprise, en effet, utiliser ChatGPT, probablement pas une bonne idée. Utiliser des large language models qui puissent être providés par OpenAI, où il y a une bonne compréhension de ce qui va se passer avec la donnée, pas nécessairement un problème. Ça n'a pas grand-chose de différent que d'utiliser Google Drive ou Notion ou Slack, où la donnée en effet part aux États-Unis, mais l'incentive du provider et de la garder privée, en passant par Dust par exemple. Donc en passant par Dust, d'accord.

Non mais, non mais la limite, mais la limite que tu donnais est intéressante et j'étais pas au courant que donc sur, que via les API, en effet, oui, les données n'étaient pas réutilisées, contrairement à sur ChatGPT où elle pouvait, ou en tout cas on sait pas ce qui est, ce qu'on en fait quoi.

Voilà, en fait c'est l'émergence de ChatGPT qui a, avec énormément d'utilisation, qui a donné ce qu'on appelle data flywheel pour OpenAI, c'est-à-dire qu'ils ont énormément de trajectoires qui sont générées où les humains critiquent, les humains peuvent annoter, dire c'était bien, c'était pas bien. Donc avant, OpenAI se réservait le droit d'utiliser la donnée de l'API pour réentraîner le modèle. Aujourd'hui, ils ont dit bon, ça y est, on a ChatGPT, on a des centaines de millions d'utilisateurs, on a notre source de données infinie d'une certaine manière, donc on peut commencer à être très plus conservateur et B2B-centric sur l'API. Donc il y a une distinction aujourd'hui entre ChatGPT le produit et OpenAI en tant que fournisseur de modèles.

Très bien, c'est clair, super intéressant. Autre question, Stanislas Polu, comment est-ce que tu vois un peu l'impact sur l'emploi? Est-ce que tu penses qu'on va assister à un grand remplacement ou est-ce que tu vois plutôt une vision collaborative avec ces outils qui seront des assistants et qui vont nous aider à faire faire plus, plus rapidement.

Je crois pas à la théorie ou à la crainte du grand remplacement du tout. J'ai du mal à— ces modèles sont très forts à certaines tâches assez limitées, et donc c'est des tâches, c'est des capacités qui vont permettre de rendre les knowledge workers plus efficaces. Donc ça va avoir un impact sur le marché du travail, évidemment. Mais je ne pense pas qu'on remplace l'humain. On va juste l'amplifier. Et ça, c'est toutes les technologies, toutes les vagues de technologies ont eu cet effet-là. L'arrivée de l'ordinateur dans l'entreprise a créé un boost de productivité qui a rendu certains humains beaucoup plus efficaces et a déplacé certains jobs en conséquence. Le job de secrétaire, tout le monde avait un ou une secrétaire à l'époque. Aujourd'hui, plus grand monde n'en a parce qu'on utilise un calendrier et une boîte mail. Mais c'est parce qu'on est plus efficace du coup dans notre travail et je pense que ça va se reproduire ici. Les gens vont devenir plus efficaces sur certains métiers beaucoup plus, sur d'autres un peu moins. Ça va déplacer un peu les masses mais je pense que la société s'adaptera sans problème.

Tout à fait, donc oui les secrétaires, les ascensoristes, quelques jobs comme ça bon bah voilà, un déplacement, et tant mieux parce que c'est de la faible valeur ajoutée. Et de l'autre côté, peut-être plus de production, plus de production, plus de production de code aussi par les développeurs pour des besoins toujours grandissants.

OK, par exemple, il y a beaucoup de gens qui se, des gens très sérieux qui se disent j'ai recruté 100 développeurs pour ma super boîte qui est en train de croître à fond, et dans 6 mois je n'aurai besoin plus que de 10 développeurs. Je pense que c'est pas Et il y a une chose qui est très intéressante, c'est que les modèles, ils évoluent au fil du temps, mais c'est des échelles de temps assez longues quand même. Pour passer de GPT-3 à GPT-4, il faut un an, voire deux ans. Si par exemple on imagine que GPT-4 remplace tous les juniors développeurs d'une boîte, qu'est-ce qui se passe? C'est qu'un développeur un peu plus senior va demander à un modèle de faire une pull request, donc un bout de code pour implémenter quelque chose de précis. Et quand on review une pull request, si on passe 5 minutes à la lire pour se rendre compte à la fin que c'est complètement cassé, si c'est un stagiaire c'est pas grave parce qu'on est là pour lui apprendre, erreur et donc lui montrer pourquoi c'est cassé crée de la valeur puisqu'on rend le stagiaire meilleur et on sait qu'à la prochaine fois il aura probablement appris de son erreur. Si c'est un développeur qui perd, c'est un peu plus énervant parce qu'on s'attend à ce que quelqu'un qui est comme nous ne fasse pas des erreurs qu'on considère évidentes. Si c'est un modèle qui a fait une erreur, c'est juste insupportable, parce que c'est-à-dire qu'on a demandé à la machine de faire quelque chose et en résultat, elle nous a juste fait perdre 10 minutes. Donc je crois pas vraiment au remplacement, je pense, je crois plus à la, par exemple, aux stagiaires qui utilisent GPT-4 ou Copilot pour le rendre plus efficace, aller plus vite, donner des idées, le décoincer, etc. Mais c'est toujours lui qui sera maître d'aller jusqu'au bout du travail, quoi.

Très bien, c'est très clair. Stan, gros sujet. Une pétition mondiale est sortie cette semaine, donc le 28 mars, pour réclamer un moratoire de 6 mois sur tous les modèles d'intelligence artificielle type LLM plus puissants que GPT-4. Une pétition donc sur le site Future of Life, signée par et lancée par Yoshua Bengio. Pionnier canadien de l'IA, Elon Musk, Garry Marcus et Matt Mostak de Stability. Donc ça a été, ça a fait beaucoup parler. Il y a aussi Eliezer Yudkowsky qui parle beaucoup de ça. Qu'est-ce que tu penses de cette pétition qui semble au final adressée vraiment mais directement à OpenAI? Et parce que c'est le seul acteur qui se retrouverait impacté parce qu'il y a pas vraiment de modèle en tout cas dont on connaît l'existence, qui sont supérieurs à GPT-4. Voilà, est-ce que cette pétition est bonne? Est-ce que c'est la bonne manière de faire? Est-ce que ça serait pas dangereux? Est-ce que c'est pas des mauvais perdants, par exemple comme Elon Musk, qui veulent avoir du— ou les GAFA qui veulent avoir un peu plus de temps pour développer leur propre solution? Et des dangers en imaginant que des gouvernements pour le coup s'empare de ça, typiquement la Chine, la Russie, alors qu'on avait des super avancées quand même démocratiques dans l'usage.

Je pense qu'on est à des années-lumière de l'intelligence artificielle qui créerait un risque existentiel pour l'humanité, mais à des années-lumière. Même GPT-4 même GPT-4 est une quiche, mais une quiche en maths. Oui, ça, ça résout des petits problèmes de maths, mais la plupart du temps, c'est pas des maths qui ont déjà été vues sur Internet. Si je prends 5 minutes à inventer un nouveau problème de maths un tout petit peu unique, il y a aucun problème, GPT-4 ne réussira pas à le résoudre aujourd'hui. Donc je pense qu'on On a créé des modèles, ce sont des grandes bases de données qui ont des formes de capacité de raisonnement et de réadaptation de l'information quand elle génère des choses qui sont extrêmement utiles. Mais de là à considérer qu'elles sont dangereuses, alors il y a les dangers culturels dont on a parlé, mais je pense qu'il n'y a pas de, en tout cas mon avis à moi, c'est qu'on est loin d'être dans une phase où il y aurait de réels risques existentiels. Donc je trouve que c'est en effet, c'est, je sais pas quelles sont les motivations. On peut croire que c'est une manière d'essayer de ralentir OpenAI, ou c'est une manière de faire parler de soi. Je pense que pour certaines personnes, c'est des motivations qui sont très pures, comme Eliezer apparemment, qui est un expert dans le les problèmes d'alignement des modèles et de risques existentiels, je pense que la motivation est honnête, mais je pense qu'on est un peu loin de tout risque réel. Et puis qu'est-ce que ça apporterait? J'ai du mal à voir, c'est très dur d'empêcher les évolutions technologiques d'avancer, je pense qu'il faut aider la société à s'y adapter, il faut réguler leur usage, mais empêcher l'innovation, ça me paraît pas quelque chose de nécessairement nécessaire.

Oui, je comprends très bien. C'est vrai que tu as raison, il y a différentes motivations par différents signataires. D'ailleurs, on n'est pas vraiment encore au clair sur qui a vraiment signé, parce qu'il y a des gens qui ont utilisé les noms d'autres personnes Donc voilà, c'est vrai qu'il y a aussi des signataires aujourd'hui qui disaient que les LLM d'une certaine manière n'étaient pas du tout puissants et n'étaient pas la bonne voie. Donc on a du mal à comprendre comment est-ce qu'ils peuvent dire, si c'est pas la bonne voie, que c'est pas puissant, que c'est juste un modèle de language, de langage, en quoi est-ce qu'ils peuvent être si dangereux.

Tout à fait, je suis d'accord.

Mais alors, et donc, mais une question quand même, je comprends très bien ce que tu dis aussi sur le GPT-4 qui n'est pas un bon mathématicien, mais au final on sait pas vraiment ce qui se passe à l'intérieur du LLM, il y a quand même un petit peu la boîte noire. Et donc par rapport à ça, je te pose quand même la question de de la conscience? Est-ce que tu penses qu'il peut y avoir une amorce de conscience au sein de ces LLM et de cette IA?

Il n'y a pas de conscience puisque le modèle, il ne voit que le contexte qu'on lui donne et il finit de compléter ce contexte-là. Et à la fin, il s'arrête et il est remis à zéro. Je pense que la conscience est définie par la capacité à retenir et à se baser sur des expériences passées. De telle sorte à avoir un modèle de soi-même. On pourrait faire l'argument qu'il y a une forme de conscience, parce que si on parle à GPT-4 de large language model, il sait ce que c'est qu'un large language model. Et on peut très bien, il peut probablement, étant donné ce qu'on lui demande, à un endroit en interne avoir un modèle du fait qu'il est probablement lui-même un modèle en train de créer une completion mais ça va se limiter à cette completion. Et à la fin, c'est une machine, ça tourne sur des GPU. Je pense qu'il faut pas mettre des grands mots sur du silicone et de l'électricité, surtout qu'il n'y a pas de mémoire qui se crée et d'expérience qui se fait. Donc tant que, je pense que tant qu'on est dans un monde où le contexte d'un modèle est fixé et qu'à la fin du contexte il repart à zéro, On peut imaginer que si le contexte est très long, qu'il y a une forme de conscience qui se crée le long de ce contexte. Si on poussait la taille du contexte à des millions et des millions de tokens, de telle sorte qu'on puisse avoir une existence entière à l'intérieur de ce contexte, on pourrait faire l'argument qu'il y a en effet une conscience qui émerge. Mais aujourd'hui, les contextes sont relativement petits, et donc toute forme de conscience qui émergerait de leur utilisation serait forcément très limitée. Dans le futur, on peut imaginer des modèles qui continuent de s'entraîner de manière continue et donc qui apprennent de chacune des trajectoires qu'ils ont. Et donc là, on pourrait faire l'argument que des formes de conscience pourraient émerger.

D'accord, oui, c'était ma question suivante, c'était sur l'évolution un petit peu de ces modèles. Donc tu parles d'un entraînement continu, est-ce que tu penses qu'il faudrait aussi peut-être ajouter une IA symbolique ou une IA un peu plus déterministe, par exemple, qui ferait moins d'erreurs?

Pour l'injecter à l'intérieur du modèle, j'ai du mal à voir comment ça peut se faire. Après, moi, tout mon travail de recherche chez OpenAI, c'était d'explorer l'utilisation des large language models dans le contexte des maths formelles. Donc on a d'un côté les maths formelles, c'est des systèmes dans lesquels une preuve est un programme et qu'un système formel peut vérifier si la preuve est correcte de manière symbolique. Et donc le modèle a des capacités créatives, le système formel a des capacités de vérification parfaite. Et donc avoir, mettre, faire travailler ensemble un modèle qui est créatif avec un système qui peut vérifier les prédictions est en effet très intéressant, notamment si on a une vérification parfaite, ça nous permet d'essayer de résoudre un problème 1000 fois, 100 000 fois, 1 million de fois, il suffit de trouver une fois la bonne réponse vu qu'on a une vérification parfaite pour que le système formel puisse dire bah là la réponse était bonne. Donc ça c'est forcément intéressant. Aujourd'hui ce qu'on voit qui est pas peut-être aussi fort que ça, c'est ChatGPT plugins ou l'utilisation en général de, d'outils extérieurs comme aller faire une search sur Google et des choses comme ça vont transformer les capacités des modèles puisque puisqu'ils peuvent du coup s'attacher, se baser sur des outils extérieurs qui sont eux symboliques ou des sources de données qui sont elles factuelles pour créer des prédictions.

Oui, d'accord.

C'est des avenues d'utilisation de ces modèles qui sont hyper intéressantes.

D'accord, donc les faire travailler, tout à fait, c'est l'idée de ces plugins qui leur donnent des données qui sont live et qui sont des données justes, précises, vu qu'elles viennent de ces fournisseurs existants. Donc ok, super intéressant. Stanislas Polu, donc dernière question, c'est ta timeline pour l'AGI, donc l'intelligence artificielle générale, la super intelligence. De ce que je comprends, tu vois pas ça à court terme.

C'est très dur de prédire des timelines. Les on peut donner des idées pour s'attaquer à cette question-là. Il y a deux choses pour moi. Un, c'est est-ce qu'en scalant juste les modèles, est-ce qu'on arrivera vraiment à l'émergence d'une forme d'intelligence de niveau humain? Ça, c'est une question intéressante parce que quand on scale le compute d'un ordre de grandeur, la le gain de performance est de plus en plus petit parce que c'est une power law, donc c'est des gains logarithmiques. Quand on pousse du compute, le gain en performance en général est très petit, donc on a des diminishing returns très violents. Et donc on va pouvoir scaler quelques ordres de grandeur encore. On commence à avoir certaines limites en termes de quantité de data disponible sur internet pour le faire. La taille des clusters qui sont impliqués dans l'entraînement de ces modèles commence à devenir gigantesques. On peut encore probablement les scaler de 1, peut-être 2 ordres de grandeur, mais scaler les clusters actuels de 2 ordres de grandeur, ça veut dire créer des bâtiments avec des centrales nucléaires à côté. Il faudrait plusieurs centrales nucléaires pour faire tourner l'électricité du cluster qui entraîne le modèle ou qui l'utilise. Donc ça devient à des ordres, ça devient à des magnitudes qui commencent à devenir difficiles à pousser plus loin. Je pense que le ce qu'on n'a pas eu encore dans le— donc moi j'ai du mal à croire que juste Scale AI va nous amener à AGI. J'ai l'impression qu'il manque encore une innovation scientifique. Pour faire le parallèle, en fait je pense qu'on n'a pas encore eu le moment AlphaGo des large language models. AlphaGo c'est quoi? C'est, tout le monde disait à l'époque, la donnée d'entraînement est humaine, donc même si on fait un modèle parfait, il ne battra jamais le meilleur humain puisque le meilleur humain génère la meilleure donnée sur laquelle il est entraîné. Et en fait AlphaGo arrive, et AlphaGo, le niveau humain est là, et AlphaGo passe à travers instantanément. Pourquoi? Parce que le modèle est principalement entraîné sur de la donnée synthétique qui était générée par lui-même. On est capable de faire ça dans le domaine des jeux parce que les jeux sont très contraints, et donc on a le concept de self-play qui permet de générer de la donnée de qualité, qui permet d'améliorer le modèle, et en se dédouanant même complètement de la donnée humaine. À la fin, c'est AlphaZero. Dans le monde des larges langages naturels, on s'entraîne sur internet, donc on s'entraîne entièrement sur de la donnée humaine et on sait pas encore bien s'entraîner at scale sur de la donnée synthétique, c'est-à-dire que le modèle génère sa propre donnée d'entraînement. Pourquoi? Parce qu'on sait pas, le modèle ne sait pas généralement bien vérifier ses propres prédictions, peut-être qu'il va se tromper, peut-être qu'il va, en essayant de dire est-ce que ce que j'ai prédit est bon ou pas, va se tromper dans sa prédiction. Et donc on a des phénomènes de collapse où quand on essaie de générer plein de données synthétiques, le modèle, la capacité du modèle a tendance à ça a collapsé, donc à descendre. Et donc je pense que c'est ce moment AlphaGo d'entraînement du modèle sur sa propre donnée, et peut-être une des clés qui manque, c'est une des possibles clés qui manque pour arriver vraiment à un niveau d'intelligence qui puisse devenir surhumain. Et ça, on sait pas, on sait pas quand est-ce que ça arrivera parce qu'on sait pas le faire aujourd'hui. Est-ce que c'est dans, est-ce qu'il y a certains labs qui savent déjà le faire? Est-ce que ça arrivera dans un an, est-ce que ça va être dans 10 ans, c'est dur à dire.

Et donc voilà, OK, c'est très clair, hyper intéressant sur cette donnée synthétique. Petite question juste sur les tokens dont tu parlais. Les modèles aujourd'hui ont été entraînés sur tout l'internet des données textuelles. Est-ce que les données photos, vidéos sont incluses là-dedans ou—

alors jusqu'à maintenant non. Et GPT-4 est le premier modèle qui est multimodal. Alors, il n'est pas encore disponible, donc je sais même pas si celui qui est disponible aujourd'hui est vraiment multimodal dans son entraînement, même si dans l'inférence, donc dans son utilisation aujourd'hui, c'est pas disponible d'utiliser, de mettre dans le contexte des images. Mais GPT-4 est en effet, d'après ce que OpenAI a montré, un modèle multimodal. Oui, il est entraîné sur le texte et les images, d'accord. Il est pas encore entraîné sur de la vidéo ou sur du son, mais la multimodalité est clairement une avenue progression parce que ça a une richesse, enfin la quantité d'informations disponibles sur internet multimodale est beaucoup plus grosse que juste textuelle et l'information visuelle a une richesse qui est intéressante pour l'entraînement de ces modèles évidemment.

C'est sûr que une fois qu'on aura mis tout TikTok là-dedans, ça va être intéressant. Ok, non mais en tout cas il y a une vraie voie, ok super. Stanislas Polu, dernière question, ton film ou livre de science-fiction préféré que tu nous recommandes?

Livre préféré, je pense que je mettrais Permutation City de Egan en premier et probablement Le Problème à Trois Corps en deuxième, enfin la série, la trilogie des Problèmes à Trois Corps. Film de science-fiction préféré, je sais pas, je suis obligé de dire Matrix, probablement. Tellement bon, Matrix.

Écoute, je partage, je partage. J'aurais dit, je dirais la même chose. J'avais pas vraiment révélé mon choix, mais Matrix, je suis totalement d'accord. Super, parfait. Merci beaucoup Stanislas Polu, c'était un plaisir.

Merci à toi.

Et je te dis merci beaucoup, à très bientôt. Merci Stanislas.

À très bientôt, au revoir.

Bye bye.