La vérité sur ce que l’IA nous réserve avec Stanislas Polu (Dust)

J'étais à Stanford au moment où les choses commençaient. Twitter devait avoir 50 personnes, Facebook était au bout de la rue avec 200 personnes.

On va parler d'aventure américaine.

Et c'est vrai que je m'amusais à dire qu'être chez OpenAI, c'était un moyen d'être au bon endroit pour être sûr de voir le moment où ça arrive.

Il y avait un truc au-delà de l'argent dans le digital qui était vraiment une forme de transformation du monde.

Intelligence artificielle généralisée, donc c'est quelque chose qui serait meilleur que l'humain, que tous les humains à toutes les tâches productives. Donc c'est en gros, l'humain devient inutile. Donc déjà rien que ça, même si on arrive au niveau humain, c'est déjà une transformation sociétale profonde.

On va parler un petit peu d'intelligence artificielle si ça te va.

À travers DOS, tu peux utiliser GPT-4, tu peux utiliser Claude. À terme, tu vas pouvoir utiliser Llama 2, tu pourras switcher de modèle.

Vous avez fait un seed?

Ouais.

De combien?

5 millions.

C'est un beau seed quand même.

C'est un beau seed.

Quelle est la différence entre l'algorithmie et l'IA? J'ai compris à 80 Cool. Ouais, voilà, discrepancy, c'est divergence. Voilà, c'est le propre, c'est parti, pardon, que tu le saches, des gens qui ont passé un peu de temps aux États-Unis. La semaine dernière, j'ai reçu Nick Hernandez. Tu vois qui est Nick Hernandez? Qui a fait l'une des mêmes écoles que toi, je crois, et qui est passé aux États-Unis un peu et qui me dit quand tu dis Nicolas là-bas, qu'il n'y a pas de H, etc. aux États-Unis, c'est compliqué. Donc voilà, Stan, on va t'appeler Stanislas Polu. Comment on dit Polu aux États-Unis? Polu. Stan Polu. Welcome sur Génération Do It Yourself. Stan, je suis ravi de te recevoir. Je vais faire un petit clin d'œil à Thierry Sommelet de la BPI qui a été l'étincelle de cet épisode, qui m'a dit, il m'a donné plusieurs noms, mais il m'a dit Stan, c'est celui qu'il faut que tu reçoives maintenant, etc. Donc salut Thierry et puis merci. Je te remercierai à la fin peut-être, j'espère. On va parler avec toi, si ça te va, de... Vous l'avez commencé un peu avant. Je fume Clémence à chaque fois parce qu'elle commence les épisodes avant les épisodes. Donc je crois que je vais la museler en fait avant, avant quand elle reçoit les gens, mes invités, nos invités à Génération Future Self. On va parler d'aventure américaine un peu parce que tu as passé combien de temps là-bas?

J'ai passé 8 ans en tout, en gros 4 ans, 4 ans en France, 4 ans aux US et là ça fait 5 ans en France.

On va parler un petit peu de... D'intelligence artificielle, si ça te va. On va parler de tech au sens large, des différences culturelles potentiellement entre ces pays. On l'évoquait à l'instant, notamment au niveau dans le monde du travail, qui est assez intéressant dans la tech en particulier. Et puis voilà, je suis assez impatient de pouvoir creuser le sujet de l'intelligence artificielle avec toi. Alors notamment parce que tu as bossé vraiment dedans, au cœur du réacteur chez OpenAI, quelques années quand même.

3 grosses années.

3 grosses années avant que GPT-4 sorte. Avant que ChatGPT sorte. D'accord. Et c'est intéressant de voir aussi tout ça. Et tu vois, on a eu tellement d'histoires de Bill Gates qui raconte à quel point en 6 mois, en fait, il s'attendait pas à voir ce dont a accouché OpenAI. Moi non plus d'ailleurs, parce que je suivais AI, et puis je trouvais ça OK mais moyen quand même, puis d'un jour au lendemain, voilà. Et puis j'ai fait un épisode cette année avec Laurent Alexandre, que tu connais peut-être de près, de loin, qui est un porte-voix de l'intelligence artificielle depuis pas mal de temps en France quand même. Et cet épisode a vraiment fait un blast autour de Génération Future Self et bien plus loin. Je sais que des ministres l'ont écouté, je sais que des grands patrons du CAC l'ont écouté, je sais que beaucoup de gens, enfin j'ai eu beaucoup de retours sur cet épisode qui est à la fois un épisode, je dirais, prise de conscience et par moments angoissant, alarmiste, par moments aussi se dire ouais, enfin en tout cas qui invite à la réflexion. Et j'aimerais aussi avoir quelqu'un qui est à l'intérieur, même s'il faut pas dire de conneries, Laurent est quand même à l'intérieur, analyse ça depuis des des années, 7, 8, 9, 10 ans. Donc il est légitime à mon sens pour parler de tout ça. Je pense que vous avez peut-être des vues différentes sur certaines choses. Donc voilà, ça te va comme programme?

Ça me va très bien.

Bon, alors Stan Polu, je vais te demander si tu veux bien de te présenter pour commencer.

Oui, bien sûr. Stanislas Polu, du coup. Donc j'ai étudié en France et aux États-Unis. J'ai eu la chance d'étudier dans des beaux endroits, Polytechnique en France et Stanford aux États-Unis. J'étais à Stanford au moment où les choses commençaient. Twitter devait avoir 50 personnes, Facebook était au bout de la rue avec 200 personnes.

2007-2009, j'ai lu, non?

Ouais, ça doit être ça.

Ouais, faut lire. C'est vraiment les années—

Ouais, mais ça, on pourra revenir dessus. C'est hyper intéressant de se rendre compte à quel point— Enfin, moi, je me rendais pas compte de ce qui était en train de se passer à ce moment-là. On pourra rentrer dans le détail. Ensuite, je suis, après un petit passage chez Oracle, je suis rentré en France. J'ai monté une boîte avec un associé, Gabriel Hubert, qu'on a finalement revendue à Stripe, qu'on a rejoint très tôt. Donc ça aussi, on a eu un beau coup de chance. Belle aventure chez Stripe.

Vous aviez combien de personnes chez Stripe?

80 quand on les a rejoints et 3 800, je crois, quand je suis parti.

C'est une boîte américaine?

Canadienne? Oui, les fondateurs sont irlandais.

Irlandais, c'est ça, il y a de l'Irlande.

Et la boîte est 100 américaine.

OK.

Et après Stripe, donc chez Stripe, j'ai eu la chance de connaître Greg Brockman qui était CTO de Stripe. On s'est croisés pendant 6 mois, je crois.

D'ailleurs, tout le monde connaît pas nécessairement parce que c'est un SaaS B2B, un peu plus que SaaS d'ailleurs, mais c'est une sorte de backbone qui permet de faire des paiements facilement, qui a parlé dans un premier temps aux développeurs.

C'est ça qui était un peu la manière dont ça a grossi au début. C'est là, on peut dire, une des darlings de Y Combinator. Donc c'est toute cette génération de boîtes avec Airbnb, Dropbox, etc. Qui ont émergé de Y Combinator, même si Stripe officiellement n'a pas fait Y Combinator dans le strict sens.

Ah bon? Ils ont été...

Ils se connaissent très bien avec Paul Graham, Patrick Christensen, mais je crois que Stripe n'a jamais été officiellement... n'a jamais fait partie d'un batch. Ils font partie de la famille en gros.

OK. Et Y Combinator étant un accélérateur, donc une sorte d'incubateur plus plus qui permet d'accélérer très fort les jeunes pousses.

Très connu et qui a changé le modèle d'investissement en gros. S'impliquaient beaucoup plus dans le développement des boîtes pendant quelques semaines, quelques mois au début, et avec un investissement minimal et une approche très pragmatique à la création de startups. Et qui a super bien marché puisqu'ils ont incubé des grandes boîtes qu'on connaît Airbnb, Dropbox. J'en rate sûrement plein.

Et ta boîte faisait quoi?

Et nous, notre boîte, alors on a fait toutes les erreurs des jeunes entrepreneurs à l'époque. On a fait plein de choses, on a pivoté des Des centaines de fois, non des centaines j'exagère, mais à la fin on a trouvé une forme de product market fit, donc de product market fit, quelque chose qui fonctionne en gros on va dire.

Un produit qui trouve son marché.

Sur les analytics sur Instagram et donc on était en, je suis très mauvais avec les dates, 2009-2010 je dirais.

Mais Instagram c'était tellement rien en 2009-2010.

On a vu le rachat par Facebook en gros, c'était donc, et À cette époque-là, Instagram était en train de cartonner au niveau consumer, mais les marques n'étaient pas trop encore dessus.

Instagram by Facebook, c'est 2012, tu vois.

Donc on a dû se mettre aux analytics Instagram en 2011 et on a travaillé à travers leur achat par Facebook. Et les marques n'étaient pas encore trop dessus, mais il y avait quand même une belle niche de marques qui commençaient à s'y intéresser. Et donc on a créé une société qui faisait des analytics spécialisées sur Instagram, donc social media analytics. Il y avait des plateformes qui étaient, qui faisaient toutes les plateformes sociales à la fois et nous, on se spécialisait très profond sur Instagram. Et donc, c'était un peu ce besoin d'être très particulier sur Instagram qui nous a apporté cette niche qu'on a réussi à adresser. Et donc, cette société, au final, on l'a, on a travaillé, on a pivoté plein de fois, on a travaillé 5 ans dessus. Au bout de la 5e année, suivant les pivots, suivant le marché, C'était un monde un peu différent à l'époque. On faisait 1 million d'ARR, donc on faisait 1 million par an, ce qui est plutôt pas mal. On était une petite équipe de 10, on était profitable, mais la croissance du B2B sur Instagram n'était pas explosive encore. Donc c'était très dur pour nous de lever une tour de, une série Z. On avait levé un seed, c'était très dur pour nous de lever une série Z. Et donc on savait ce qu'il fallait faire pour la lever, il fallait créer une croissance artificielle. Et donc la seule manière qu'on voyait de le faire, c'était de probablement refaire cette recette d'une plateforme très spécifique sur une une autre plateforme sociale. Ça a probablement été Snapchat à l'époque. Mais ça faisait 5 ans qu'on était là-dedans. On n'était pas nés, c'était pas notre mission de faire des analytics, des social media analytics. On avait un peu pivoté vers ça et donc on a décidé d'essayer de trouver une sortie pour la boîte.

Donc il y avait une sorte de, en fait, parce que si tu es rentable, tu fais 1 million, enfin peut-être que c'était pas au niveau de, alors Toi, tu avais fait Polytechnique, ton associé avait fait Centrale, c'est ça? Donc de X Centrale, Stanford, tu te dis bon, on voulait un peu plus, mais c'est quoi, c'est une sorte de fatigue?

C'est une sorte de fatigue et de sentir qu'on n'était pas forcément, en toute honnêteté, animé par la mission.

On avait, comme on a créé un peu niche, oui, en effet, l'analytics Instagram très deep.

On avait fait une boîte pour l'exercice de faire une boîte, plus que pour essayer de suivre une mission qui nous prenait aux tripes. On a voulu faire entrepreneur parce que c'était cool d'être entrepreneur, en gros.

C'est vrai?

Ouais, c'est vraiment pour ça. Et on avait commencé avec des trucs délirants. On avait commencé avec des cartes de fidélité virtuelles dans les magasins. Donc on faisait du porte-à-porte. C'était à l'époque de Groupon, ça. On faisait du porte-à-porte. On faisait, mais les cartes fidélité en papier avec des poinçons, ça, c'est le passé. Il faut passer des cartes de fidélité mobiles. Ça marche avec des QR codes, etc. Vendre à des commerçants, c'est juste l'horreur.

Les uns après les autres.

Mais ne serait-ce que les uns après les autres, mais c'est une clientèle qui aime, qui aime, qui est très proche de son argent et donc une subscription, un abonnement à 30 pour eux à l'époque, ils nous disaient mais 30 c'est l'abonnement que je fais pour avoir Internet, c'est beaucoup trop cher.

Oui, c'est des business de centimiers à proprement parler, les commerçants. Donc en effet, quand tu gagnes quelques centimes sur une baguette ou 10 centimes, 20 centimes, etc. Quand à la fin on te demande 30 tu te dis attends mec, c'est un nombre de baguettes énorme, c'est sympa mais bon. Et c'est vrai qu'il y a aussi des difficultés pour quelques personnes que je connais qui sont dans ces business, notamment de te faire payer, en particulier si tu es pré-Stripe et tout ça, en fait prélèvement, etc. En fait tu as des relances à gogo et puis une multiplicité de clients qui fait que c'est compliqué, c'est vrai que ce sont des business assez durs. Et juste pour remonter un tout petit peu avant, toi t'es parisien?

Ouais.

OK. Comment tu te retrouves à faire des études d'excellence comme ça? C'est tes parents qui t'ont poussé à mort? C'est un terreau familial?

Voilà, c'est... Terreau familial? Non, j'ai pas de parents polytechniciens ou des choses comme ça. Je fais pas partie de ces longues dynasties de polytechniciens. Ils sont pas profs non plus. Ma maman a fait des études de pharmacie, mon père de chimie. J'ai été éduqué par ma maman seule, donc qui travaillait beaucoup. Donc j'ai pas mal d'indépendance. J'ai eu de la chance de ne pas avoir de difficultés à l'école.

Tu m'as vu lever les yeux au ciel, oui. Alors la chance de ne pas avoir de difficultés à l'école, je pense qu'il y a un peu de chance, oui. Peut-être un peu de prédisposition ou autre chose comme ça.

Je pense que ma maman m'a toujours dit tu travailles pour toi et ça a toujours bien marché. Je me suis vraiment posé la question de faire une prépa. Moi, j'étais passionné par l'informatique.

Tu as le souvenir d'avoir toujours travaillé solo? C'est-à-dire que tu n'avais pas besoin qu'on te pousse au cul? Tu te motivais tout seul? J'avais forcément la schlag de ta mère quelque part.

J'avais forcément quelqu'un qui venait m'aider à faire mes devoirs du CP au début du collège. Mais je n'ai pas de souvenir que je me fasse pousser. Je crois que j'avais... Je rêve. De faire comprendre ça à mon fils, c'est que je me disais bon bah Edouard, on les fait, on les torche et on y va. Après, je peux aller faire de l'ordi en gros. Et ça marchait plutôt bien comme ça.

Tu sais que c'est Cyril Chiche dont je te parlais tout à l'heure que j'ai réenregistré hier pour La Martingale sur un autre que j'aime beaucoup et le patron de Lydia et qui me disait, je crois qu'il me l'a dit on mic mais je suis pas sûr, il me disait non, non, mais moi je fais jamais bosser mes enfants, ils se débrouillent tout seuls parce que c'est le pire service à leur rendre, etc. Alors je fais le max pour essayer ça. D'ailleurs, c'est des débats interminables potentiellement de couple, tu vois. Mais je pense que si tu arrives, tu vois, je te voyais les mains prier tout de suite, mais quand on arrive à faire ça, c'est le meilleur service à rendre déjà aux enfants, puis aussi à toi, parce que tes soirées week-end peuvent changer radicalement. Mais c'est intéressant de voir comment toi tu te vois, tu t'es vu. Moi, j'ai, je crois qu'on Mes parents m'aidaient pas forcément beaucoup, mais me contraignaient quand même pas mal. C'est-à-dire, vas-y, tu fais tes trucs et tu m'emmerdes pas, quoi.

Donc tout ça se passait bien et je pense que j'ai eu la chance que ça se passe très naturellement et très bien parce que pas trop de difficultés et ça avançait bien. Très passionné, très passionné par l'informatique. J'hésite à faire une école après, pas intégrée ou quelque chose comme ça. Et puis je me dis, et puis tout le monde me disait il faut faire une prépa, il faut faire une prépa. Je me dis bon bah on fait une prépa. Et donc je vais faire une prépa maths sup à Ginette et j'ai la chance de— c'est marrant la prépa parce que j'étais pas forcément très très fort en prépa, mais il y a une espèce de grand reshuffle à la fin du concours parce que la manière dont tu passes un concours va avoir un impact énorme sur tes résultats. C'est-à-dire qu'il y a des gens qui étaient extrêmement bons toute l'année qui s'effondrent au moment du concours, des gens qui étaient moyens qui explosent au concours parce que c'est un exercice encore différent de tout ce qu'on fait 1 à 2 ans.

Ginette, c'est Versailles. Et c'est, je sais pas, il y a pas beaucoup mieux, peut-être Henri IV ou je sais pas, enfin, tu es vraiment dans le top 3. Voilà, c'est la guerre, c'est la grosse compète ou c'est bonne franche camaraderie?

Non, c'est assez basé, enfin, Ginette a sa marque de fabrique qui est basée sur la collaboration, la camaraderie. Le but, c'est d'être en guerre contre les autres, mais d'être ensemble pendant toute la prépa. Ça sert à rien de se battre les uns contre les autres, ce qu'il faut se battre contre Henri IV et le Grand Lion.

Bon, c'est bien, c'est bien.

J'en ai un très bon souvenir, beaucoup de boulot, mais c'est passionnant parce qu'on apprend énormément et très rapidement. Et donc voilà, j'ai la chance d'avoir Polytechnique et donc à Polytechnique, je suis un cursus avec une spécialisation plutôt orientée vers l'informatique.

Informatique.

Et avec la grande question de savoir, c'était à l'époque où tout le monde allait faire de la finance. Donc, est-ce qu'il faut aller faire de la finance ou est-ce qu'il faut suivre sa passion et continuer dans l'informatique? Et donc, à ce moment-là, je me dis bon, c'est bon, à fond dans l'informatique. Et c'est comme ça que je—

C'est intéressant ce que tu dis. Ce qui est intéressant, c'est que pour les plus jeunes ou ceux qui n'ont pas bien suivi cet épisode, en effet, donc là, Tech Quad 2000, 2004 à 2006 ou 2007. Enfin, t'es vraiment exactement sur la... Alors, certains le verront un peu avant, mais disons qu'il y a eu la fin des années 90 dans lequel il y avait le dot-com boom aux États-Unis particulièrement. Il y a eu la bulle internet qui a éclaté en 2001. T'étais au fond du trou. Et là, vraiment, moi, j'étais à Londres en 2005. Entouré de traders. Moi, j'étais plus dans la presse et les médias, donc toute l'année 2005. Et moi, je commençais, je rêvais vraiment d'internet, tu vois. Mais j'avais quand même ce truc où des brokers me disaient mec, vas-y, tu parles bien, tu es avenant, viens avec nous, je gagne 500 000 balles par an. Tu disais ouais, c'est tentant quand même. Et c'est vraiment les, c'était vraiment les sirènes de l'argent. Et beaucoup de polytechniciens, beaucoup de de matheux dans les traders, voilà. Et les tiraillements étaient forts parce que tu dis en fait, bon, ça faisait un peu ancien monde Wall Street, tu vois, les années 80-90, etc. Et il y avait un truc au-delà de l'argent dans le digital qui était vraiment une forme de transformation du monde qui était intéressante. J'imagine que dans des niveaux comme ça, il y avait, tu dirais, si tu devais dire la balance, c'était quoi? C'était encore une majorité qui allait dans la finance ou le— parce que la différence à Polytechnique ou dans ces écoles, c'est que tu es quand même une— enfin, aller dans la finance, no offense pour ceux qui y sont et qui nous écoutent, mais pour les plus matheux et engineering, c'est quand même un stretch, quoi. Il faut quand même aller— tu sors de ta route initiale, non? Je me trompe?

Pas tout à fait. Alors, ça dépend si tu retrouves à faire de sales dans la finance, c'est sûr que c'est plus trop de l'ingénierie, mais il y avait un master à l'époque qui s'appelait le master El-Karoui, qui était par une prof qui donnait aussi un cours à Polytechnique, qui était hyper réputé pour devenir Qwant. Et c'était une voie assez royale. Il y avait ça, il y avait le consulting. Le consulting, c'était eux qui faisaient les plus beaux cocktails de recrutement, etc. Et il y en a, c'était une énorme...

Sur le vécu, il dit ça avec les yeux qui brillent.

Il n'y avait pas Google, il n'y avait pas Amazon, Facebook existait à peine. Et donc, ce qu'on voyait sur les campus en termes de recrutement, c'était principalement les cabinets de conseil, un peu les banques. Et c'était la grande, grande majorité, dans mon souvenir, en tout cas.

Et quand je dis un stretch, c'est que l'ingénierie, la pureté que je pourrais dire à la limite, je dis tu vas aux ponts et chaussées, c'est quand même pour faire des ponts et des chaussées. Enfin non, mais tu vois la pureté des choses à l'origine. Je dirais Polytechnique, tu as une idée d'ingénierie qui est peut-être pas d'optimiser du trading haute fréquence. Je dis des conneries, mais tu vois, un peu, tu es peut-être pas dans un truc assez pur. Je pense que l'ingénierie pure du digital et du dev tel que tu l'as vécu après a peut-être plus de noblesse.

Je vais pas faire de jugement de valeur. Pour moi, je pense que c'est une question de, en fait, si on sait pas ce qu'on veut faire. Je vais me faire flinguer par du monde. Le conseil et la finance, c'était quelque chose de naturel. Je sais pas trop ce que je veux faire. Le conseil est très naturel. Je sais pas trop ce que je veux faire, je vais faire du conseil.

Et puis il y a plein de choses. Dans le conseil, tu as un avantage, c'est que tu apprends plein de choses sur plein d'univers différents. Tu règles des problèmes dans des business que tu connais absolument pas. T'es pas toujours légitime, mais on t'apprend des manières de faire qui sont intéressantes.

Et je pense que c'est vrai que là, on était plein. Moi, ça m'a aidé pendant Polytechnique. J'ai fait un peu d'entrepreneuriat aussi, on pourra y revenir, mais autour de la tech. Mais beaucoup de gens ne savaient pas trop ce qu'ils voulaient faire. Donc c'est un premier step naturel. Et après, c'est sûr que si tu décides d'aller dans la finance, que tu vas à Londres, que très rapidement tu as un salaire énorme, c'est dur de s'en dépatouiller aussi. C'est normal. Niveau de vie s'adapte à ce qu'on gagne.

Et alors encore une fois, les gens, c'est pas forcément là-dessus des— ce ne sont pas des jugements de valeur que je mets dessus, c'est plus une approche pour savoir comment ça se passe à l'intérieur. Moi j'étais, je pense honnêtement, j'étais à deux doigts d'y aller, tu vois. Et par certains aspects j'aurais probablement bien fait, tu vois. Donc voilà. Et je sais pas, j'essaie de trouver pour quelqu'un, qu'est-ce qui a fait, qui t'a fait shifter, de vouloir créer une entreprise dès Polytechnique, en refaire une sortie de Stanford?

On n'a pas vraiment On n'est pas avocat d'entreprise, mais donc à Polytechnique, je me dis bon, c'est décidé, c'est informatique, c'est mon dada. Vaut mieux faire ce qu'on aime, ça rendra les choses plus faciles dans la vie. Tu codais depuis longtemps? Il semblerait que j'aie commencé à coder à 8 ans.

OK, d'accord.

En BASIC sur un PC, sur un 8086.

OK.

Un peu pour s'amuser. Après, il ne s'est pas passé grand-chose et je pense que c'est plus vers 14 ans où j'ai recommencé un peu sérieusement à faire ça. Et en début de Polytechnique, je commence à, enfin au collège, on monte une boîte avec un copain de création de site internet. Donc on fait un ou deux sites internet, on avait fait une scierie si je me souviens bien, et peut-être un autre truc comme ça. On avait fait un peu d'argent, c'était très cool. On avait monté une vraie boîte qu'on a dû des sourds et tout ça. Et ensemble, on s'est relancé au moment où moi, je suis arrivé à Polytechnique. On s'est relancé sur une idée qui s'appelait mondisqueenligne.fr. Donc, l'idée était de stocker ses fichiers sur Internet parce que la clé USB semblait, c'était pas pratique, on pouvait la perdre ou la casser.

Ça n'aura aucun avenir.

Et c'est incroyable, c'est génial parce qu'on crée très rétrospectivement, on pense à Google Drive, avant ça Dropbox, etc. Donc c'est une idée évidente. Mais à l'époque, c'était hyper dur à expliquer aux gens. Les gens disaient mais pourquoi j'ai besoin de ton truc? J'ai une clé USB à mon porte-clés, ça sert à rien. Complètement con. Complètement con. Et donc voilà, on avait monté ça, on a eu un petit succès, tout petit succès, je pense qu'on avait 20 000 comptes, peut-être quelques centaines d'utilisateurs actifs. Où d'un moment, on était pris par nos activités d'école et on a décidé de s'arrêter très bêtement. On ne savait pas ce que ça voulait dire lever de l'argent. On ne savait pas ce que ça voulait dire de faire un... 20 000 comptes? 20 000 utilisateurs, oui.

Payants?

Non, non, non. Alors, c'était une question intéressante. On n'avait aucune conscience de go-to-market ou de choses comme ça. Pour nous, c'était impossible de ne pas faire payer un service. Ça n'avait pas de sens. Et c'est intéressant comme quand on est jeune, on peut tenter des choses intéressantes et on n'avait pas les outils pour réussir quoi qu'il arrive. Et c'est très intéressant de se demander comment est-ce qu'on aurait pu les avoir.

Ce qui est intéressant, c'est que tu as un gros succès product quand même parce qu'en fait, 20 000, on ne se rend pas toujours bien compte, mais 20 000 utilisateurs en 2005, c'est énorme.

Après, c'est 20 000 personnes qui ont créé un compte. Je pense qu'on devait avoir quelques centaines de personnes qui stockaient des choses, mais ça suffit. En 2005, c'était, ça suffit. Enfin, si je prenais une machine dans le temps, ça suffisait à démontrer qu'il y avait quelque chose d'intéressant. Mais alors, à Paris, sans réseau, etc., trouver quelqu'un qui nous pousse ou qui nous dise mais c'est génial, il faut y aller, faites des comptes gratuits, il faut financer, etc. Impossible. Et pourtant, on n'est pas de la campagne.

Non, mais je pense qu'il y a ça. Et puis, déjà, il n'y avait pas de gens qui investissent sur ce genre de choses ou très peu. Peut-être que tu aurais trouvé un Xavier Niel d'une manière ou d'une autre, il aurait peut-être commenté, il se serait peut-être dit «Tiens, c'est pas con». Il n'y avait surtout pas de littérature autour du sujet. C'est-à-dire que moi, tu vois, j'ai fait ma première levée de fonds en 2007 en France. Tu vois, tous les registres, seed, série A, série machin, business angels font, tu les apprenais vraiment en allant chercher dans des trucs américains assez deep quoi.

Donc on avait un serveur qui tournait sur une Freebox ou il me semble, non c'était peut-être Numéricable à l'époque, dans l'appartement de...

C'était même pas chez un Red 2.

C'était un serveur avec 4 disques durs dans un appartement. Et un jour on a décidé de le débrancher, il y a quelques personnes qui ont râlé et c'était la fin de cette belle aventure. Dommage parce qu'on aurait pu faire quelque chose de sympa.

Drôle.

Et donc ça, et aussi au milieu de Peking, je pars à Purdue où je fais un Summer Undergraduate Research Fellowship. Donc c'est 3 mois à aider un professeur à faire de la recherche.

Où ça?

À Purdue. Purdue University, c'est Midwest. C'est à West Lafayette, sud de Chicago. Donc c'est tout ce que tu peux imaginer d'un campus américain, le campus, le vrai campus, le football américain, les cheerleaders, la rivière avec les bateaux gonflables ou tout, de la bière le week-end, tous les clichés extra. Et donc je fais de la recherche avec ce prof.

Pardon, comment tu étais donc quoi? Tu étais où là?

Tu étais en—

donc c'était à Polytechnique.

Je demande à un prof d'info, tiens, j'aimerais bien Voyager ou aller aux États-Unis? Non, c'était, je voulais aller aux États-Unis, aller aux États-Unis. Et il me dit bah j'ai ce prof-là, je le connais bien, je peux lui demander.

Et t'es payé dans ce cas-là ou on te défraie quoi?

Plus ou moins, on défraie je pense.

Non mais c'est trop bien tout ce qui permet d'aller.

Et c'était génial. 3 mois à faire de la recherche en algorithmique. C'était intéressant. J'étais plus là quand on est undergrad, donc c'est niveau licence en gros, on est plus là comme aide du professeur et dit tiens, j'ai cette idée, va l'implémenter et on va voir ce que ça donne. Et c'est pas vraiment nous qui drivons la recherche, mais c'était une expérience géniale et ce qui m'a permis d'être co-auteur d'un papier que je suis allé présenter à Halifax, une conférence à Halifax, Canada. Et je crois que c'est Colombie-Britannique, je crois, c'est ça. Jusqu'à il y a 3 mois, c'était mon seul papier publié. Mais c'est le top, seul vrai papier. Et donc ça, c'était une expérience géniale de prendre son avion, d'aller à Seattle, après un petit coucou de Seattle à Halifax, qui est vraiment au bout du monde au Canada, pour présenter devant des chercheurs en informatique. Montréal, pardon.

Montréal, Halifax, c'était à l'opposé de Seattle.

Et donc, expérience géniale parce que ça montre que même en c'est quelque chose qu'on n'a pas, une culture qu'on n'a pas du tout en France. Et je pense qu'on l'a pas encore, c'est bien dommage que même en tant qu'étudiant on peut participer à des projets de recherche, à faire de la vraie recherche.

C'est pour ça que je te posais ces questions parce que 3 mois, tu as quand même le temps de travailler un peu aux États-Unis, dans des armpits, donc dans le trou du, comme on dit en France, des États-Unis. C'est, je pense, très très enrichissant parce que tu vois quand même autre chose que que San Francisco ou New York. Et puis avec des gens comme ça qui te tirent vers le haut, ça doit être... Quelle est la différence entre l'algorithmie et l'IA?

Ce que j'ai appelé algorithmie là, c'est juste qu'on... Oui, l'algorithmie, c'est plus trouver des algorithmes pour faire des tâches de manière performante. Donc l'algorithme, d'une certaine manière, l'IA se nourrit de l'algorithmie. Puisque l'algorithme, c'est de se dire, bah, alors le papier que j'ai fait, ça s'appelait, ça s'appelait 2D Discrepancy Sensitive 2D Nearest Neighbor. Donc ça veut dire, discrepancy sensitive, c'est lié à la structure qu'on utilisait. 2D nearest neighbor, ça veut dire, vous prenez un, tu prends un carré, tu mets des points à l'intérieur, tu choisis un point, il faut trouver les plus proches voisins. Et donc il y a un algorithme de base qui serait de regarder tous les points et de comparer les distances et de trouver les plus proches voisins. Donc cet algorithme, il va être linéaire en temps. Et donc on essaye, l'algorithmie par exemple, c'est de dire on va essayer d'inventer une structure de données dans laquelle on va rentrer ces points de telle sorte que quand on les rentre et quand on fait une requête sur cette structure de données, on arrive à trouver les plus proches voisins en moins de temps que que juste les inspecter tous les uns après les autres. Donc c'est vraiment essayer de trouver un algorithme plus efficace pour faire une tâche donnée.

J'ai compris à 80 Cool. Voilà, discrepancy, c'est divergence. Et tu... Ouais, donc non, parce que récemment, certaines personnes me disent, débattaient en disant bon, machine learning, finalement, c'est ce qu'on appelait avant l'algorithmie. Finalement, c'est pas très loin, mais bon, il y a plein de débats qui sont possibles. On va peut-être pas rester là-dessus.

Le machine learning se nourrit de l'algorithmie parce que, par exemple, dans une tâche de machine learning, on va vouloir faire une multiplication de matrice, une opération au milieu d'un modèle. Et cette opération, il faut la faire le plus vite possible.

Et ce que tu m'as décrit là, c'est une forme de machine learning finalement. Tu apprends, enfin, la machine doit trouver les points. Tu vas apprendre à la machine.

Il n'y a pas d'apprentissage vraiment, parce que c'est vraiment plutôt une structure T'exécutes le programme. On exécute, il n'y a pas de stochasticité, il n'y a pas de partie aléatoire, il n'y a pas d'apprentissage non plus. C'est vraiment, on rentre les points et on est sûr d'avoir le résultat. Et mais donc l'algorithmie, ça peut être utilisé dans le machine learning pour optimiser une partie d'un modèle. Par exemple, dans un modèle, si on a une opération qui prend beaucoup de temps, on va faire de l'algorithmie pour trouver un algorithme, donc une suite d'instructions qui va faire cette même opération plus rapidement.

Rapidement.

Et ça, c'est une des guerres actuelles du machine learning puisque la rapidité et le coût d'entraînement et d'inférence, donc d'utilisation des modèles, est quelque chose de primordial.

Alors ça fait des questions, on va digresser très rapidement, je sais pas d'ailleurs, mais là-dessus, c'est que de ce que je comprends, alors des LLM qui sont les modèles que je connais le mieux, en tout cas que je pratique le plus Aujourd'hui, il y a des erreurs parce que c'est probabiliste, statistique, c'est ça. Donc de temps en temps, alors que si tu lui donnes un modèle comme ça, c'est ce que je comprends peut-être dans ce que tu viens de dire, mais quelque chose, tu sais que ce que tu lui donnes est une tâche déterministe, il n'y aura pas de problème. Tu vas lui dire le point dans mon carré, c'est celui-là, je veux que tu me trouves les 3 points les plus proches. Ce sont les 3 points les plus proches. Il n'y aura pas d'erreur.

Il n'y aura pas d'erreur.

Que sur un LLM, il peut y en avoir et on l'accepte. Donc, tu dois essayer de nourrir les LLM de trucs qui vont dire, si jamais un jour on te dit d'aller chercher une tâche dans ce cas, les points autour de ce truc dans le carré, il faut que tu utilises ce machin, c'est ça ce que tu dis?

Non, je faisais un parallèle un peu plus général, mais par exemple, aujourd'hui, tout le monde a entendu parler des GPU qui sont...

Alors, pardon, on va remettre tous les termes au fur et à mesure. LLM, GPU...

Large Language Models, donc modèles de... Langage, grand modèle de langage.

Qui vont aller chercher, donc on parle de ChatGPT notamment.

C'est ce qui est à la base de ChatGPT. Donc c'est, on va, on peut faire une petite parenthèse.

Encore dans la parenthèse.

Donc un Large Language Model, c'est comme un autocomplete géant.

Une autocomplétion géante.

On prend tout Internet et on entraîne un modèle à essayer de, étant donné un début de phrase, de le continuer?

Alors, ce qu'on me disait au début, quand on m'a expliqué il y a quelque temps, 18 mois, peut-être plus, c'est qu'à l'origine, on va te prendre peut-être même une phrase, on va enlever un mot et on va dire à la machine «remplis la phrase» et puis ensuite, on va enlever 2 mots, puis 3 mots et puis après, on va lui dire «il était une fois», vram!

Alors exactement, il y a 2, c'est un autre, c'est les modèles qu'on appelle on appelle de type BERT, qui sont entraînés à faire des, à remplir des trous dans une phrase. C'est intéressant parce que eux, ils peuvent prendre du signal du début et de la fin de la phrase, donc ils prennent plus de signal du contexte. Mais les modèles de langage de type ChatGPT, eux, sont autorégressifs. Donc autorégressif, ça veut dire qu'on leur apprend, étant donné un bout de phrase, on leur apprend juste à générer le mot suivant. Et pourquoi on appelle autorégressif, c'est parce que quand on veut leur faire générer une phrase entière, du coup, on donne un début de phrase et ensuite, il va générer un mot et on va lui redonner ce mot-là et il va générer le mot suivant. Donc, il y a cette espèce d'autorégressivité, c'est-à-dire qu'à chaque fois qu'il génère quelque chose, on lui redonne ce qu'il a généré et il doit régénérer le mot suivant.

Et là-dessus, il s'alimente d'une base de savoir, pas infinie, mais gigantesque de mots, de choses comme ça.

Alors, il a entraîné sur, il est entraîné sur tout Internet. Et donc, c'est très intéressant de faire le parallèle entre le machine learning en général, c'est toujours très intéressant d'y penser en termes de compression. Donc, qu'est-ce qu'on est en train de faire? On demande à un système qui va être capable d'apprendre de faire la complétion de phrases trouvées sur Internet et on prend tout Internet. Et ce système a pour stocker l'information ce qu'on appelle ces poids. Donc on pourra essayer de creuser dans le détail, mais en gros c'est des valeurs numériques. Donc il y a pas de mots, il y a pas de— c'est vraiment des valeurs numériques. Et le modèle il travaille dans un espace latent, donc c'est pas dans l'espace des mots, il travaille dans un espace mathématique où il a des vecteurs. Et il y a certains vecteurs qui vont pouvoir représenter des concepts, mais nous c'est très dur à introspecter. Et donc il a juste des valeurs, il a des valeurs, des grands tableaux de valeurs sur lesquels il peut apprendre. Et donc ce qu'on essaye de faire, c'est vraiment de compresser tout internet dans un tableau de valeur beaucoup plus petits, parce que tout Internet, c'est très gros et les modèles sont gros quand même, mais ils sont beaucoup plus petits qu'Internet. Et donc, c'est pour ça qu'ils ne sont pas parfaits et qu'ils font des erreurs. C'est parce qu'ils ne peuvent pas tout apprendre par cœur. Donc, ils sont obligés d'utiliser une forme de compression et d'utiliser une forme d'imperfection pour faire leur génération.

Si je prends une tâche simple comme, je ne sais pas moi, qu'est-ce que j'avais fait? J'avais demandé, j'en avais parlé ici, explique je sais plus quoi à la manière de Victor Hugo, tu vois. Et donc si je vais lui dire crée-moi un texte, même un truc assez compliqué, mais il va être dans la probabilité de dire après le, il va y avoir fromage et etc. Et donc il te reprend le mot d'avant, d'après, etc. Puis il va te dire bon, dans ce contexte, je dois aller là-dessus. Et puis Si je lui dis à la manière de Georges Sand ou de Victor Hugo, il va savoir de manière qu'eux écrivent plutôt comme ça.

Exactement.

Et donc, il va t'écrire avec des mots ou des formules.

Donc, en fait, ce qui se passe, c'est qu'à chaque fois qu'on génère un mot suivant, c'est un modèle probabiliste. Donc, c'est-à-dire qu'on va, ce qu'on appelle, sampler d'une distribution. Donc, la sortie du modèle, c'est pas un mot. La sortie du modèle, c'est une distribution de probabilités sur l'ensemble des mots. Donc si je suis en train d'écrire la table est dans le bon, la suite naturelle c'est bureau. Donc dans ce cas-là, la probabilité, la distribution de probabilités va être très resserrée autour de bureau. C'est-à-dire qu'il y a très peu de chances de dire un mot différent, puisqu'on dit à tout le monde sur Internet, partout, même à n'importe quel humain, la table est dans le, la plupart des gens vont dire bureau. Mais sur certains mots, il va y avoir une distribution de probabilités beaucoup plus large. Et donc, en faisant plusieurs inférences ou plusieurs samples différents, on va avoir des résultats différents. C'est pour ça qu'on appelle ça des modèles stochastiques. Si on lui demande la même question plusieurs fois, il va donner des réponses différentes parce qu'à chaque mot, il va prendre des chemins un peu différents. Et donc, si tu mets dans ton prompt à la manière de Victor Hugo ce qui va se passer, c'est que ça va modifier cette distribution de probabilités qui va faire que le texte va ressembler plus à la manière dont Victor Hugo écrit. Donc en gros, à chaque fois, on ne sait pas trop ce qui va sortir. À chaque mot suivant, c'est un peu un tirage de dés pour choisir le mot suivant. Le dé est biaisé de manière très forte vers des choses qui sont correctes ou qui ressemblent à ce qu'on trouve sur Internet. Et quand on rajoute un prompt à la manière de Victor Hugo, Vicente Hugo, c'est qu'on biaise le dé de manière un peu différente pour que ça ressemble un peu plus à Victor Hugo.

Très clair. Ce qui explique que ces large language models sont totalement agnostiques en termes de langue. Ils peuvent coder, tu leur dis de faire du Python ou du C++ ou parler espagnol ou brésilien ou portugais ou thaï.

Ou faire du Python en thaï.

Voilà, ou faire du Python en thaï, c'est possible. En fait, à partir du moment où ils ont des ressources derrière, enfin, ils ont la donnée, ils sont capables de te le ressortir et de traduire.

Tout à fait. Et ils ont, ce qui est génial, c'est que ces capacités, par exemple de traduction, elles sont complètement émergentes. C'est-à-dire qu'on leur a jamais montré des corpus de traduction qu'on appelle parallèles. On leur a jamais montré une phrase égale celle-là dans un langage et un autre. C'est juste que parce qu'ils sont obligés de compresser Internet de manière efficace, parce que leurs poids sont beaucoup plus petits, que l'ensemble d'Internet. Si tu veux apprendre à reproduire Internet de manière efficace, c'est beaucoup plus efficace de savoir traduire. Parce qu'en fait, tu as un concept en tête, il est là, et tu sais juste le traduire dans toutes les langues naturellement. Donc ces capacités de traduction, elles émergent juste du fait qu'il y ait du texte sur Internet qui soit français, anglais, thaï, du code, etc. On leur a pas montré des parallèles. C'est juste parce qu'il y a un besoin de compression, parce que ce sont au final des algorithmes de compression, que pour des raisons de compression, les capacités de traduction émergent naturellement. Littéralement.

Et alors c'est ça qui est fou, c'est que tu peux te dire il y a pas vraiment d'intelligence là-dedans parce qu'il ne comprend pas ce programme, ce qu'il ressort ou ce que tu lui demandes. Cela dit, il y a quand même une force incroyable d'être capable de traduire en instantané des choses, peut-être même d'inventer des langues ou de faire des choses comme ça en fait.

Alors là on rentre dans la définition de l'intelligence, c'est une question C'est assez épineuse. Je sais pas si on peut dire, pour moi c'est pas forcément vrai de dire ils sont pas intelligents ou ils comprennent pas. Il n'y a rien qui démontre qu'on ne fasse pas nous-mêmes un peu la même chose. C'est juste qu'on a plein de signaux qui sont autres que le texte, qui sont beaucoup plus riches. On a un corps qui nous permet de nous déplacer, donc on peut prévoir le monde autour de nous de manière, avec des points de vue différents. Et ça nous apporte un modèle du monde peut-être plus riche qu'un modèle de langage qui ne voit que du texte.

Mais ça se trouve, on est Mais il est aussi plus riche parce qu'il voit beaucoup plus de textes et beaucoup plus de choses.

Et donc maintenant, les capacités émergentes ressemblent à des capacités intelligentes savoir traduire, savoir résumer, savoir créer, savoir calculer, savoir raisonner jusqu'à un certain niveau. On a encore des... Ces modèles ne sont pas aussi intelligents que l'humain. Et encore, la définition est à définir proprement parce que si tu prends l'humain moyen sur une tâche sur laquelle il n'est pas du tout entraîné, dur à dire qui est le meilleur en général.

Tu prends un test QI, j'imagine qu'il est meilleur que tout le monde presque, ou pas loin.

Exactement. Par contre, si on se met sur une tâche spécifique et qu'on le compare à un humain qui est spécialisé dans cette tâche, et si c'est une tâche difficile, alors là, il n'y a pas de question, on est encore loin d'une sphère manuelle. Mais ils ne sont pas intelligents, je ne suis pas sûr que ce soit la bonne caractérisation. C'est une forme d'intelligence d'une certaine manière.

Alors toi qui as fait beaucoup de maths et de programmation, il y a des choses qui sont surprenantes dans les usages de LLM. Nous on fait des tests, donc une des sociétés qu'on a qui s'appelle Alvo qui fait de la fusion-acquisition, enfin c'est une place de marché pour acheter et vendre des entreprises. Donc on veut accélérer sur les small caps, donc les petites entreprises, on veut accélérer le la transmission. Et là-dedans, tu as énormément de choses qui sont dues aux data, aux données, ce que tu appelles les due diligence pour valoriser une société, pour voir ce qu'il y a sous le capot, etc. Et nous, on fait des tests depuis 6 mois pour injecter un maximum de choses, notamment dans ChatGPT, mais pas que, et ressortir un max d'infos, d'analyses, de choses, voilà, qui— et en fait, on a des surprises de temps en temps parce que que quand tu envoies notamment un bilan, un compte de résultat ou une série de bilans et de comptes de résultat, tu mets des chiffres qui sont potentiellement dans des cases, etc. Et de temps en temps, il te ressort des chiffres de ces mêmes cases que tu lui as donnés. Tu lui as dit le chiffre d'affaires l'année dernière a été de 3 872 432 Et puis lui, dans le résultat, il va te mettre l'année dernière, la société a fait un chiffre d'affaires de 7 800 000 Mais non, j'ai mis cette case, elle est là. Alors tu vois, par rapport à tout à l'heure et ton algorithme là-dessus, tu as des trucs où tu dis waouh, il faut encore faire. Alors toujours pareil, c'est assez rare, mais ça arrive. Et quant à ça, tu dis bon, alors est-ce que c'est plus rare qu'un humain? Je pense que pour l'instant pas forcément, mais là où tu disais vrai, c'est qu'un humain qui est très bon, il fera pas ce genre de tâche. Puis quand tu la vois, toi ça te saute aux yeux.

Bien sûr, dès qu'on lance, au moment de générer le prochain mot, quand il va générer le chiffre d'affaires et 2, et pour le prochain chiffre, il va jeter un dé avec une distribution donnée. La distribution va probablement être proche de, enfin, va être très, beaucoup de masse sur le chiffre 3 puisque la bonne réponse c'est 3 millions et que dans son contexte il y a marqué quelque part que c'est 3 millions. Mais cet algorithme est en effet pas parfait et le système d'attention, donc c'est la manière dont le modèle regarde les le texte qui précède pour essayer de construire cette distribution finale, est pas parfait. Et donc, avec une probabilité donnée, il va sortir un autre chiffre. Et s'il commence à sortir 7, de toute manière, là, c'est perdu. Parce qu'il a sorti 7, maintenant c'est autorégressif, donc le 7 re-rentre dans le contexte. Et donc, il est obligé de continuer avec 7. Donc là, il va inventer, une fois que le 7 a été sorti, il peut inventer ce qu'il veut pour les 5 chiffres qui suivent, ou les 6 chiffres qui suivent. Donc, c'est pour ça, c'est parce qu'on toujours, à chaque fois, on lance un dé à chaque fois qu'on génère un token suivant, un mot suivant.

Suivant.

Et donc il y a toujours une probabilité qu'il se trompe et c'est ce qu'on appelle en effet les hallucinations.

Et alors la question c'est, parce qu'il y a d'autres modèles d'intelligence artificielle que les LLM, faudra quand même que tu me racontes un peu ce que vous faites chez Dust d'ailleurs, parce qu'on en a pas encore parlé, mais ces hallucinations, en fait tu peux dire bon bah en fait ça annule tout, c'est-à-dire que finalement faut qu'on arrête nous de travailler là-dessus parce que à la fin c'est tellement inexact, s'il faut faut qu'on repasse par-dessus tout, c'est chiant. Est-ce que, enfin, moi je vois quand même sur pas mal de choses, ChatGPT est meilleur que moi et potentiellement meilleur que, enfin, tu vois, ou sur de la conception rédaction, moi j'aime bien écrire, j'aime bien faire ces choses-là. Si j'y passe du temps, je serais potentiellement, voire très souvent meilleur. Si j'ai envie d'aller plus vite et voilà, tu vois, je me fais largement battre. Et si je dois faire des tâches spécifiques qui sont écrire à la manière de Victor, Victor Hugo, alors là, je mettrais 2 jours à faire ce texte et voilà. J'ai aidé quand même un prêtre à faire un sermon cet été avec ChatGPT, on s'est bien marrés. Et des médecins à faire, enfin j'ai aidé, en tout cas on a fait des tests. Dès que je me retrouve avec des professions ou des gens qui n'ont jamais testé des professions un peu exotiques, ça me fait toujours un peu marrer de montrer que ça fonctionne. Est-ce qu'il y a un moment où, enfin, alors, est-ce que c'est l'intelligence artificielle générale? Est-ce que, mais où en fait, quand même, tu diras, ou est-ce que maintenant, même selon toi, il faut déjà y aller quand même beaucoup parce que ça te permet de comprendre? Quel est, selon toi, le point de bascule?

Ça va dépendre de la tâche. Déjà, une bonne nouvelle, c'est qu'en général, c'est plus rapide de vérifier que de générer. C'est-à-dire que c'est, comme tu le dis, un texte écrit à style de Victor Hugo, Très dur à générer, assez facile à vérifier. Ah oui, c'est bien style Victor Hugo, le contenu me va.

Corrige le paragraphe 3 ou rajoute ça ou juste—

Non mais pour l'humain. C'est-à-dire que le modèle va faire le gros travail, le gros travail de génération d'un texte. Et pour l'humain, vérifier que le texte parle bien de la bonne chose et avec le bon style, ça prend beaucoup moins de temps.

C'est vrai dans le code informatique, ça, notamment.

Et ça, c'est— dans le code informatique, ça dépend un peu parce que—

Tu vois, tu es sur un truc que tu connais bien.

Dès que le Si c'est quelque chose de très compliqué, ça peut prendre presque autant de temps de vérifier que de générer. Par contre, là où les modèles, par exemple, sont très utiles en code, donc le produit phare, ça s'appelle Copilot de GitHub. La raison pour laquelle ils sont très utiles, c'est que c'est un modèle assez petit, parce que le but, c'est qu'il aille vraiment vite et qu'il coûte pas cher. Et c'est pas grave s'il est pas aussi intelligent qu'il pourrait l'être, parce qu'en gros, à chaque fois qu'on tape sur le clavier, il y a une proposition qui apparaît. Et pour le développeur expérimenté, filtrer à travers les bonnes et les mauvaises propositions que la machine lui fait en quasi temps réel, ça coûte quasiment zéro. C'est-à-dire que moi, quand j'utilise Copilot, je vois instantanément si c'est ce que je veux ou si c'est ce que je veux pas. Si c'est ce que je veux pas, je continue à taper. Et si c'est ce que je veux, j'appuie sur Tab et pouf, j'ai gagné 10 secondes.

C'est ce que tu as dans les mails de plus en plus?

C'est ce qu'on a dans les mails aussi. C'est très, donc l'autocomplétion dans dans Gmail, qui est assez simple comparé au niveau de ChatGPT par exemple, mais elle est bien faite parce qu'elle coûte quasiment zéro à accepter ou à ne pas accepter. On voit instantanément, intuitivement, ça prend vraiment quelques millisecondes pour nous de l'accepter ou de la refuser. Et donc ça coûte quasiment zéro. Les erreurs coûtent zéro. Donc c'est plein de use cases où l'erreur du modèle coûte quasiment rien. Et ça, c'est des use cases géniaux, quoi, parce que le modèle va faire gagner du temps et quand il se trompe, il nous en fait pas perdre. Maintenant, sur des tâches beaucoup plus compliquées, donc je pense qu'il y a plein de classes de tâches où ça sera beaucoup plus rapide de vérifier que de générer. Et donc le modèle, même s'il peut se tromper, va nous faire gagner du temps. Mais hyper important de vérifier. Donc faut pas prendre ce qui sort de ChatGPT pour quelque chose de vrai tout le temps et toujours faire le travail de vérification. Mais même ce travail de vérification en général va être plus court que le travail de génération.

Génération.

Et après, il y a des tâches très compliquées. Par exemple, un problème de mathématiques très compliqué, ChatGPT va nous sortir une preuve qui a l'air, qui a une bonne tête quoi, parce que c'est son rôle, c'est de sortir quelque chose qui est probable statistiquement. Mais aller vérifier une preuve, ça va prendre pas mal de temps parce qu'il faut, l'erreur, il y aura probablement une erreur si le problème est compliqué, et l'erreur va être cachée à un endroit où il fait un passage en force. Et donc là, ça va prendre beaucoup de temps à vérifier. Donc ça dépend, je pense, vraiment du type de tâche. Et au fur et à mesure où les modèles vont augmenter en capacité, ces deux barres, la barre de la tâche où le modèle est très rapide et nous fait pas perdre de temps, ou la barre de la tâche moyenne où le modèle se fait pas trop d'erreurs mais ça prend pas beaucoup de temps de vérifier, et la barre des endroits où il va pas se tromper, elles vont bouger. Et donc il y a, voilà, plus en plus de tâches pour lesquelles je pense qu'ils vont être efficaces et vont apporter un vrai gain de productivité.

Sachant que dans ces modèles, il y a un apprentissage permanent, c'est-à-dire, est-ce que quand je propose à un dev ou à quelqu'un sur un mail 3, 4 formulations différentes et qu'en fait tout le monde prend les 2 premières, ça supprime les 3 et 4?

Ça dépend des systèmes. Dans Gmail, la vérité c'est que je ne sais pas. ChatGPT, lui, est ce qu'on appelle free frozen, quoi. Il est fixe. Et là, il commence à être vieux même. Son entraînement date de fin 2021, si je me trompe pas.

En tout cas, le set de données initiales, c'est ça? Et donc depuis, toutes les— parce qu'il pourrait y avoir le set de données initiales, mais aussi la manière dont il est utilisé. C'est frozen aussi, cette manière d'être utilisé?

Pas complètement.

OK.

Et c'est compliqué, mais on va essayer d'y aller tranquillement. Donc, ce qu'on sait pas faire, c'est s'entraîner de manière continue. Ça, on ne sait pas faire. C'est-à-dire qu'imaginons, on prend toute Internet, on se préentraîne dessus. Ça, c'est la première phase. Et après, on va dire que toute la nouvelle donnée, on va essayer de s'entraîner dessus, n'importe laquelle. Et en fait, ça, on sait très mal s'entraîner de manière continue sur de la donnée nouvelle. Maintenant, ceci dit, les modèles de type ChatGPT, ce ne sont pas les modèles qui sortent de la presse du préentraînement sur Internet. Un modèle qui a été entraîné juste à reproduire distribution d'Internet, il est assez dur à utiliser. Pourquoi? Par exemple, je copie un texte et je mets résume-moi ce texte Si le modèle a juste été entraîné sur Internet, très souvent, il ne va pas comprendre qu'il y a une instruction à la fin. Parce qu'il va considérer ça comme du bruit. Peut-être que c'est une pub. Peut-être que c'est parce que sur Internet, il y a des pubs. Donc, il y a des petites interjections de données un peu bizarres dans les textes. Et donc, il va peut-être essayer de continuer le texte au lieu de le résumer. Résumer. Et donc ça, ça apportait une espèce de problème, que ces modèles sont, pour les utiliser, il fallait en général leur montrer plusieurs exemples de la tâche. C'est ce qu'on appelle du few-shot prompting, c'est-à-dire que pour lui faire faire quelque chose, on lui montre quelques exemples, et avec juste quelques exemples, il comprend la tâche, il arrive à la reproduire. Donc pré-ChatGPT, en gros, pour utiliser ces modèles, on devait faire du few-shot prompting, c'est qu'en général il fallait leur montrer toujours quelques exemples de ce qu'on voulait faire avant de lui faire faire la tâche.

C'est marrant parce que ça peut être très proche de l'humain. Enfin, je veux dire, c'est un peu la répétition. En fait, regarde, tu fais ça, il se passe ça. Tu fais ça, il se passe ça. Si tu fais ci, il se passe ci. Exactement.

Mais c'est toujours pour biaiser cette distribution au moment de générer le prochain token. S'il a vu exemple A, réponse B, exemple B, enfin un exemple, une réponse, un exemple, une réponse, un exemple, une réponse. Si je montre un exemple, lui, s'il se dit je suis sur Internet, ce document, c'est une liste d'exemples et de réponses. Donc il faut que j'écrive la réponse. Ça a biaisé la discussion vers lui encoder le fait qu'il fallait écrire la réponse à la tâche donnée. Mais ça, c'est pas pratique à utiliser parce qu'on peut pas lui dire «Ah, ChatGPT, résume-moi ce texte» parce qu'on lui a pas montré un texte, un résumé, un texte, un résumé. On n'a pas envie de faire ça en termes d'un point de vue produit. La magie de ChatGPT, c'est qu'on arrive, on lui donne un texte, on lui dit «résume-le-moi», il résume. Et donc c'est pour ça qu'il y a une surcouche d'entraînement sur ce modèle de base qui s'appelle le modèle pré-entraîné sur Internet, Internet, il y a une sorte de surcouche d'entraînement qui s'appelle instruction following. Donc c'est le fait de suivre les instructions, et c'est une couche d'entraînement qui se base sur le fait que des humains vont annoter des réponses du modèle pour lui dire ça c'était bien, ça c'était pas bien, ça c'était bien, c'est pas bien, qui va encoder une préférence. La préférence pour ces modèles, ça va être de suivre les instructions en général, ou de pas générer de contenu not safe for work, ou de pas générer de contenu raciste, plein de, tout un jeu de préférences.

Différence.

Et cet entraînement-là, il se refait de manière assez, pas continue, mais il peut être refait assez rapidement. Donc ce dataset, il bouge. Et donc le modèle peut être exposé à de la donnée un peu nouvelle à travers cet entraînement final. Mais le gros de l'entraînement, lui, a été fixé.

Ce qui fait que cette surcouche, finalement, comment tu l'appelles?

Instruction? Instruction following fine-tuning. Et ça s'appelle Il y a une technique qui s'appelle RLHF, qui veut dire Reinforcement Learning Through Human Feedback. C'est la technique utilisée pour faire cette instruction.

OK, c'est ça, donc Reinforcement Learning Through Human Feedback. C'est là-dessus que tu as eu des tests assez fous de Microsoft sur Twitter, qui avait son bot qui était devenu raciste en 2 jours, qui faisait des trucs de ouf, où en fait, tu as des biais aussi d'avoir par des jeunes hommes blancs ingénieurs de la Silicon Valley qui vont faire qu'en fait ton IA est totalement biaisé, un peu sexiste, patriarcal, je sais pas.

Alors ça c'est le cas du modèle quand il sort de son préentraînement sur internet. Parce qu'internet est biaisé. Et que si je le mets en humain...

Donc c'est même pas le dev qui l'a fait qui l'a biaisé, c'est internet qui est biaisé. Donc... OK.

Et donc, et surtout, internet est biaisé, peut-être, enfin, forcément, mais surtout, certains contenus sur internet sont très biaisés. Donc si je mets le modèle en mode biaisé dans une direction, c'est sûr qu'il va continuer, il va foncer dedans. C'est-à-dire que si je commence à me faire des propos racistes, il va continuer, il va être le pire raciste sur Terre. Il saura très bien le faire. Et c'est justement cette phase d'instruction following, c'est un moyen pour les entreprises qui fournissent ces modèles modèle de le rendre un peu plus safe.

Ce qui est fou, c'est que quand tu comprends ça, donc il y a déjà la source qui est biaisée. Après, potentiellement, l'instruction following ou ce que tu vas lui apprendre, que tu dois biaiser en fait quelque part, ou renvoyer vers un truc. Donc à un moment, il y a quand même un choix politique qui est de dire en fait les Noirs égales les Blancs, les hommes égales les femmes. Les humanistes, peu importe, mais en tout cas, voilà, la démocratie, c'est mieux que la Chine et la Russie. Enfin, tu vois, j'imagine. Alors, ce qu'il faut comprendre, c'est que ça, c'est une...

Donc, les laboratoires emploient des annotateurs. Donc, en général, on les trouve sur des plateformes de type Upwork. Et donc, ils leur donnent des instructions. Il y a des instructions pour les annotateurs. Qui vont encoder les préférences que le laboratoire veut avoir. Et c'est une doctrine. C'est pas de biais sexuels, pas de biais racistes, pas de violence, pas de sexe, pas de machin, pas de biais.

Parce qu'à un moment, tu te retrouves avec des mecs qui font des prompts qui étaient comment tuer un maximum de personnes pour 10 dollars quoi. Alors, je ne peux pas te réellement...

Et donc ça, si le modèle a bien été «fine-tuner» pour faire de l'instruction following, en général, il va refuser de répondre à ça. Après, ça, c'est une mesure de sécurité. Comme toute mesure de sécurité, elle peut être cassée de plein de manières, contournée, etc. Mais ce qui est très intéressant, c'est que ce laboratoire donne une doctrine, une constitution à des humains pour annoter les sorties qui vont, à travers le choix des humains, être encodées dans le modèle. Et ce choix et ce choix de préférence, il est complètement politique. Politique. Et il est d'autant plus politique que ça, c'est intéressant, c'est qu'on peut imaginer qu'une grosse partie, une partie non négligeable du texte sur Internet dans les années à venir va être générée par ces modèles. Et donc au cœur, ils vont avoir un biais qui est associé à ce que les fournisseurs de modèles ont décidé comme étant bien ou mal.

Je réexplique ce que tu dis sur le texte sur Internet, puis après on aura peut-être d'autres choses d'ailleurs, puisqu'on voit l'apparition des vidéos, des audios, des choses comme ça. Mais donc le texte sur Internet aujourd'hui, alors nous surtout, une bonne partie du texte sur Internet est un texte à faible valeur ajoutée pour faire du référencement naturel, pour être visible, pour être visible sur les réseaux sociaux, mais qui est généré, on va dire, en masse par soit des petites mains, soit des belles mains. Il y a un peu de tout, mais voilà. Et donc là-dessus, Le LLM est quelque chose de très performant parce qu'il te permet d'en générer plus, mieux et différemment. Donc, en effet, quand tu es un producteur de contenu sur Internet, tu vois la force de tout ça. Et donc, ce que tu dis, c'est qu'en effet, ce texte va alimenter la machine d'un texte qui va lui-même être l'inspiration de la machine.

Et puis, ça peut aller plus loin que ça, l'utilisation de ces modèles en entreprise. Si elle devient générale, on s'en rend pas compte des petits billets culturels qui sont introduits dans un texte parce qu'on dit à la machine de manière un peu violente je veux parler de ça, ça, ça, ça, ça. Il génère quelque chose make it nicer, make it shorter, nanana. On est content, on copie-colle, on envoie le mail. Mais il y a forcément des préférences culturelles qui ont été encodées dans l'email, dans la manière d'utiliser certaines tournures, etc., qui vont avoir un impact impact sur notre culture, même dans une culture, même au sein d'une boîte, qui va avoir un impact sur la culture de boîte.

Moi, en fait, ça me fait hurler de rire, et à la fois je trouve ça moche sous certains aspects. Et c'est là où il faut continuer à faire des efforts et à être— mais c'est qu'on avait cette discussion récemment avec un pote, c'est qu'en fait il y a des trucs, tu vois, la formulation de temps en temps c'est relou, c'est-à-dire dire cher monsieur machin etc. Tu vas encapsuler un truc pour dire en fait juste est-ce que vous pouvez faire ci ça et signer ce machin et donc merci au revoir et je vous souhaite une très bonne fin de journée mes salutations distinguées et en fait si tu vas plus loin dans ce truc-là en fait il va y avoir potentiellement un moment tu vas dire bon un prompté tu vas dire bon dis à Stanislas Polu En thaï, s'il te plaît, avec toutes les formulations thaï qu'il faut, juste de signer ce machin parce que ça me saoule, j'en ai marre, et puis il faut que ce soit fait avant demain, avant midi. Là, tu vas recevoir un bel email qui va dire Dear Stanislas Polu alors en thaïlandais, et puis qui va machin. Toi, tu parles pas le thaï, tu préfères le recevoir en chinois, donc tu vas le recevoir en chinois, puis tu vas dire Enlève-moi toutes les formulations, juste donne-moi l'instruction de ce truc-là. Et donc tu te dis, mais à la fin, et ça va être la même chose dans plein de trucs. Alors Il y a potentiellement des tas de problèmes autour de ça, c'est-à-dire que, alors il y a des problèmes même culturels, c'est-à-dire qu'il ne faut pas perdre, tu vois, pour les gens qui sont plus dans la littérature, dans la poésie, dans plein de choses, même plus largement dans la culture, en fait, ça fait un peu mal. Et puis tu as des problèmes presque peut-être d'ordre peut-être écologique ou voilà, parce que tu crées beaucoup de bruit, beaucoup de choses qui servent à rien, qui sont stockées, qui sont Un cas similaire assez marrant, c'est les dossiers de subvention.

Pourquoi est-ce qu'il y a des dossiers de subvention? Parce que c'est pour mettre une barrière à l'entrée. Parce qu'en général, le contenu, c'est vraiment 10 idées, 10 bullet points, ton CA ou je sais pas quoi, est-ce que tu veux faire, ça tiendrait dans un...

Ils sont 2, ils sont mâles, ils sont blancs, ils ont fait Polytechnique Centrale, ils sont passés par Stanford, ils ont monté 2 boîtes, est-ce que tu veux mettre 10 millions?

Oui.

Voilà.

Non mais là, je parle même pas des Les VC, parce que les VC, ils ont suffisamment évolué aujourd'hui pour que, pas ce pitch-là, mais un pitch limité soit nécessaire. Mais par exemple, quand tu fais un dossier de subvention à la BPI, pourquoi est-ce qu'on te demande 50 pages? C'est pour faire une barrière à l'entrée. Donc il y a tout un, c'était déjà loufoque parce qu'il y avait des cabinets qui étaient là pour aider. Tu leur expliques ce que tu veux faire, le cabinet encode ça dans la préférence de la BPI pour que la BPI soit contente. Et ça met une barrière à l'entrée, c'est que maintenant il faut payer le cabinet. Donc si tu payes le cabinet, c'est que tu es sérieux. Mais avec les modèles, demain on va— c'est des modèles où tout le monde peut utiliser, probablement. Enfin, une très belle subvention, demande de subvention. Je veux pas taper sur ABPI, mais un autre, parce qu'en plus c'était tiré sommelet, mais un autre, une autre demande de subvention. Et ce qui est très drôle, c'est que l'État est en train de réfléchir aussi à utiliser des modèles pour juste enlever le et juste dire c'est cette boîte-là, elle fait ceci, elle fait cela et qu'elle est venue. Donc on se retrouve encore aussi dans le même cas bizarre où il y a une donnée au début, une donnée à la fin, le but c'est que ce soit à peu près la même et on passe à travers un système très compliqué pour la faire passer.

Et ce qui est marrant là-dedans, tu vois, tu parles d'un business que je connais bien parce que nous on accompagne beaucoup de personnes dans leur innovation et donc dans leur recherche de subvention. Et ça, c'est vraiment, tu vois, un truc, je me vante pas souvent ici, je sais pas me vanter, mais un des trucs avec un de mes associés François qu'on a vraiment bien fait depuis 10 ans, 2014 au moins, c'est qu'on avait compris dans les modèles, alors ça, ça venait plutôt du VC et dans les, mais voir des romans clairement ou des choses, on s'était dit en fait ce qu'on veut dans notre approche de subvention, c'est que dans le teaser, dans les 4 premières lignes, puis les 2 premières pages, il y a 90% de la décision qui soit faite. Le reste, c'est du gras. Donc on était déjà là-dedans, en fait, tu vois. Et après, tu mets du gras, mais il y a aussi beaucoup de grands cabinets de conseil qui te mettaient des trucs hyper complexes pour se faire kiffer. Et donc, en effet, faut en extraire un truc. Et en fait, c'est là où tu vois un peu le— là, tu vas utiliser des machines pour essayer de contrer un système qui est débile, quoi. Mais OK.

OK.

On va venir un peu sur ce que tu fais avec Dust. Je reviendrai un peu sur la suite pour peut-être dérouler peut-être plus tard, si on a le temps, de comment t'es arrivé là, peut-être un peu de Stripe, etc. Mais parce que ce que je comprends de Dust, tu vas me dire si... Alors c'est un objet B2B, par moment j'aimerais qu'il soit B2C parce que j'aurais plein d'usages je crois, et je crois que... Je sais pas à quel moment quelqu'un va s'y intéresser de manière B2C à ça, tu me le diras après. Une problématique que j'ai ici, par exemple. Alors là, je te parle ici de Causa Vostra. Donc Causa Vostra, c'est une agence digitale. Il y a 80-100 personnes. L'agence a 10 ans. Et je pense qu'au total, si je fais le compte, il y a 200, 250, peut-être 300 personnes qui y sont passées. Il y a eu un turnover. On a travaillé pour plein de clients. On a un vrai savoir-faire sur plein de choses. On a mis en place des choses qu'il faut qui font qu'on est très fort sur du conseil, je te disais en amont, sur, dans les subventions, dans les médias notamment, mais pas que. On est fort sur la création de contenu pour des clients dans le luxe, dans le e-commerce, dans le commerce en général. On fait des sites marchands, etc. Et en fait, par moment, j'ai des, ben je sais pas, un nouveau consultant qui arrive, j'ai un client qui a un besoin, j'ai un nouveau consultant qui arrive et qui va faire son truc un peu à sa sauce ou alors on essaye de faire mieux et on va lui dire attends, va voir Inès qui est là-bas, viens me voir là, là ça on l'a fait pour Amazon, ça on l'a fait pour Tagger, ça on l'a fait pour machin, on sait faire ci, il y avait je crois ce dossier que tu dois pouvoir retrouver. Et lui va y passer 2, 3, 4, 5 jours à faire un truc. Et récemment sur ChatGPT, j'ai fait un prompt parce que je voyais qu'une de nos consultantes aller galérer, notamment parce que c'était sur un truc en anglais, elle parle pas forcément, la plupart parle bien anglais, elle a beaucoup progressé, mais voilà, aller galérer sur cette création de truc. Et je dis bon, je fais ce prompt en disant on sait faire ci, on sait faire ça, j'ai fait ci, j'ai fait ça, on a travaillé pour untel, untel, untel, tac tac tac. J'ai mis 15-20 minutes à l'écrire et je lui sors, je lui dis fais-moi un slide de 6 slides avec des bullet points simples, très faciles, en en anglais. En 20 minutes, je pense qu'on a fait 3 jours de boulot, tu vois. Voilà, c'est ça que tu fais. Et ce qui est chiant, c'est qu'en fait j'ai quand même dû aller chercher moi-même dans mon cerveau. Je suis pas allé chercher sur Notion, sur Drive, sur machin, sur truc. Et mais je voudrais tellement être capable de ne pas perdre ce savoir et tout ça. Alors pour moi, c'est ce problème que tu résous.

Mais c'est complètement, c'est complètement ce problème-là. En gros, la volonté de monter une boîte après OpenAI, et on pourra reparler de ce que j'ai fait précédemment sur OpenAI en termes de recherche, mais c'était de se dire bon, ça y est, les modèles sont assez bons. C'était avant ChatGPT. C'était se dire ça y est, les modèles sont assez bons, ils vont s'améliorer, il y a encore un gros problème de recherche, mais les modèles sont suffisamment bons pour avoir un impact énorme sur le monde. Or, ils sont complètement sous-déployés, et notamment dans l'entreprise en particulier. Et donc, ça veut dire que c'est autant un problème pro produit qu'un problème de recherche. La recherche va continuer à avancer, mais là, on a un énorme problème produit, c'est que ces modèles, il y a une capacité nouvelle qui est là et personne ne l'utilise. ChatGPT a un peu changé la donne, évidemment. Mais bon, a changé la donne, pas tant que ça. Si tu prends, même dans une entreprise tech, le nombre de personnes qui utilisent ces modèles-là tous les jours est assez restreint. Il y a certaines boîtes qui presque l'obligent.

Nous, on ne l'oblige pas, mais on le pousse fortement.

Fortement. Et il y a des boîtes où, même en le poussant fortement, une boîte de 300 personnes, il y en a peut-être 50 qui vont l'utiliser à fond et 250 qui vont moins l'utiliser.

Et il y a des boîtes qui l'interdisent aussi.

Et il y a des boîtes qui l'interdisent aussi.

Il y en a, c'est pour des raisons de sécurité qui sont, je pense, tu me diras ce que tu en penses aussi, mais légitimes peut-être. Il y en a sur lesquelles tu dis mais pourquoi?

Alors je pense qu'il y a plusieurs problèmes intéressants là-dedans. Il y a un problème de sécurité parce que quand on utilise ChatGPT, Il y a certains settings quand on est payant, etc., qui permettent de dire ne pas utiliser ma donnée pour du réentraînement. Mais si on ne fait pas très attention à ça, en tout cas, la donnée exfile pas mal chez OpenAI et peut être réutilisée pour le reste.

J'imagine que quand tu es Thalès ou Dassault, tu réfléchis 2 fois.

Donc il y a ce premier problème-là de dire je veux avoir le contrôle de ma donnée, avoir des termes qui sont très clairs. Où est-ce que va la donnée? Comment l'utiliser? Qui la garde? Pendant combien de temps? Comment est-ce qu'ils les fassent, etc. Donc je pense qu'il y a un problème purement produit à ce niveau-là, de faire une solution qui soit adaptée à l'entreprise où les gens ont confiance.

C'est sûr qu'il faut, même si tu as tous les termes et tout, il faut quand même être sûr qu'un Patriot Act ou un machin respecte ces termes.

Oui, bien sûr. Il y a plein de questions et l'écosystème est en train de se construire autour de ça aussi. Quand on voit Mistral en France qui se lance dans le traitement de modèles, ça fera des modèles open source, qu'on espère qui seront très bons, qui pourront être utilisés en remplacement de GPT-3.5, voire 4. Et donc l'écosystème bouge autour de ça, évidemment aussi. Donc il y a ce premier problème produit très simple. Il y a un deuxième problème qui est le suivant, c'est qu'aujourd'hui, dans une population de 100 personnes dans une boîte tech, donc on va dire 100 personnes qui sont toutes censées être assez technophiles, il y en a peut-être 20, 30 qui utilisent GPT-4 aujourd'hui. Aujourd'hui parce qu'ils comprennent, ils ont un peu compris comment prompter un modèle, ils ont compris que ces modèles, comme on en a parlé, ont des hallucinations, qu'il faut faire attention, que ça dit pas toujours la vérité, qu'il faut vérifier, etc. Ils arrivent à en faire une utilisation efficace. Mais très souvent, il y en a une grosse partie de ces 100 personnes qui, eux, sont plus tard dans la courbe d'adoption et qu'aujourd'hui comprennent pas comment la technologie marche, comprennent pas qu'une machine puisse dire quelque chose de faux, comprennent pas que parfois elle passe pas trop la bonne information Etc. Et donc je pense qu'il y a une énorme, il y a plein d'opportunités produits autour de ça. Nous, ce qu'on a découvert avec nos, on travaille avec des design partners aujourd'hui, ce qu'on a découvert, c'est qu'on veut vraiment adresser les 20-30 early adopteurs de la boîte. Il faut que si Dust est déployé dans la boîte, il faut qu'ils nous utilisent nous. Donc c'est-à-dire qu'aujourd'hui, on a, à travers Dust, tu peux utiliser GPT-4, tu peux utiliser Claude, à terme tu vas pouvoir utiliser Llama 2, tu pourras switcher de modèle, c'est quelque chose qui est assez avancé, savoir quel modèle tu as envie d'utiliser, utiliser, c'est quelque chose qui est vraiment quelque chose d'un early adopteur. Il faut qu'il soit vraiment heureux avec ça et qu'on ait un produit qui apporte des solutions de productivité plus intéressantes que ChatGPT. Par exemple, tu peux cesser un collaborateur, tu peux travailler avec plusieurs modèles dans la même conversion, etc. Donc vraiment faire un produit qui rend les travailleurs qui utilisent des modèles encore plus heureux s'ils passent par nous.

Alors ça pourrait me faire— vas-y, finis, finis.

Et en deuxième lieu, ce qu'on a vu sur les 50, 60, 70% des gens derrière qui sont pas encore dans la courbe d'adoption de ces modèles-là, c'est qu'ils arrivent à tirer de la valeur de ces modèles s'il y a un travail en amont qui a été fait pour les rendre moins généralistes et les faire ressembler plus à un outil compréhensible. Par exemple, ce qu'on a vu, c'est que sur certaines tâches, dans un de nos partenaires de customer support tier 3, donc c'est les customer support en interne, c'est quand la question est arrivée tout en haut de la pyramide et quand ils se retournent vers la boîte pour essayer de répondre à cette question-là. Si on donne accès à un modèle à toute l'information de la boîte, et qu'on fait un assistant commercial généraliste, ils sont pas super contents de la réponse, c'est-à-dire qu'ils sont satisfaits à 30% du temps.

Je prends un cas d'usage juste pour bien comprendre, être sûr de bien comprendre. Tu es Apple, tu as différents niveaux d'interface, enfin de hotline client quoi. Donc il y en a un qui va dire ok, je comprends pas la question, ça monte au niveau 2, ça monte au niveau 3, tu arrives au niveau niveau 4, il dit bon ok, maintenant je dois appeler Apple, un gros expert sur le machin, parce que sinon ça rentre, il y a un niveau qui est interne à la boîte.

Souvent le support est externe, il y a une partie externalisée qui fait la première ligne de défense, et ensuite une fois que c'est escalé, ça rentre dans la boîte. Et donc il y a un moment où ça arrive et la personne dit bah je ne sais pas, il faut que j'aille demander à la boîte, demander à un ingénieur, faut que j'aille demander à quelqu'un de produit. Enfin, je suis dans Apple, il faut que je me tourne vers Apple pour poser Et très généralement, avec un outil trop généraliste, un modèle qui par exemple a le contexte sur toute la boîte, les réponses sont pas si incroyables que ça. Alors que si tu focuses à certaines sources de données très précises et que tu le promptes un petit peu pour le use case, donc tu transformes un assistant très généraliste qui sait à peu près tout et sait tout faire en un assistant beaucoup plus restreint qui a accès à une donnée plus restreinte et qui a une tâche plus plus mieux encodées, la satisfaction de ces personnes-là explose de 30 à 80 En fait, c'est marrant, tu fais une AI là-dessus, alors tu, au moins tu la restreins, mais comme tu vas chez un cardio plutôt que chez un généraliste. Voilà, exactement. En gros, il y a, ce qu'on voit, c'est qu'il y a toute une population qui va tirer de la valeur d'avoir un assistant beaucoup plus spécialisé, en effet, pour faire une tâche précise précise très bien. Et ça demande un petit travail en amont par quelqu'un en interne dans la boîte, par exemple, de dire, bah, en fait, pour cette tâche-là, on va restreindre les informations auxquelles ont accès le modèle à ceci et on va lui mettre un prompt, une instruction plus particulière. Et ça va créer un agent qui va s'appeler @productfrance3. Et @productfrance3, il a été créé pour cette équipe-là. Équipe-là, et cette équipe-là va savoir que quand ils appellent cet agent-là, ça va faire cette tâche-là beaucoup mieux, avec beaucoup plus de prédictabilité. Donc je pense qu'il y a énormément d'exploration produit à faire dans ce milieu-là pour rendre ces modèles beaucoup plus utiles à beaucoup plus de monde dans la boîte.

Ce qui veut dire que pour ma problématique dont je te parlais tout à l'heure, faut pas uniquement que je l'envoie sur tous tes vieux documents, par tous mes mails et tous les mails de mes associés, Dropbox sur lequel on a des trucs, Google Drive sur lequel on a des trucs, Notion sur lequel on a plein de trucs, peut-être PyDrive, et je lui dis démerde-toi, il va pas être très fort.

Mais c'est-à-dire qu'en fait, s'il y a trop d'informations en entrée, on n'a pas parlé du contexte des modèles, c'est très intéressant, mais ces modèles ont un contexte limité, c'est-à-dire que la longueur de la chaîne de caractères qu'ils peuvent voir est limitée. Donc on peut pas leur montrer toute l'information d'un coup. On peut seulement montrer une quantité d'informations qui est au final assez limitée. Il faut imaginer ça comme un long rapport, quoi. On ne peut pas lui montrer toute l'information de la boîte et lui demander de prendre une décision. On est obligé de rétriver des bouts d'informations sur la base de la requête.

Ça, c'est relou.

Ça, c'est embêtant. Et si l'information en entrée est trop vaste, cette recherche va être plus difficile. Et donc, la quantité de ce qu'on va lui montrer au modèle va être plus, avoir plus de bruit, va être plus noisy et donc la réponse va être forcément fatalement moins bonne. Dans le cas dont tu parlais, je pense qu'en effet, ce que tu veux faire, c'est créer un— peut-être que tu fais par métier, donc tu as un métier luxe, un métier e-commerce, et donc par métier, tu vas créer, tu vas pointer le modèle sur des sources d'informations canoniques, de dire bah ça, c'est ce que c'est tout l'historique de ce qu'on a fait avec client A, B, C, et on a fait du super contrat, ou c'est ce qu'on aime bien faire dans le e-commerce, et le prompter en disant bah ton rôle c'est t'amener une nouvelle mission, essayer de faire une proposition de peut-être des slides ou quoi que ce soit. Et en le rendant beaucoup plus spécifique, il y aura beaucoup moins de travail, ne sera plus sur le, sur la personne qui va utiliser, de le prompter correctement. C'est toi qui l'auras prompté correctement et qui aura montré quelle information il a accès. Et tu auras plus qu'à le donner à cette personne et lui dire bah quand tu as une nouvelle mission «T'es là depuis une semaine, pour les 3 premiers mois, essaye de le pinger pour voir ce qu'il dit, pour te donner un peu des pointeurs vers des choses qu'on a déjà faites, des propositions, etc.» Et ça devient beaucoup plus quelque chose que cette personne-là peut avoir. Donc cette personne peut avoir un modèle mental très clair. OK, ça c'est le bot ou l'assistant qui va me donner des pistes sur la base de ce qui a déjà été fait dans l'e-commerce.

Ce qui est vertigineux, c'est que tu te demandes en fait à quel point on va continuer à travailler aussi, on va, tu vois, parce que tu dis bon là je suis sur l'approche de faire une proposition pour un client, mais après dans l'exécution du contrat, ben c'est pareil, tu vas dire bon on a fait ça pour tous les autres clients, on fait la même, tu vois, et elle fait le tout seul. Et alors j'ai plein de points à noter sur ce que tu as dit et de questions qui me viennent. La première chose que j'ai trouvée surprenante, et finalement c'est exactement ça, c'est les gens ne sont pas habitués à ce que la machine se trompe. Tu as dit ça tout à l'heure. Et en fait, c'est vrai qu'un Excel se trompe pas, quoi, en fait. Ou tu vois, quand tu codes, en fait, tu lui dis «if then else», boom, tac, c'est plié, tu vois. Donc, en fait, c'est difficile d'accepter qu'un humain se trompe. Enfin, d'ailleurs, tu peux ne pas l'accepter, mais enfin, tu sais que ça arrive. Et en effet, tu l'acceptes pas d'une machine. Ça, c'est assez nouveau. Et on est dans un moment où, en fait, on doit peut-être se réinventer, en tout cas en dialoguant avec des IA et en travaillant avec des IA pour réapprendre le fait qu'une machine se trompe, pour arriver à un moment où elle se trompera nettement moins que nous et dans laquelle on doit lui faire beaucoup plus confiance. C'est quand même un peu la période dans laquelle on est quand même un peu bizarre.

La période est hyper intéressante parce qu'en effet, si on croit l'évolution de ces modèles tels qu'on l'a vu jusqu'à maintenant, il y a un moment où pour une grosse partie de la population, toi, moi y inclus, la machine se trompera moins que nous. On peut l'imaginer facilement. Tu y crois? J'y crois. La question, c'est quelle est la distance qui nous sépare, la distance temporelle qui nous sépare de ça. Moi chez OpenAI, je faisais de la recherche sur la capacité de raisonnement mathématique de ces modèles. Et je mettais, je travaillais en particulier dans les applications de ces modèles aux maths formelles. Qu'est-ce que c'est? Qu'est-ce que sont les maths formelles? Les maths formelles, c'est des mathématiques qui ressemblent plus à du code, en fait, et où la machine est capable de vérifier les les preuves. Donc c'est-à-dire qu'on peut énoncer un théorème et si on lui donne une preuve qui va ressembler à du code, la machine est capable de dire bah cette preuve est bien la preuve de ce théorème. Donc ce qui est génial ici, c'est qu'on a un système où on peut utiliser un modèle pour faire une prédiction de preuve et on a une machine qui peut certifier si cette preuve est correcte ou pas. Donc on a une vérification parfaite, donc il y a plus de possibilités d'erreur. Le modèle peut se tromper, encore, mais s'il se trompe, on est capable de le détecter. Donc, ça permettait de faire de la recherche un peu dans le futur où on est. C'est comme si on avait un oracle qui était capable de dire oui ou non, c'est correct ou pas ce que tu as généré. C'est pas possible à faire avec un modèle en général. Par exemple, si on fait faire des maths à un modèle dans la manière dont on fait des maths en tant qu'humain, donc ils sont informels, c'est-à-dire que c'est du texte écrit. Il y a des maths, les maths sont formelles en sous-jacent, mais le texte lui-même est informel. C'est-à-dire qu'on ne peut pas vérifier une preuve sans la lire en entier, sans qu'un humain la lise en entier. Donc, c'était un moyen d'avoir un système où on pouvait utiliser la machine pour vérifier les prédictions du modèle. Et donc, j'ai fait 3 ans de recherche là-dessus et le ressenti final est le suivant, c'est que ces modèles restent très interpolatifs. Alors, qu'est-ce que ça veut dire interpolatif? C'est-à-dire que s'ils ont vu des exemples qui sont du type de la question qu'on leur demande, ils sont capables d'interpoler ces d'exemples pour répondre à cette question-là. Cette question est nouvelle, elle est originale, mais elle ressemble à des choses qu'il a déjà vues et il est capable d'innover sur la base des choses qu'il a déjà vues, qui sont très similaires pour répondre à cette question en particulier.

Et après, tu es capable de vérifier la réponse.

Et après, on est capable de vérifier la réponse. Maintenant, si on prend des problèmes qui sont complètement nouveaux, d'un type très différent, avec une— on a tous peut-être cette intuition, on a un problème de maths qui paraît très surprenant, par exemple, si on n'a fait que de du calcul, le jour où on nous donne un problème de géométrie, il a une tête complètement nouvelle et différente. Bon bah, dans le domaine des problèmes mathématiques, il y a des problèmes qu'on peut toujours trouver, un problème qui a une saveur très différente d'un autre ensemble de problèmes. Et donc si on prend un problème qui a une saveur très différente de ce que le modèle est, ce sur quoi le modèle a été entraîné, même si ce problème est de manière qualitative pour un humain beaucoup plus simple, en général le modèle va se tromper 100% du cas parce qu'il n'a pas d'exemple qui ressemble à ce problème-là. Il n'est pas capable d'extrapoler à ce problème-là. Et donc aujourd'hui, on sait rendre les modèles assez bons sur tout ce sur quoi ils sont capables de s'entraîner, mais on a beaucoup de mal à les faire innover vers quelque chose de nouveau.

Tu vois, alors si j'ai bien compris ce que tu m'as dit, mon intuition, qui est peut-être fausse donc puisque tu as bossé 3 ans là-dessus, etc., mais me dirait que en fait, si je suis capable de donner un problème à une machine qui, quand elle y répond, elle est elle-même capable de dire qu'elle l'a bien répondu ou pas. Ça, on est d'accord, vous arrivez, vous pouviez arriver à faire ça?

C'était dans le cas très particulier des maths formelles.

OK. Si tu lui donnes un problème, donc qu'elle ne connaît pas ou elle ne peut pas donner un nouveau problème, Elle a du mal à y répondre, c'est ce que tu dis, voire elle y arrive pas du tout. Mais si elle y arrive une fois, elle va être capable de dire qu'elle a réussi. Tu pourrais te dire, on va essayer des milliards de fois. Finalement, si tu arrives avec des puissances de calcul totalement incommensurables, on va essayer des milliards de fois, il y a bien un jour, il y a une probabilité très fine qu'un jour elle y arrive. Voilà. Et puis si tu l'augmentes, cette, puis avec le quantum ou des choses comme ça, l'augmenter de milliards de milliards et que tout ce que tu faisais en 10 ans ou 100 ans avant, tu peux le faire en une seconde. Mais à un moment, de toute façon, même si la probabilité est infime, tu vois, on va la régler en 10 minutes, quoi. Et si elle est capable de vérifier ça une fois, elle va dire ah bah tiens, j'ai un exemple, tiens, j'en ai 2, tiens, j'en ai 3.

Et puis boom, boom, ça y est, c'est fait.

Après, tu arrives dans un moment où en fait elle va s'auto-poser elle-même des problèmes qui sont très compliqués, que personne n'a répondu, que personne ne s'est posé. Et puis en fait, c'est là où on pense à un moment qu'il va y avoir il va y avoir peut-être un vrai point de bascule. Et ce que je lis à droite à gauche, c'est que ce point de bascule pourrait être— la question qu'on se pose, c'est est-ce qu'il va se faire en une fraction de seconde, dans quelques jours ou en 50 ans? C'est pas clair, c'est ça?

C'est-à-dire qu'aujourd'hui, aller chercher ce problème très différent, mais sur lequel la machine a une probabilité vraiment infinitésimale d'y arriver, donc on sait pas le faire avec un Avec une quantité de calcul infinie, en effet, mais avec une quantité infinie, tu peux tout faire. C'est ça le problème. Donc il n'y a pas besoin d'intelligence artificielle, pas besoin de modèles de langage. Par exemple, dans les maths formelles, donc c'est un cas très particulier, un vérificateur. Si j'ai un calcul de puissance infinie, j'essaye toutes les strings possibles pour les preuves. Tu vois, une preuve, ça doit faire 10 000 caractères. J'essaye toutes les combinaisons possibles de ces 10 000 caractères. Il y en a une qui va sortir. Mais ça, ça demande un temps infini. De temps, enfin ça demande plus de calculs qu'il y a d'atomes dans l'univers. Donc problème. Mais je pense que ce qu'on ne sait vraiment très mal faire, c'est pointer un problème nouveau à la machine et lui dire essaye d'aller vers ce problème-là. On a réussi à le faire dans les jeux, donc en effet en Go et en échecs, la machine est complètement surhumaine. Mais la raison pour laquelle, c'est qu'en fait, elle a toujours quelque chose qui la rattrape. C'est parce que le jeu est symétrique. Donc tu fais jouer la machine contre elle-même. Il y a toujours un gagnant. Il y a toujours un avantage.

On peut l'entraîner.

Il y a toujours un signal. Il y a toujours un signal. Alors que quand il y a un problème un peu lointain, la machine va essayer des trucs et en fait, elle va générer juste du bruit. Et il n'y a jamais de signal tant qu'on n'arrive pas à le craquer d'une certaine manière. Donc il y a cette capacité à même, et ça, même quand on a une vérification parfaite. Donc ce qui est un autre problème, c'est qu'aujourd'hui, quand tu demandes à la machine de générer quelque chose et tu demandes ensuite est-ce que ce que tu as généré est vrai, la machine se trompe encore de dire oui, oui, c'est vrai. Et parfois elle va dire non, ce que j'ai généré est complètement faux. Et on le sent pas mal avec ChatGPT. Si tu demandes à ChatGPT quelque chose, GPT-4, tu demandes quelque chose, tu sais qu'il a faux, tu dis non mais là je crois que c'est pas bon. Il fait ah oui, pardon, en effet, j'ai dit une grosse connerie, laisse-moi redire une autre connerie. En général, c'est parce que tu es dans un endroit où tu es un peu à la limite du système et il va continuer à dire n'importe quoi. Mais cela étant dit, même sur des choses, même si on arrive à avoir la machine qui commence à devenir vraiment très bonne sur toutes les tâches pour lesquelles elle a vu quelques exemples, ça risque de couvrir une grosse partie de ce qu'on fait au jour le jour. Donc rien que là, ce serait extrêmement transformatif. Et ça, il n'y a aucune raison de penser que ça— enfin, c'est déjà là quasiment et ça va ne faire que s'améliorer parce que les modèles suivants vont être plus gros, plus forts, le compute va coûter moins cher, ils vont coûter moins cher à utiliser. Donc ça, cette dynamique, elle est en marche.

Pour prendre un peu de hauteur, et on reviendra là-dedans peut-être tout à l'heure parce que aussi je voudrais comprendre comment fonctionne Dust, le Toi, tu as bossé de quand à quand chez OpenAI?

Donc 3 ans et demi jusqu'en septembre 2022.

D'accord. Quand tu es dans une boîte comme ça, tu étais en France?

J'étais en France.

Quand tu es dans une boîte comme ça, il y a un moment, alors peut-être pas dès le début, est-ce qu'il y a quand même un moment où tu t'es dit waouh, c'est, enfin là, avec cette boîte, on va Ou est-ce que tu vois le mot, la story que j'ai, c'est que Bill Gates à l'été 2022 vient un moment, dit ouais c'est bien les gars, super, vous m'avez montré des trucs, mais enfin c'est ça va, on est encore loin, il y a le temps. Et puis il revient, faites-moi ça, ça et ça, et puis on en reparle. Et puis il revient un mois après et puis on lui montre qu'il y avait ça, ça et ça. Et là il s'est rendu compte de la puissance et de la vitesse. Est-ce que toi, enfin, à quel moment chez OpenAI tu t'es rendu compte? Est-ce qu'il y a un moment où tu t'en es rendu compte dans la boîte, que tu es dans une boîte qui allait quand même fracturer le reste du monde?

C'était pas si clair que ça. Moi, j'étais très conscient que la technologie était extraordinaire et que ça allait déjà quand tu es arrivé. Quand je suis arrivé, c'était GPT-2, c'était, ça paraissait déjà extraordinaire. C'est une machine qui sait écrire du texte, qui sait écrire un paragraphe graphes. C'était GPT-2, c'était un grand paragraphe cohérent, ou de 20 paragraphes ou 2 commençaient à partir un peu dans tous les sens. J'ai vu l'émergence de GPT-3, donc le gros changement de GPT-3, c'est ses capacités dont on parlait tout à l'heure de meta-learning, de few-shot prompting. C'est-à-dire que si on lui donnait quelques petits exemples, ça suffisait à lui faire, à lui faire comprendre une tâche, et il arrivait à généraliser, à faire tâche. Ça, c'était un changement total. Ce qui est très marrant, c'est que ce changement total, il aurait dû créer une révolution derrière, mais GPT-3 n'a pas été trop utilisé pendant toutes les années où il était disponible par API avant que ChatGPT émerge. Et donc ensuite, j'ai co-travaillé, on va dire, avec GPT-4 pendant 6 mois, parce que la fin du training de GPT-4, c'est, je pense que la fin du dataset, C'est fin 2021, fin du training, un peu avant l'été 2022. Et c'est à ce moment-là en effet où il y a eu la démo à Bill Gates. Donc où il est passé d'être super sceptique à complètement convaincu par la technologie. Et cette démo-là, elle a eu lieu en été 2022. Et elle est sur des— je crois que Bill Gates avait dit revenez me voir quand vous passez le test de biologie donné. Je suis sûr que vous n'y arriverez jamais. Etc. Et Ted Milani, il arrive et il craque toutes les questions de biologie ouvertes sans aucun problème. Et donc là, je crois qu'il était vraiment convaincu.

Toi, tu étais convaincu avant, donc, parce que tu utilisais GPT-4 avant déjà.

Moi, on utilisait déjà GPT-4 en interne de manière très marrante. C'est qu'on se demandait à quoi ça allait servir. C'est-à-dire qu'on avait accès à quelque chose qui ressemblait vraiment à ChatGPT avec GPT-4 derrière. Donc il avait été instructionally trained, donc il était facile à utiliser. Utiliser, on pouvait lui parler, il répondait. Et en interne, on avait du mal à trouver les usages. Copilot émergeait en même temps, donc l'usage de Copilot lui était assez clair. Mais GPT-4, on se dit ah mais c'est une technologie extraordinaire, mais pourquoi est-ce qu'on peut, à quoi est-ce qu'on peut s'en servir tous les jours?

Il a fallu que ça arrive dans le grand public pour voir plein d'usages émerger.

Il a fallu que ça arrive dans le grand public pour voir plein d'usages émerger. Et aussi, c'est vrai que quand OpenAI était très grosse partie de chercheurs encore à ce moment-là, quand tu es chercheur, tu n'as pas les n'est pas pareil que quelqu'un qui fait du produit ou quelqu'un qui fait de la trad, évidemment, où c'est encore plus utile. Mais bon, moi, j'étais persuadé que la technologie était vraiment révolutionnaire. Après, pour avoir fait 3 ans de recherche, la recherche c'est difficile, c'est-à-dire que tu te donnes un objectif ambitieux. Nous, c'était de passer les concours, les Olympiades de mathématiques internationales avec un modèle. Donc c'est des concours de maths pour des jeunes, en général un peu post-bac, vers 19 ans, 19-20 ans, mais vraiment les meilleurs mathématiciens, les meilleurs jeunes du monde. Donc il y a plusieurs grands mathématiciens qui sont médailles d'or de ces IMO. Et ben tu tapes des murs toute la journée, les murs dont je parlais tout à l'heure, le fait que tu arrives à résoudre des problèmes que tu as déjà vus, mais quand tu as un problème un peu nouveau, ça marche pas du tout, etc. Et donc moi c'est vrai que je Au moment où je pars d'OpenAI, je me dis les modèles sont déjà extrêmement utiles, on va trouver plein de use case dans le monde du travail, mais la trajectoire vers AGI, elle n'est pas encore claire.

Pourquoi tu t'infliges ça de refaire? Non mais tu me dis c'est dur, j'imagine, c'est quand même un kiff.

Alors moi j'ai toujours hésité à faire un PhD, un doctorat, je ne suis pas un chercheur, je n'ai pas été en train, je ne suis pas un chercheur. Pas un train. J'ai toujours longtemps hésité. En fait, mon passage chez OpenAI, c'est un doctorat dissimulé. D'accord. J'ai failli aller chez Thales.

Je peux pas, j'étais pas appelé docteur.

C'est pas possible, je suis pas docteur. J'ai failli aller chez Thales et finalement je suis allé chez OpenAI. Je crois que j'ai fait le bon choix, même si Thales c'est génial, je suis sûr, mais pour faire de l'IA, c'était sûrement la au bon endroit.

Et alors comment, comment, parce que je trouve ça, c'est aussi le truc qui m'impressionne dans les entreprises, c'est-à-dire que j'imagine que des open AI, il y en a peut-être 2-3 autres autour en fait, qui sont peut-être à ça d'eux, ou voilà, c'est souvent ce point de bascule où ce, tu vois, comment toi tu ressens Dust aujourd'hui, comment, enfin, où est-ce que Dust a un an quand là on se parle à peu près, un peu moins, enfin ça dépend, moi j'ai commencé à bosser dessus il y a en gros un an, mais mon associé Gabriel, le même qu'il y a 10 ans, m'a rejoint en janvier, donc il y a 9 mois, et on a levé les fonds, créé la boîte en avril, donc ça fait plutôt 7-8 mois. Vous avez fait un seed? Oui. De combien?

5 millions.

C'est un beau seed quand même. C'est un beau seed.

Et encore, on a dû mettre, on a freiné de 4 freins pour pas lever plus parce que les investisseurs sont tellement férus d'intelligence artificielle en ce moment et on avait la chance d'avoir Tu m'as pas appelé en plus, je suis un peu dégoûté.

Pour les prochains qui font un site comme ça, vous me faites signe.

On avait la chance d'avoir des credentials qui parlent aux investisseurs, Stripe, OpenAI, Polytechnique, des études correctes, etc. Donc il n'y avait pas trop de questions, les investisseurs voulaient y aller à fond. Et en fait, c'est nous qui, on a levé beaucoup moins que toutes les term sheets qu'on a reçues, ce qui est assez drôle.

Tu as choisi pas en fonction de la valo, mais en fonction...

On a imposé la valo et du coup, on a pu choisir investisseurs et aussi mettre des, ce qui est très important, c'est des choses qu'on apprend quand on est second time entrepreneur, mettre des termes assez conservateurs ou frères friendly pour la boîte quoi.

Tu peux m'en citer un ou deux?

Par exemple, le, alors je suis très mauvais en termes, c'est pas grave, mais là le droit des investisseurs à réinvestir au tour suivant. C'est vrai que quand tu décides d'investir, tu prends une part non négligeable de la boîte.

Alors, promotion, c'est pas ça, c'est pour les rachats peut-être, mais le tag along, je sais plus, tu as raison.

Et donc en général, les investisseurs veulent un droit de pouvoir garder leur part prioritaire.

Ah oui, pardon, pour garder leur part.

Et donc de garder leur pourcentage du capital. Et donc ça, ça peut, si jamais le mariage que tu fais au niveau lead n'est pas le bon, parce que c'est possible, parce qu'il faut qu'il y ait— au moment de ton seed, tu sais pas si la personne avec qui tu travailles va être la personne avec qui tu as envie de créer cette aventure. Parce qu'au bout d'un moment, en général, ces investisseurs-là deviennent au board de ta boîte, donc c'est une position extrêmement importante. Et donc au moment de la série Z, si l'investisseur seed dit bah non mais moi j'ai 10%, donc je vais garder mes 10%, bah ça, ça peut rendre la série Z plus difficile à dérouler parce qu'il va y avoir une tension capitalistique entre ceux qui veulent rentrer et ceux qui sont là et qui veulent rester. Ce genre de termes qui sont assez naturels et assez standards et que, par exemple, nous, on a pu, parce qu'on a cherché une valeur, on avait la capacité de négocier, on a pu aller chercher une valeur qui était moindre que ce qu'on nous proposait, dire non, en fait, ce droit-là, on vous le donne pas.

Alors, la même réponse, j'ai posé deux fois la question à Google d'un côté, à ChatGPT-4 de l'autre et Google n'a vraiment pas été capable. Comment appelle-t-on? Alors là, ma question était vraiment très, très simple parce que je suis très monotâche. Mais comment appelle-t-on le droit de se maintenir au capital? Et Google m'a dit n'importe quoi. Et là, il me dit le droit de souscription préférentiel ou le DPS, le DSP, droit préférentiel de souscription. L'idée, c'est de pouvoir réinvestir à la valo d'après pour rester, pour garder son pourcentage. OK, donc ça, Ça, ce sont des choses que vous avez pu un peu imposer pour qu'on ait la chance de pouvoir négocier. Ouais, et pourtant, il est légitime quand tu te mets du côté investor de pas te faire diluer. C'est des clauses anti-dilution aussi qu'on appelle.

Alors, pour être très précis, il y a quand même des— par exemple, ce que tu peux pas négocier, c'est si tu fais un down run, un down turn, donc si tu baisses la valeur de la boîte. Là, en général, ça veut dire qu'il faut faire un peu les calculs dans sa tête, mais c'est-à-dire que tu peux en gros sortir devenir complètement l'investisseur. Et donc dans ce cas-là, si c'est un mauvais, c'est le prochain tour de levée est mauvais, c'est-à-dire qu'il a une valeur plus basse, là il a ce droit. En général, il voudra pas l'exercer parce qu'il voudra aller voir ailleurs.

Quand j'essaie de réinterpréter à ma manière ce que vous faites, je pourrais me dire que vous vous agglomérez des AI, puisque tu me disais que vous pouvez, on pourrait en mettre plusieurs différentes, etc., pour aller traité de ma donnée, de ma boîte, mais que finalement, d'autres, c'est un peu teubé, quoi. C'est pas une AI en soi, ou voilà. C'est vrai, c'est faux?

C'est complètement vrai. Non, mais si, c'est complètement assumé qu'on se place, on a envie de résoudre un problème, on se place vraiment au niveau du produit. Il y a plein de raisons. La première, c'est que les les modèles tels que fournis par OpenAI ou par Anthropic, donc ce qu'on va appeler les frontier models, sont extrêmement bons, extrêmement, vraiment meilleurs que les modèles open source plus petits qui ont d'autres qualités, qui sont plus rapides, qui peuvent tourner sur des devices plus petites. Mais quand on veut, quand tu veux répondre à quelqu'un, à une question à quelqu'un dans une boîte, ce qui compte le plus, c'est pas la vitesse, c'est vraiment la qualité. Si ton modèle, il stream un peu plus lentement les tokens, mais que sa réponse est bien meilleure, tu vas toujours choisir la qualité. Et donc entraîner des modèles, ça serait complètement idiot, quoi, parce qu'on n'est pas dans le business de lever des milliards pour essayer de reproduire un GPT-4 ou un Claude. Donc on se place vraiment au niveau produit. On pense que ce que moi, là, le mantra que je me suis imposé, qui est un peu ce que tu viens de dire, qui est un peu le pendant de ce que de faire les choses simple, ou tu as dit quoi? Google, c'est de me dire pas de GPU avant PMF. Donc GPU, ce sont les graphical processing units, c'est les processeurs spécifiques qu'on utilise pour entraîner ces modèles avant le product market fit. Pourquoi? Parce que si tu te mets à essayer d'ouvrir la boîte, d'entraîner des modèles, ou même de fine-tuner des modèles, ou même de faire de la recherche, donc c'est de la recherche parce que c'est, ça reste, les gens pensent Je pense que c'est facile, mais c'est même fine-tuner, enfin juste réentraîner.

Je réinterprète ce que tu as dit. En gros, aujourd'hui, par le biais d'API, enfin de connexion, vous branchez des tuyaux pour faire en sorte qu'au milieu, tu aies des réponses et des choses encore meilleures. Donc tu veux pas de générateur d'intelligence, de choses comme ça, tu veux que des tuyaux jusqu'à ce que tu comprennes, que vous prouviez que vos utilisateurs sont contents de ce que vous proposez. Voilà.

Et le jour où on aura donc des utilisateurs contents et qu'on commencera à faire du chiffre, alors à ce moment-là, on pourra se poser la question de se dire, bon bah, comment est-ce qu'on peut optimiser encore plus l'expérience totale en ouvrant cette boîte de faire de la recherche autour de l'entraînement des modèles? Ce qui est tout à fait une possibilité dans notre futur. Mais aujourd'hui, si tu te mets à faire de la recherche au nom de ton seed, donc nous on a fait un très beau seed, 5 millions, avec 5 millions en termes de R&D, AD dans le domaine de la generative AI, tu ne fais rien. Un chercheur en AI, ça coûte un million par an, même en France. Et avec les 4 millions restants, si tu en fous un, il va pas faire grand-chose tout seul, donc il en faudrait 2 ou 3. Et avec les 2 millions restants en GPU, t'as quasiment rien.

D'accord.

Donc ça change complètement la trajectoire de la boîte de le faire au niveau du suicide. Alors que si tu le fais un peu plus tard, au moment où tu as prouvé un succès, là ça change moins la trajectoire de boîte parce que tu fais déjà du revenu, tu vas lever une levée de fonds beaucoup plus grosse et la part de la quantité de capital par rapport au capital de la boîte qui va être allouée à la recherche va être moins dramatique d'une certaine manière sur la trajectoire de la boîte.

Ce qui est legit, légitime dans ce que tu fais, je pense, c'est que quand tu comprends très, très bien les modèles, comment ils fonctionnent, ce qu'ils peuvent régler, ce qu'ils peuvent pas bien régler, etc., etc., ben il y a un moment où soit tu restes dans l'endroit où tu fais ces modèles, tu vas dans un nouveau, voilà, soit tu vas régler des problèmes grâce à ces modèles. Toi, c'est l'option que tu as choisie. Et en effet, nous, je vois, même si on s'entraîne tous les jours et qu'on essaye et qu'on apprend et qu'on progresse, on fait des fausses routes, quoi. Il y a des moments, tu vas te dire, OK, on veut faire ça. Là, tu dis, waouh, ça, j'y arrive pas. C'est peut-être pas le bon modèle. Ça, il faut être capable de faire plutôt du scrapping pour avoir des bonnes infos plutôt que de faire confiance à tel modèle. Donc, c'est toujours très vertigineux. Alors, est-ce que pour toi, oui, j'imagine, c'est toujours très vertigineux aussi.

C'est-à-dire qu'il y a une... Après 3 ans de recherche à jouer avec ces modèles, en gros, toute la journée, c'est vrai que tu crées une intuition et à les réentraîner. Parce que moi, je faisais de l'entraînement aussi. Tu crées une intuition assez forte de ce qui fonctionne très bien, fonctionne pas très bien et fonctionne pas du tout.

Tu vas plus vite sur...

Et donc, tu vas beaucoup plus vite dans... Même dans une démarche de produit, tu sais exactement où tu vas, quoi. Si j'avais eu aucune expérience autour des Large Language Models avant de me lancer dans Dusk, j'aurais perdu des mois et des mois à me convaincre qu'il fallait fine-tuner les modèles, par exemple sur la donnée des boîtes. Et là, je peux te faire un argumentaire très clair pour te démontrer que fine-tuner un modèle de type ChatGPT sur la donnée de ta boîte, c'est une très mauvaise idée aujourd'hui. Et je pourrais te faire l'argumentaire. Mais ça, c'est des choses que tu sais que quand tu les as faites, que quand tu as vu les failure case, etc. Donc je pense que Il y a énormément de... Et moi, je suis intimement convaincu qu'il y a... On en est au... En gros, ChatGPT, c'est le Pong du LLM.

D'accord.

C'est single player mode, pas beaucoup...

Le Pong, voilà, c'était vraiment le truc, tu as une balle et puis tac tac.

Et donc, je pense qu'il y a une vraiment superbe opportunité à inviter à inventer le Doom 2, le Civilization 3, le Counter-Strike des larges langues de modèles, des jeux je vois des expériences collaboratives à plusieurs.

Si je reprends l'analogie qu'avait fait Laurent Alexandre sur ce podcast, il disait en gros, si tu t'y mets pas maintenant, tu vas être complètement largué, tu seras un peu le singe des supérieurs utilisateurs qui sauront bien utiliser tout ça. Si je reprends ton image, je peux me dire que je suis très fort à Pong, en fait, ça changeait rien à Doom 2, tu vois ce que je veux dire? J'étais pas, enfin, en plus ça me rassure parce que j'étais trop jeune pour Pong et j'étais plutôt fort à Doom 2, tu vois, mais la question c'est que, ouais, où est-ce qu'on le pousse? Tu vois, tu m'as dit je pourrais te faire l'argumentaire là-dessus. En fait, c'est une vraie question, allons-y, pour beaucoup de gens qui nous écoutent aussi peut-être, mais nous on utilise ChatGPT GPT-4 et pas les autres. Et il va falloir que tu me dises aussi où est-ce qu'on en est là-dessus, ce que tu as testé, pas testé, etc. Bon, pour du code, je crois. Pour, alors pas ChatGPT-4, mais c'est plutôt, pardon, pour le design, on va utiliser nos amis de chez ce truc, Stable Diffusion, Midjourney, merci, que j'aime beaucoup, mais qui est quand même imbitable en termes d'UX, c'est impossible. Discord, je comprends pas ce truc, je comprends pas pourquoi ils passent par là, mais peut-être qui veulent mettre des barrières. Et ChatGPT-4 notamment pour tout ce qui est texte, tout ce qui est certaines propositions, certaines choses, etc., vérification d'orthographe, idées finalement, quand tu vas faire des réunions créatives. Ça c'était Paul Mugino qui me disait ça il y a quelques mois. Tu le connais pas Paul Mugino? Écoute cet épisode avec Paul, c'est un mec qu'il faut que je te présente. Et qui disait en fait aujourd'hui en 2023 tu peux pas faire un brainstorm sans une intelligence artificielle avec toi au bout de la table, tu vois, ça doit être le copilote, la 5e personne si t'es 4, la 6e, enfin tu vois. Donc tout ça on fait bien, ce qu'on fait encore mal lorsqu'on teste sur d'autres startups qu'on a c'est d'injecter de la donnée en masse pour essayer d'en ressortir des choses, alors pas forcément en masse, ça peut être plus comme tu le dis d'injecter une donnée précise pour dire tiens il y a ça etc. Etc., avec des résultats mitigés, parfois une sensation de perte de temps, parfois une sensation de c'est pas encore prêt mais on perd pas tout à fait notre temps parce qu'on apprend, quoi. Quel est ton, voilà, ton point de vue là-dessus?

Tous ces usages, ils sont géniaux. Et je pense que là où le ChatGPT, enfin l'interface conversationnelle sans rien de plus, et pas extraordinaire, où on peut aller creuser beaucoup plus loin, c'est pour tout ce qui est plus work workflow. D'une certaine manière, on a tous des meetings, des réunions hebdomadaires où on doit préparer, c'est une réunion d'équipe, on doit préparer un fichier avec les nouvelles sur les users, les incidents de la semaine, ce qui a été shippé, ce qui, etc. Ce genre de choses, aujourd'hui, ça prend un humain, bah ça prend pas tant de temps que ça, mais ça prend 20 minutes. C'est le genre de tâche où il faut un peu scripter ton utilisation du modèle, c'est-à-dire qu'il faut lui dire, bah va chercher ceci, ici, là, là et là de la semaine dernière et généralement quelque chose basé sur un template.

Je peux prendre pour quelqu'un qui serait consultant sales ou chef de projet, tu lui balances tes notes sur chaque rendez-vous, tu lui dis fais-moi un résumé de 5 lignes sur chaque rendez-vous. Alors fais de telle manière ce rendez-vous parce que ce résumé parce qu'on a besoin de savoir qui, quoi, qui était présent, comment, etc., sur quel projet, tac, et puis tu as toutes les infos qui sont bien mises au bon endroit.

Et donc aujourd'hui si tu utilises GPT-4 ou Claude, bah tu dois aller chercher la donnée, la copier, chercher la donnée, la copier, chercher la donnée, la copier, et re-prompter à chaque fois, ou copier ton prompt et appuyer sur Entrée. Je pense qu'il y a plein d'endroits où si tu peux, je pense que pour les boîtes ce qui serait le plus efficace c'est qu'il y a un peu un expert local qui encode cette tâche, qui va dire bah la donnée elle vit ici et tu prends de la semaine dernière, la donnée elle vit là, tu prends du mois dernier, la donnée elle vit là, tu prends la semaine dernière, tu récupères tout ça tout ça et le prompt c'est celui-là, le template qu'on attend c'est celui-là et ça devient vraiment juste un outil où tu appelles, tu lances une commande et ça te fait ce travail, ça te le pré-mâche. Évidemment il faut pas oublier que c'est juste un pré-mâchage quoi, ça va te faire gagner sur les 20 minutes que tu passais à préparer ce fichier, bah tu vas en gagner 15 parce que tu vas quand même passer 5 minutes à fine-tuner, à vérifier qu'il n'y a pas d'erreur, à peut-être rajouter un oubli etc. Donc tous ces cas d'un peu de workflow Je pense qu'il y a plein de choses à faire. Et nous, c'est ce genre de, ce genre de cas qui nous intéresse énormément, c'est de pouvoir par exemple commencer une conversation, appeler un assistant particulier qui va faire une tâche A, ensuite appeler assistant B et C pour, sur la base de la tâche A, faire quelque chose de suivant et arriver à un résultat qui aurait été très dur à obtenir juste avec ChatGPT. Donc avoir la capacité de créer des assistants plus spécifiques et de les faire travailler en chaîne, je pense que c'est un une interface, une frontière produit qui est hyper intéressante à explorer.

Et après, j'imagine que les univers où ça fonctionne très bien, où ceux qui nous écoutent doivent quand même bien, bien, bien s'y pencher. Ceux qui nous écoutent et qui ne s'y sont pas penchés sont peut-être les moins geeks et nous écoutent peut-être plus d'ailleurs, mais c'est toutes les tâches très, très, très répétitives. Ça, au moins texte, code, vérification. De plein de choses, ça, ça s'est plié quoi.

Correction, traduction, il y a encore tellement de gens qui font appel à des traducteurs professionnels alors qu'ils ont des besoins. Il y a peut-être certains cas très précis où le traducteur d'Excel va être peut-être meilleur que le GPT-4, mais ils sont tellement faibles. Ce GPT-4 est un sacré traducteur, il traduit vraiment au niveau humain quoi.

C'est hallucinant. Si tu es traducteur professionnel aujourd'hui, de, bon, déjà utilise GPT-4, au moins tu vas gagner vraiment beaucoup de temps. Tu as peut-être une fenêtre de 18 mois sur lequel tu vas peut-être gagner les 20 prochaines années de ta vie.

Exactement.

Au moins tu peux prendre ta retraite si tu dépenses pas tout maintenant. Mais en revanche, ton métier est voué à disparaître.

Il y aura toujours des arguments pour dire que ces modèles, à l'oral encore, ça va tenir quelques années peut-être. Ça reste assez disruptif. Enfin, c'est, je pense que ces modèles sont assez disruptifs sur certaines de ces tâches. C'est C'est clair.

Alors ce qui est marrant c'est que petit à petit chaque métier, tu vois tu vas dire le dev de base ça va être pareil parce que tu es... Non?

C'est-à-dire qu'aujourd'hui les modèles génèrent du bon code localement, c'est très dur de faire faire à un modèle l'équivalent de ce qu'un dev fait dans une pull request. Donc une pull request en général c'est un ensemble de travail, donc de modifications du code qui sont cohérentes pour faire une tâche donnée, qui peut être assez longue, plusieurs centaines de lignes de code changées, et qui sont, on appelle ça pull request, parce que le but c'est de pooler ces changements dans le code, et qui vont être la pull request utilisée pour qu'un autre dev revoie un peu si le travail semble correct, et que tout le monde se mette d'accord pour dire ok c'est bon on le met dans le code.

Mais je vais reprendre le dev de base, parce que c'est peut-être loin de ce que tu fais aussi le dev de base, quand je dis un dev de base ça peut être quelqu'un qui fait un site corpo d'architecte qui va te présenter, aujourd'hui tu peux pas, tu crois pas que dans un an ou deux ans tu vas lui dire regarde-moi ce site, je veux le même, tu me changes le fond en bleu, ça c'est mes photos, voilà ce que je fais, tu prends les infos sur mon LinkedIn et tu me plies un site, je veux dire, tu vois alors.

Vercel, je sais pas si tu connais Vercel, c'est une boîte, c'est la boîte qui fait Next.js, C'est une boîte SF qui fait du hosting, enfin du infrastructure as a service en gros. Et ils ont une démo qui est assez sympa justement de ça. Tu mets une phrase de ce que tu veux et le modèle génère une web app entière d'un coup. Et c'est vrai que que oui, OK, pour faire une landing, je veux un site d'architecte, mon contact, cette photo, machin, dul. OK, je suis d'accord.

Mais tu vois, même j'ai reçu ici un entrepreneur qui... Ah, j'ai oublié son prénom maintenant. Jeff Piyou, pardon, je t'en prie, tu m'excuseras. Jeff qui me dit à la fin de l'épisode qu'on fait ensemble, en gros, je cherchais à faire un algo qui me permettait de— il affiche des points sur son— c'est Around Us, son application. Et donc il emmène, par exemple, tu es sur Paris, tu vas aller avec ton smartphone, tu vas aller voir des points d'intérêt autour de Venise. Et quand tu défiles de Paris vers Venise, en fait, les points d'intérêt, ils chargent pas tous parce que ça coûtait trop de ressources pour le faire. Et donc, il me dit soit tu les fais charger, mais ça lag et puis ça coûte cher et puis c'est relou. Et donc, il a fait faire à ChatGPT un algo qui va être capable de prédire là où tu vas t'arrêter.

OK.

Et donc, là-dessus, si je ne m'abuse, tu as un peu de trigonométrie, tu as pas mal de choses, etc. Il me dit d'ailleurs, le truc était un peu con parce qu'en l'occurrence, comme je faisais du bas vers le haut, au lieu de m'envoyer vers Venise, il m'envoyait à Manchester parce qu'il y a les J'ai dit bah non, mais c'est sur un mobile. Donc alors là, ChatGPT a eu la même réflexion que tu m'as dit tout à l'heure. Ah oui, je suis con, excuse-moi. Et puis il a inversé le truc et il l'a envoyé vers Venise. C'est lunaire d'avoir des trucs comme ça quand même.

C'est oui, parce que là, c'est une tâche précise, besoin de peu de contexte, un algorithme pas trop trop compliqué. Ça demande de la réflexion, mais très localisé. Là où ces modèles sont encore très mauvais, c'est quand tu as une tâche qui demande un contexte de plusieurs choses et qui demande une action à plein d'endroits différents. Et ce qui est hyper intéressant, c'est qu'il va falloir que les modèles deviennent très, très bons pour remplacer l'humain à cette tâche-là. Alors, j'essayais d'expliquer une pull request pour que les gens comprennent ce que c'était l'expérience. C'est qu'en gros, quand on travaille dans une boîte tech, en tant que développeur, on fait des pull requests. C'est pour que les développeurs qui sont à côté de nous puissent vérifier qu'on ne fasse pas d'erreurs bêtes, donner des conseils et que tout le monde se mette d'accord avant que le code soit mergé, donc soit mis en production. Production en gros. Et donc si tu reçois une pull request et que c'est un stagiaire qui te l'envoie et que tu passes, c'est des pull requests ça peut être plusieurs centaines de lignes, donc tu passes 10 minutes à la revoir et tu te rends compte au milieu de la pull request qu'il y a une grosse connerie. Bon c'est un stagiaire c'est pas grave il est là pour apprendre, tu essaies de lui faire apprendre. Si tu reçois une pull request et c'est un coworker et tu passes 10-15 minutes à la revoir et au plein milieu tu te rends compte que c'est une connerie, connerie. Bon, là ça commence à tendre un peu plus parce que tu as perdu 15 minutes et c'est une grosse connerie. Tu t'attendrais à ce que tes coworkers fassent pas des conneries aussi grosses. Maintenant, si c'est toujours ça, pour lequel c'est un modèle qui l'a écrite et tu perds 15 minutes à la revoir et qu'au milieu tu te rends compte qu'il y a une grosse connerie, alors là c'est juste insupportable parce que c'est une machine qui t'a fait perdre du temps. Donc pour que les tâches un peu plus compliquées, telles qu'une pull request assez complexe sur une codebase assez complexe, avant que les machines remplacent les humains, il va falloir qu'elles arrivent à un niveau de compétences quasi parfait. Parce que tout ce qu'il y a avant, moi si je passe 15 minutes à revoir une pull request et qu'au bout de 15 minutes, parce que c'est compliqué, au bout de 15 minutes je me rends compte qu'il y a une grosse connerie, je le fais une fois, je le fais deux fois, la troisième fois je dis GPT-4 merci mais tu me peux envoyer plus de pull requests. Mais ça c'est pour des tâches compliquées.

Compliquées. Ce qui est intéressant dans ce que tu dis c'est qu'il y a un biais psychologique. C'est-à-dire que bon la différence de ton bon stagiaire, tu lui corriges, ton codev, on va dire que c'est la formation, c'est la formation aussi, on va dire. Ouais, et puis bon, tu lui dis une fois, il y a un feedback, il comprend, etc. La machine, tu as pas confiance, c'est-à-dire qu'à un moment tu dis de toute façon je n'ai pas de prise, je vais pouvoir autant lui dire que c'était de la merde, est-ce qu'elle va changer sur ce truc-là ou sur le prochain? C'est toujours un peu random, tu ne peux pas te baser sur la confiance, alors que j'imagine quand même que à la fin, si toi Stan, tu revois une pull request, tu revois toutes ces lignes, c'est quand même parce qu'il y a des possibilités d'erreur et qu'il y en a une fois de temps en temps. Et même si c'est un de tes co, voilà, et que toi-même il y a des moments où tu fais des pull requests, ça te fait chier de la merde et que tu en envoies et puis tu te dis Stan tu fais chier.

Une grosse connerie au milieu. Évidemment. D'une certaine manière, à chaque fois que ça arrive avec un humain, c'est une opportunité d'apprendre des deux côtés.

Ouais, mais statistiquement, je te prouve que ça arrive qu'une fois sur 1000 avec une machine et que ça arrive une fois sur 100 avec un humain.

Ça, je suis complètement d'accord. À partir du moment où la machine est aussi bonne ou meilleure que l'humain, c'est l'humain.

C'est aussi la, c'est-à-dire que sans dire que je pourrais, attends, je vais faire un gros raccourci aussi, mais si tu as 100 polytechniciens surentraînés, on fait toutes les meilleures études, les meilleurs trucs, etc., autour de toi, qui sont super fiables, et que ben tu es à peu près à leur niveau, ben ça va convenir à beaucoup de gens autour de toi, et peut-être pas à—

Je suis d'accord que c'est— alors on est donc— ce qu'on— le corollaire de tout ça, c'est je pense que pour les tâches compliquées, il faut vraiment que la machine soit à un niveau surhumain, mais niveau surhumain dépend évidemment du contexte dans lequel t'es. Et en effet, si c'est pour faire du dev d'un site et juste changer le titre, c'est des tâches relativement faciles. La machine est déjà au niveau humain, elle est déjà utile. Si c'est pour changer quelque chose d'assez épineux dans l'infrastructure de paiement de Stripe, la machine est loin, loin, loin, loin d'être au niveau humain.

Et finalement, là, on parle d'un truc qui peut-être pour beaucoup qui seraient encore là leur paraît un peu abstrait. Moi, plus plus abstrait que pour toi, évidemment, je le comprends de près, de loin, parce que je travaille dans la tech depuis longtemps, mais je sais à peine faire une ligne de code. Mais tu peux le remettre sur le pilotage d'un avion ou la conduite d'une voiture, quoi. C'est-à-dire, en soi, je vois des gens qui conduisent des voitures, je me dis mais ils ne devraient pas conduire. Tu vois, c'est clair, on voit presque tous les jours d'ailleurs. Tu dis ce sont des fous furieux, que ce soit des vieux complètement à l'ouest ou juste des gens qui sont cons, qui n'ont pas de cerveau en fait, qui conduisent trop vite, trop fort, trop machin dans des rues où il y a des enfants. Et la question, c'est que le jour où cette personne tue un enfant ou un petit vieux ou peu importe, ça t'est insupportable, surtout si c'est le tien, j'imagine. Le jour où c'est une machine, tu te dis il faut qu'on arrête toutes les machines quasiment. Or, si la machine est 10 fois plus... C'est un sujet.

C'est très compliqué, mais je pense qu'il y a des exemples historiques où ça n'a pas vraiment... Ou des choses similaires, des questions similaires sont posées. C'est vrai que pour que la machine soit acceptée, il faut probablement un niveau de sûreté bien supérieur à l'humain, de telle sorte que ça devienne vraiment acceptable. Par exemple, la ceinture de sécurité, ça tue des gens tous les ans, mais ça en sauve beaucoup plus. Et donc, on l'a acceptée. On accepte de mettre la ceinture de sécurité, mais ça peut te tuer.

Ouais, mais quand ça touche quelqu'un de très proche de toi, tu dis bah moi, je l'enlève parce que ça a tué mon pote.

Tu penses? Non, non, non, il y a des gens qui font ça. Mais je pense que la ceinture de sécurité, on est arrivé tellement au bout de l'acceptation de la technologie que je pense que même si ça tue quelqu'un de proche, je pense que si tu es un peu rationnel, tu dis je la mets encore. Mais je pense qu'il faut en effet pour que la machine soit acceptée, et là c'est vrai que c'est une version de la machine la plus simple possible, il faut qu'elle soit à un niveau de safety, de sûreté très clairement démontré. Et ça fait même moi qui suis plutôt, enfin non, oui je travaille dans la tech, je ne sais pas si je suis plus j'ai une inappétence plus directe d'un côté ou de l'autre. Voir une voiture autonome à San Francisco qui roule avec personne à l'intérieur, ça fait bizarre.

En 2016, quoi. C'est ça le truc de fou, non?

Là, c'est depuis l'année dernière où il y a les premières qui tournent vraiment sans humains.

OK, avant, il y avait quelqu'un.

Donc, tu es en vélo, tu as un truc de 2 tonnes qui te passe à côté. Il n'y a personne dedans.

Genre même pas de passagers par moment ou t'as des passagers?

Parfois il y a même pas de passagers, parfois il y a des passagers mais il y a personne au volant. Et ça reste un truc de 2 tonnes.

Alors il y a un volant quand même? Il y a toujours une place vide?

Pour l'instant, il y a encore un volant puisque jusqu'à maintenant, il y avait toujours un driver qui était là pour reprendre la main au cas où. Mais là, on est dans le... La dernière fois que je suis allé à San Francisco, c'était en mars, je crois. Et j'en ai vu un paquet où il y a plus... Il y a une place vide à l'avant.

Quand même con en soi, tu vois. Tant qu'à faire, on lève et on économise tout ce machin, tu vois. Ouais, ouais, quand tu es en vélo, tu te dis bon, à la fois tu as envie de le tester, de te dire tiens, je vais freiner, à la fois tu as envie de le tester.

Moi, je sais, j'avais qu'une seule envie, c'est de le tester et je l'ai pas fait.

Parce que tu te dis, ça pèse quand même des tonnes. Je vais me planter en vélo dedans, on va voir s'il m'écrase. Ah, perdu!

Exactement.

T'es aussi con que moi par moments, Stanislas, tu vois. Ça dépend pas du niveau d'études. Écoute, non, c'est vrai que c'est fascinant sur ce genre de choses. Après, l'idée évidemment là-dessus, c'est que tu arrives dans des trucs qui sont légaux, d'assurance, qui est responsable. C'est intéressant. Sur tout ça, ce sont des choses sur lesquelles, je sais pas, tu as été accompagné ou formé ou je sais pas où vous avez creusé là la philosophie de tout ça, la finalité de tout ça, où est-ce que ça nous mène, quand tu étais chez OpenAI ou après? Parce que, alors peut-être plus maintenant parce que tu manipules plus réellement d'IA à proprement parler comme tu me l'as dit, mais on est quand même dans une sorcellerie pour certains ou une forme de manipulation d'un avenir, notamment parce qu'on l'a dit tout à l'heure, leur, il est possible de le biaiser sous certains aspects. Comment, quand on est un pur produit d'université mateuse, etc., on aborde tout ça, Stanislas?

Pas forcément particulièrement, mais moi je m'amusais à dire que j'étais chez OpenAI par souci de survie complètement personnel au sens où c'est vrai que si tu penses que AGI est possible et si tu penses que AGI peut arriver très vite. L'AGI, donc, c'est l'intelligence artificielle généralisée. Donc, c'est quelque chose qui serait meilleur que l'humain, que tous les humains à toutes les tâches productives. Donc, c'est en gros, l'humain devient inutile. Donc, rien que ça, même si on arrive au niveau humain, c'est déjà une transformation sociétale profonde. Et ensuite, on peut imaginer une machine qui, vu qu'elle est meilleure que l'humain, elle sait elle-même s'améliorer et elle devient infiniment meilleur, plus rapidement que nous qui sommes contraints par notre construction biologique et donc pourraient nous surpasser, nous remplacer, nous supprimer, etc. Et c'est vrai que je m'amusais à dire qu'être chez OpenAI, c'était un moyen d'être au bon endroit pour être sûr de voir le moment où ça arrive. Ce qui est fou, c'est que t'es plus dans le si ça arrive Ouais, c'est vrai que je suis plus dans le si Je suis plutôt dans le camp. Je pense que les laboratoires tels qu'OpenAI ont un énorme optimisme. Leur but, c'est de... Il y a beaucoup de réflexions, il y a des équipes entières chez OpenAI qui sont dédiées à la sûreté, donc à la safety, et ce qu'on appelle l'alignement des modèles. Donc là, humain, c'est un peu comme on avait parlé de l'instruction following, c'est de faire en sorte que le modèle suive les préférences humaines, essaye de pas tous nous tuer le jour où il sera potentiellement plus intelligent que nous. Donc je pense qu'il y a énormément de réflexion là-dessus. C'est un problème qui est très difficile parce que dès qu'on commence à réfléchir à un système qui est en face de nous, qui est potentiellement plus intelligent que nous, bah, comment est-ce qu'on peut l'aligner? Il est plus intelligent que nous, il va trouver, il va trouver la parade d'une certaine manière. Mais il y a énormément, évidemment, énormément de réflexion là-dessus. Maintenant, je pense qu'il y aura des transformations. Enfin, comment dire, je pense qu'il y a toujours un risque que Edge AI arrive de manière, ce qu'on appelle en fast take-off. Donc c'est slow take-off et fast take-off.

Ce que je disais tout à l'heure, c'est la seconde ou la fin.

Mais quand même, si on essaie de pousser le raisonnement dans un scénario de fast take-off, je pense que l'humanité a quand même pas mal le contrôle parce qu'on sera toujours à la frontière en termes de compute, donc de quantité de calcul nécessaire pour arriver à ça. Et donc, si cette intelligence émerge à un moment, elle sera probablement très gourmande de manière énergétique. Donc, quoi qu'il arrive, on aura un peu le contrôle parce qu'on voir ce qui se passe ou on coupe le courant pendant un certain temps. À terme, ça peut, si on faisait pas attention, on pourrait imaginer des scénarios où ça serait plus possible. Mais pendant un certain temps, on est quand même capable de la traquer, ne serait-ce que si on fallait chercher, on regarde les quels clusters sont utilisés où. Et ça, ça se traque assez bien. Et on a quand même encore le contrôle sur le fait de, si on coupe les ressources, il y a un moment, la première mouture, elle sera pas travaillée à énergie basse, quoi, d'une certaine manière.

Donc on aura quand même pas mal. C'est la question que tout le monde, tu vois, que, enfin, quand tu fantasmes sur tout ça, tu te dis énergie basse, mais peut-être qu'elle va savoir se connecter elle-même à d'autres choses, peut-être qu'elle va savoir elle-même en quelques secondes ou en quelques minutes consommer moins, calculer moins, parce que ça ira Enfin, c'est vrai que tout ça fait fantasmer complètement.

Ça fait fantasmer énormément, mais la réalité, c'est qu'il y a quand même beaucoup de barrières technologiques à franchir avant d'y arriver, ne serait-ce que de faire de l'entraînement continu, de savoir apprendre sur la base de ses propres expériences. Aujourd'hui, un large modèle de langage, ça peut avoir une forme de conscience de soi-même au sein d'une génération, mais une fois qu'on arrête, qu'on se déconnecte, qu'on revient, revient, c'est le même modèle qu'avant, il a tout oublié, il connaît plus rien de ce qu'il a fait. Et donc cette capacité d'apprendre de manière continue, cette capacité à avoir un contexte d'information beaucoup plus large que ce qu'il a aujourd'hui, une capacité de raisonnement sans trop halluciner. Alors les humains sont soumis à des hallucinations, mais les modèles sont quand même beaucoup plus soumis à ça. Et en général, dès qu'on tombe dans les choses compliquées, au bout du 10e step de raisonnement, ça commence à devenir principalement du bruit, le modèle se perd. Il y a quand même plein de signaux que tu peux essayer de définir et de traquer pour te dire que bon, quand il tombe, c'est un petit drapeau rouge qui se lève et faire attention. Mais je pense qu'on peut facilement penser à 4-5 gros signaux qui sont loin d'être craqués pour l'instant. Après tu peux avoir, tu peux te demander, OK, un OpenAI, ils publient de moins en moins, où est-ce qu'ils en sont? Personne de l'extérieur, on ne le sait pas trop. Où en sont OpenAI?

Ils sont de plus en plus AI.

C'est vrai que vu de l'extérieur, après, tu as la deuxième barrière qui est celle des labos eux-mêmes qui limitent la manière dont l'information circule. Et donc là, tu peux avoir une crainte que peut-être qui sont beaucoup plus avancés et qui font n'importe quoi ou pas.

Mais c'est tout ça qui est potentiellement, je sais pas si je dois dire stressant ou vertigineux, je crois pas que ça m'angoisse au quotidien. Même si moi, une des premières choses que je me suis dit quand ma fille est née en 2012, c'est je pense qu'elle verra de ses propres yeux peut-être un jour le règne de la machine, tu vois, ce qui est quand même un truc flippant. Si ça se trouve, tout le monde le vivra bien et puis on sera plus heureux. Tu vas te dire, est-ce que tu es mieux à faire des PowerPoint toute la journée? Ou alors il y a des projets intellectuels qui sont intéressants. Moi, j'en ai plein autour de moi et j'ai cette chance, mais je ne suis pas sûr que dans beaucoup de cas, ce soit pour beaucoup de personnes, soit le cas.

Je pense qu'on verra en premier des transformations sociétales plus fortes, en tout cas, parce qu'en effet, la machine telle qu'elle est aujourd'hui peut déjà avec le temps d'adoption qui est nécessaire, va déjà transformer le monde du travail profondément. Les prochaines moutures, les modèles meilleurs vont pousser cette enveloppe un peu plus loin et ça, ça va avoir des transformations sociétales fortes. Et après, sur le côté secret des laboratoires, la réalité, c'est que les gens bougent quand même pas mal d'un labo à l'autre aujourd'hui. Donc les choses se savent pas mal et on n'est pas encore dans un mode Manhattan Project, tout le monde dans une montagne à essayer d'aller craquer le problème.

Peut-être en Chine ou dans d'autres endroits?

C'est une bonne question. Alors, les gens qui s'y connaissent sur l'état de l'IA en Chine disent que, déjà, les Américains ont mis un gros coup à ça puisqu'ils ont le contrôle de l'export des GPU.

GPU.

Donc c'est-à-dire que les universités chinoises, les labos de recherche chinois ont beaucoup de mal à mettre la main sur des capacités de calcul aussi efficaces que ce à quoi l'Ouest a accès. Donc ils ont plutôt tendance, tout le monde dit qu'ils ont plutôt tendance à être assez en retard pour cette raison. Ça va prendre du temps de catch up et de refaire un Nvidia local en gros.

Et nous les Européens? Ou les Français.

Et nous, les Européens, on a accès, on a pas mal accès aux capacités de calcul au même titre que les Américains. Après, c'est vrai qu'on a un gros problème, c'est qu'on n'a pas les GAFA en local pour subventionner ces énormes efforts de recherche.

Plus de 100 millions chacun. Beaucoup plus. En R&D annuel, non? Je croyais que c'était web. 200 milliards, pardon. Excuse-moi, excuse-moi, 200 milliards, oui, oui.

Le ciment de Microsoft OpenAI, ça se compte en milliards, etc. Donc on a, c'est intéressant parce que pour l'instant on est à Miami avec les Américains, on a accès à la technologie. Après, les Américains dépendent de nous aussi. Nvidia dépend vachement de ASML. Enfin, si je me trompe pas, c'est la boîte qui fait les chips à Taïwan qui dépend d'ASML. Nvidia dépend de cette boîte-là. ASML, qui est une société néerlandaise qui fait de la lithographie, donc c'est, qui est l'experte dans une grosse machine qui coûte très cher et qui permet d'imprimer ce qu'on appelle le 3 nanomètres, ou je sais pas quoi l'anglais. C'est les nouvelles générations de puces qui font que ces GPU marchent aussi bien et marcheront d'autant mieux demain. Donc il y a une interdépendance quand même mais on a un des gros avantages américains, c'est ces gros, ces GAFA qui ont des capacités à financer des produits de manière incroyable.

C'est ce qui fait que Taïwan est si protégé en ce moment, je crois. C'est un peu ça l'idée, c'est que dans ton trio dont tu parlais tout à l'heure, si Taïwan demain, dès que le jour où les Américains pourront se passer de Taïwan, il y a une probabilité assez forte que—

Ah oui, et une prise de contrôle de la Chine serait un acte très grave.

C'est marrant ces poids de techno actuels.

Donc en France, c'est sûr qu'on a un petit problème de funding d'une certaine manière. Et c'est sûr qu'après, un État est capable de funder beaucoup plus qu'une entreprise privée.

On sait faire ça en plus, historiquement.

Historiquement, on sait faire ça. Maintenant, on n'aime plus du tout ça avec ITER et tout ça. Ça, c'est plus trop à la mode, mais on est soumis à la volonté politique et c'est très dur politiquement aujourd'hui de dire Hey Français, on y va, on va à fond, on met 10 milliards sur la table. Ce serait très dur pour un homme politique de faire ça aujourd'hui, même si c'est probablement une bonne décision si on considère qu'on n'est qu'au début de l'aventure, que tout est à écrire. Et je pense que c'est le cas, mais c'est une décision politique perdure.

Intéressant. Qu'est-ce que tu as fait récemment ou vu de l'AI qui t'a collé au plafond?

C'est le vieux chercheur qui a tout vu qui est plus impressionné.

Peut-être qu'en plus tu peux même pas me l'expliquer dans des mots, je me rends pas compte, mais des usages, des choses Ou alors je pourrais la reformuler et dire qu'est-ce que tu vois prochainement qui pourrait arriver dans les prochains mois ou quelque chose qu'on...

Alors je trouve que là on est dans une phase, il y a eu la phase ChatGPT qui a créé un raz-de-marée de prise de conscience de la population en général, qui a entraîné un raz-de-marée de développeurs à faire des démo hyper cool, hyper sympa. Et là, on est un peu dans une phase où les choses retombent un petit peu. Ce qui est très compliqué, c'est que la seule manière de rendre les modèles meilleurs aujourd'hui qu'on a, c'est de les rendre plus gros. Or, c'est quelque chose qui coûte très cher et qui scale très, très mal. C'est-à-dire que si tu multiplies par 10 la taille du cluster que tu vas utiliser pour entraîner un modèle, les gains en performance vont être ont été plus un pouillème sur la plupart des tâches. Parce qu'on arrive à saturation et que c'est ce qu'on appelle une power law, donc c'est une croissance logarithmique, donc plus t'avances, moins ça croît, quoi. Ça scale très mal. Donc il y a toute une question. Aujourd'hui, les usages, ils ressemblent beaucoup aux usages, enfin tous. J'ai l'impression que depuis un an, c'est assez stable, quoi. GPT-4 a vraiment apporté un changement de qualitatif fort entre GPT-4 et GPT-3.5, il y a un vrai monde. Mais les usages, les meilleurs modèles, ils restent assez stables depuis un an, ils sont forts, ils font des trucs cools, ils se trompent souvent, mais ils restent utiles. Non, je pense que ce qui m'a le plus scotché et impressionné, c'est toute la vague de modèles open source et petits qui tournent sur un laptop. Ça, c'est très sympa. Même si en vérité, c'est très sympa, mais c'est pour des use cases très, très... qui n'ont rien à voir avec la productivité parce qu'un modèle de 7 milliards de paramètres, c'est nul, quoi. C'est sympa, ça écrit du texte, mais si tu lui demandes même de faire une traduction, ça va faire une mauvaise traduction. Si tu lui demandes de résumer un texte, ça va faire un mauvais résumé. Si tu lui demandes de...

En fait, ce que tu trouves impressionnant, c'est le début, quoi. C'est le fait que...

Ce qui est sympa, c'est que ça tourne sur un téléphone en local. Local. Et donc là, sans être connecté à Internet, sans être connecté à Internet, et donc tu peux avoir des use case probablement assez intéressants, voilà, qui sont pas des use case d'un point de vue intelligence, quoi. Et après, il y a toute la, je pense qu'il y a toute la, il y a une petite vague d'agents autonomes, donc avec un projet qui s'appelle, s'appelait BUI, parce que c'est le nom d'un investisseur qui code en low code et qui a un peu lancé ça. Et après cette reprise, il y a un deuxième repo qui s'appelle AutoGPT qui a eu beaucoup de succès où là tu lances un modèle, tu donnes une tâche très high level et il se crée des sous-tâches et il avance tout seul et il essaye d'arriver à résoudre une tâche assez complexe et assez haut niveau par plein d'itérations de manière complètement autonome. Et ça je trouve que c'est des idées hyper excitantes. Aujourd'hui les modèles ne sont pas encore au niveau, c'est-à-dire que AutoGPT il y a quelques mois j'ai testé, Ils se perdent. Mais le concept est génial, le concept est très cool. Et je pense qu'il manque plein de choses dans AutoGPT. AutoGPT aujourd'hui, il peut exécuter du code, il peut chercher sur Internet. Et donc du coup, on lui donne des tâches qui ont à voir avec ça, qui sont en général assez complexes. Je pense que si tu mettais des outils beaucoup plus précis à la disposition d'un modèle de type AutoGPT, et s'il y a énormément de travail qui n'a pas été fait autour d'AutoGPT, GPT pour rendre le— il y a plein de techniques pour améliorer les prédictions du modèle en échange de temps. C'est-à-dire que tu, par exemple, au lieu de demander une fois, tu lui demandes 100 fois et après tu demandes au modèle d'évaluer les 100 propositions et de décider laquelle était la meilleure. Faire ce genre de choses-là, ça coûte plus de temps et d'énergie, mais à la fin, la qualité de la réponse est très largement supérieure. Donc avoir un AutoGPT peut-être un peu plus lent parce qu'on fait beaucoup plus de travail sur la qualité des réponses. Et en même temps, ils donnent des outils beaucoup plus précis de type savoir envoyer un email, savoir éditer une page Notion, savoir faire une recherche sur Slack, des choses de ce type-là. Je pense qu'il y a des zones produits qui nous intéressent, mais ces agents autonomes, je pense qu'il y a des choses hyper sympas à faire, même avec les modèles actuels.

Il y a des choses assez cool que j'ai vu passer qui sont des traductions de vidéos. Je ne sais pas si tu as vu ça, par exemple, avec on testait ça avec HeyGen, je crois. Je sais pas si tu l'as vu passer ce truc où on enregistre des vidéos comme celle-ci et puis on pourrait traduire ce podcast en thaïlandais puisque c'est notre langue favorite depuis tout à l'heure, avec les lèvres qui bougent en thaïlandais. Alors c'est vrai que moi j'y vois aujourd'hui des grosses limites là-dessus parce que je suis sur des contenus très longs et Et sur ce type de contenu, tu vois deux limites. C'est que ça coûte cher parce qu'en fait, Envoyeur, peut-être que je me trompe, mais je crois quand même que quand tu balances 2-3 heures de contenu, il te dit bon, t'es sympa, mais ça rentre pas dans mes conditions de ton forfait à 100 balles par mois. Et puis en plus, c'est là où tu vois les imperfections. C'est-à-dire que sur 3 heures, en fait, il y a des moments où Alors moi, je les vois pas parce que je parle pas thaïlandais, mais le thaïlandais va dire C'est bien, mais c'est quand même pas totalement... Ça reste encore un peu théorique ton machin.

Alors ça, c'est sûr que c'est bluffant. Et ce qui est sûr, c'est qu'il faut qu'on apprenne tous à ne plus faire confiance à quoi que ce soit qu'on voit sur Internet sans que ce soit sourcé, puisqu'on peut faire dire n'importe qui à n'importe quoi, dans n'importe quelles conditions. La technologie est là, même si ça, tu vois ton exemple où ça marche pas parfaitement sur 3 3 heures. En tout cas, si tu veux faire une séquence de 10 secondes, tu essayes 100 fois, il y en a un des 100 qui va être parfait.

Tu veux faire dire sa mère la pute au pape, pardon, je vais mettre un gros bip là-dessus, mais tu peux vraiment faire dire n'importe quoi.

Donc ça, c'est bluffant, mais alors moi, je suis plus, c'est un biais des sujets sur lesquels je me suis intéressé, je suis beaucoup plus intéressé à la modalité textuelle et aux capacités de raisonnement en général. Et c'est vrai que C'est ça, pour l'instant, j'ai l'impression qu'on est sur une petite phase plateau. On va voir ce qui nous attend dans les mois et les années à venir.

Intéressant. Et sur toi, ton usage quotidien, est-ce que tu l'utilises, je vais dire, au-delà de professionnellement? À quel point? Je ne sais pas.

Ouais, non, pas pro. La vérité, c'est que je passe ma journée sur un ordi. J'utilise pas trop d'ordi. Une fois que je rentre chez moi, je passe pas trop de temps sur mon ordi et le week-end, plutôt sport. Donc sur mon usage personnel, j'utilise pas trop, trop. Après, dans mon usage professionnel, beaucoup, beaucoup.

Tu vois, je te vois avec une Garmin que tu as. C'est quel modèle?

Fenix, c'est Pix, tu sais pas? Non, c'est 945, c'est la vieille modèle.

OK. Et tu vois, en fait, moi, dans les usages perso que j'aimerais avoir quand même, j'essaye d'avoir un backlog de pas mal de choses, donc santé, poids, etc. Et tu vois, j'aimerais avoir un Dust un peu perso sur lequel je pourrais le— en plus, je pense que là-dessus, en revanche, les données que tu peux récolter, elles sont plus simples qu'en entreprise, en fait. Finalement, on a tous— il y a des— tu connais des initiatives un peu comme ça? Parce que finalement, dans quelle mesure je pourrais envoyer ça sur sur ChatGPT, lui dire analyse-moi mon machin, qu'est-ce que j'ai en ce moment, ou qu'est-ce que tu as comme recommandation, etc.

Je connais pas de produits particuliers. Nous deux, c'est vrai qu'on réfléchit d'un point de vue enterprise à fond parce qu'on travaille avec des partenaires qui sont plutôt des boîtes assez grosses. Il y a peut-être un besoin plus fort, mais c'est vrai qu'on n'est pas bon et on devrait réfléchir plus à des use cases plus personnel parce que ça a du sens. Ce qui est très intéressant, c'est que c'est un modèle langage tel quel, si tu le prends comme ça, il n'aime pas trop la donnée. Parce que là, tu fais référence, j'ai l'impression, pas mal à de la donnée structurée.

Donc des rythmes cardiaques, etc.

Et c'est vrai que le modèle, c'est un modèle, si tu donnes juste le tableau, il va...

Il faudrait qu'il en ait beaucoup à l'entrée pour voir...

Comme un humain, il va se perdre un peu dans les chiffres. Ouais. Alors c'est donc t'as besoin de passer par la modalité de code, en général tu vas plutôt vouloir lui faire générer du code pour traiter la donnée, pour répondre à une question. Ce qui rend les choses un peu plus complexes de niveau produit parce que c'est vrai que si t'as des données structurées qui viennent de plein d'endroits, qu'est-ce que c'est exactement que tu veux aller chercher pour répondre à une question?

Ou est-ce que t'as peut-être pas déjà, c'est de te dire, je sais pas, je dis une connerie, mais si je te donne toutes les données de Garmin, de de 2 millions de personnes, il va pas pouvoir prédire un infarctus parce qu'en fait, si tant est qu'on puisse le faire, je sais pas mettre ça, mais parce qu'en fait il a pas la donnée de parmi les 2 millions et les 5 ans passés, qui a eu un infarctus, à quel moment.

Alors il y a ça, et puis surtout c'est un modèle de langage, donc c'est pas sa modalité quoi. C'est des time series, donc des séries temporelles, c'est pas vraiment la modalité d'un modèle langage. Donc si tu pourrais entraîner un modèle, si tu avais de la donnée annotée qui disait, voilà, des données de pas, de rythme cardiaque, de, je sais plus comment on appelle ça là, le stress, pression, qui marche très bien sur Garmin, de sommeil aussi, etc. C'est l'arythmie cardiaque, bref. Et si on avait des annotations, on pourrait entraîner un un modèle, mais qui n'est pas un modèle de langage, on prend un modèle à probablement prédire des infarctus, mais ça n'a rien à voir avec un modèle de langage. Le modèle de langage est vraiment dans la modalité textuelle, et c'est vrai que lui montrer des tableaux, c'est pas trop son dada en général.

Et toi avec— pardon, je te coupe.

Non, non, vas-y. Et donc non, en général, ce qu'il faut, c'est que tu as plutôt envie de lui faire générer une requête SQL ou un bout de code qui va traiter la data pour que lui puisse donner une réponse textuelle derrière.

Et ma question était, toi avec Dust, tu ne traites que des modèles de langage pour l'instant?

Non, on n'a que des modèles de langage et on traite surtout de la donnée textuelle. En effet, pour l'instant, on reste, on a sur notre radar et on veut aller chercher aussi la donnée structurée, mais c'est un problème.

Financière, comptable.

Ouais, financière ou même Oui, n'importe laquelle. En général, quand tu réfléchis à une entreprise, tu as une base de données textuelles et en général tu as une base de données structurée. En effet, les finances, si tu as un fonds d'investissement, tu as un log de toutes les interactions avec toutes les prospects, etc., qui est présent de manière structurée. Si tu es une boîte SaaS, bah tu as ton usage, tes users, etc. Toutes ces sources de données structurées, comme la donnée est beaucoup trop grosse pour la donner d'un coup au modèle, on peut pas juste prendre la donnée et la donner au modèle et dire fais-moi une prédiction. Parce que lui il va voir qu'un, par ce problème de contexte toujours, il va voir qu'un petit bout de cette donnée-là. Donc il faut toujours passer par un intermédiaire où le modèle va devoir essayer de générer une requête sur la donnée structurée et avoir le retour d'une requête. Donc un peu comme un data analyst, c'est lui qui va générer la requête SQL ou le bout de code qui va aller extraire le résultat plutôt que de regarder la donnée directement.

Et c'est vrai que c'est une chose qu'on n'a pas abordée. On a beaucoup parlé de LLM. Il pourrait y avoir demain, parce que là on a pris un blast avec ChatGPT-4, mais il pourrait y avoir demain un autre modèle d'IA qui n'est pas du tout un LLM qui nous pète à la gueule comme ça. Il y a des choses en devenir?

Oui, on peut réfléchir à Qu'est-ce qu'il y a? Il n'y a pas de... L'intérêt de la modalité textuelle, c'est qu'on en a pas mal, qu'elle est là, qu'elle est facile à processer, qu'elle est dense en signal. Mais quand tu regardes comment l'humain apprend, ça passe d'abord par le visuel et le fait de regarder. Quand je bouge d'un côté ou de l'autre, mon champ de vision change et donc je vois que les objets sont en 3D et donc j'apprends. Tu pourrais imaginer qu'une intelligence puisse émerger de plein de robots qu'on lâche dans la nature et qui apprennent par eux-mêmes, en se baladant dans un environnement, à voir, comprendre, et puis avec le son, au bout d'un moment, à parler et peut-être à réfléchir mieux qu'un modèle de langage. Parce que si ça se trouve, un des ingrédients uniques de l'intelligence, c'est cette modalité visuelle et cette personnalité, cette égocentricité, ce fait que tu es dans un encore? Ça, c'est des questions hyper intéressantes.

Je trouve que ça pourrait coupler avec du LLM peut-être aussi à un moment.

Il y aura probablement plein de stratégies où tu vas peut-être mettre un LLM dans la boucle à un endroit pour aider le process du langage, le rendre beaucoup plus rapide. Mais c'est un des dada de Yann Lequin de dire est-ce que la modalité textuelle est suffisamment riche pour représenter ou apprendre l'intelligence? Son argument, lui, c'est qu'il n'y a pas que l'intelligence du texte, il y a la compréhension de la culture, l'humanité, etc. Le toucher, le visuel, ressentir une œuvre d'art, etc.

Qui est d'ailleurs toujours biaisée en plus, même toute cette compréhension de l'humanité entre guillemets. C'est-à-dire que c'est souvent d'ailleurs le vainqueur des combats ou des guerres qui sont passées qui restent et qui laisse ses écrits. Enfin, tout le passé est un une vision biaisée à un instant T de ce qui s'est passé. Il y a des recherches ou des gens qui avancent là-dessus avec, comme tu dis, des robots qui avancent, ou ça c'est quelque chose que tu mets?

J'en connais pas particulièrement et les LLM sont tellement à la mode que ça a un peu pris tous les labos de recherche de cours et tout le monde travaille autour de ça. Le dernier, il y avait un travail qui est sympa à regarder parce qu'il prédate DALL·E et ChatGPT évidemment, d'OpenAI, qui est la main qui fait un Rubik's Cube Rubik's Cube. Donc, c'était en couverture du New York Times à l'époque, donc c'est facile à retrouver. Donc, ils avaient entraîné, il y avait une équipe de robotique à l'époque qui a été dissoute dans une équipe de langage d'ailleurs depuis. Et ils avaient entraîné une main qui était capable de résoudre un Rubik's Cube à une main en quelques secondes, juste depuis une caméra, quoi. Ce qui est assez impressionnant. Et ce qui est marrant, c'est que ce qu'ils avaient fait, c'est que c'est très dur de reproduire dans un environnement. Ce que tu veux, c'est avoir un environnement virtuel dans lequel tu peux t'entraîner pour essayer 1000 fois, parce que tu peux essayer en parallèle sur 1000 machines de résoudre 1000 Rubik's Cube, de le faire tomber, etc. Mais le problème, c'est que ton environnement virtuel n'est jamais une parfaite reproduction de l'environnement réel. C'est-à-dire que le fait que le joint numéro 2 du pouce droit est un peu usé, donc il bouge un peu moins, va faire que l'environnement réel va être pas exactement que l'environnement virtuel, et que si tu es en train que dans un environnement virtuel, quand tu passes au réel, ça va, ça va failer. Et donc là, l'astuce qu'ils avaient utilisée, c'est qu'ils avaient, ils faisaient des entraînements dans le monde virtuel, mais avec énormément de bruit dans toutes les variables dans lesquelles ils pouvaient mettre du bruit. Donc toutes les variables de résistance de tous les joints étaient randomisées avant chaque entraînement pour qu'à chaque fois ça soit une main un peu différente, de telle sorte qu'à la fin, une fois qu'il passait dans le monde réel, ça transfère au monde temps réel. À tel point que ce qui était assez impressionnant, c'est que si tu, donc la main résolvait le Rubik's Cube, après tu prenais 3 gros élastiques, tu mettais autour de la main et elle était encore capable d'écarter fort, de prendre le Rubik's Cube et de résoudre le Rubik's Cube avec les 3 élastiques autour de la main. Essaye de faire ça en tant qu'humain à une main, c'est pas mal.

Bon, écoute, ça reste tout ça très, très vertigineux en effet de voir un peu ces évolutions Tu crois que chez OpenAI, ils bossent déjà, les gens, sur ChatGPT-5? Tu le sais?

Tu le sais pas?

Eux, en interne? Non, je veux dire, évidemment, ils sont déjà, comme toi, tu étais sur GPT-4.

Est-ce qu'ils l'ont? Ouais, pas ça, je sais, ça j'en sais rien. Mais c'est sûr que la recette d'OpenAI, ça a toujours été d'être un temps d'avance en termes de capacité de calcul. Donc eux, ils ont planifié il y a 2 ans les clusters qu'ils vont recevoir maintenant. Et donc c'était la planification, devait commencer il y a 2 ans parce que ces clusters-là, c'est des gros bébés, c'est des gros bâtiments qu'il faut construire à un endroit, etc. Donc ils vont garder cette avance avec des clusters plus gros, ils vont pouvoir entraîner des modèles plus gros. Donc c'est sûr qu'ils vont entraîner un GPT-5 qui sera de plus en plus gros. Et donc oui, ils ont forcément une vision en interne qui a un temps avance.

Avant, quelques dernières questions quand même. Moi, j'ai beaucoup de frustration là-dessus aujourd'hui. J'imagine que c'est l'accès au web du jour, quoi. C'est comment je peux lui envoyer un moment sur GPT-4, je pouvais envoyer un lien et lui dire un lien de El País, fais-moi un résumé en français en 10 points et boum, c'était plié. Maintenant, on peut plus. Donc, il y a une forme de resserrement pour des raisons de sécurité, j'imagine. Copyright. Copyright, etc. Bon, alors maintenant, tu peux toujours le copier-coller. En soi, c'est plus pénible, mais voilà. Mais même après, du copyright, moi, si je lui dis d'aller sur mon site et que je pourrais le whitelister avant, et il veut pas, il veut pas traiter le web en direct. Ce sont des choses qui vont revenir ou c'est que le temps que tout le monde se mette d'accord?

Il y a sûrement un peu le temps que tout le monde se mette d'accord, mais de toute manière, ces modèles, ils sont disponibles par API et je suis sûr que tu peux trouver un produit qui te fait ça pour toi. Même nous, on a un produit, un vieux produit qu'on avait lancé en janvier dernier qui s'appelle XP1, qui est une extension Chrome qui, étant donné sur une page, tu peux lui dire, basé sur cette table-là, fais-moi quelque chose. Et donc, je pense que des produits qui te permettent de faire ça et qui se basent GPT-4 par API, il y en a des, il y en a pléthore. La question c'est de, je pense qu'on est dans ce, dans cette phase en effet où il y a plein de, on est dans la phase to-do list du mobile quoi, il y a plein de petites apps à droite à gauche, les choses sont pas encore concentrées. Et donc nous c'est là où on est très excité parce que c'est vraiment, c'est une opportunité de créer un produit pour l'entreprise qui va comprendre ce genre de use case. C'est pas notre priorité aujourd'hui mais évidemment pouvoir dire, va chercher sur internet pour répondre à cette question-là, c'est quelque chose qu'on aura à terme.

Dust aujourd'hui, alors tout à l'heure je me suis inscrit, mais bon j'arrive sur un, comment je l'appréhende, comment je commence, par quoi je commence?

Alors aujourd'hui on est en train de travailler sur une nouvelle version qui est celle avec tous les assistants différents. Aujourd'hui Dust dans la version actuelle qui est disponible en ligne, il n'y a qu'un seul assistant généraliste qui a accès à tes data sources. Donc si tu n'as pas de data source, tu n'as pas d'assistant parce que le but c'était d'explorer ça. Donc ce que tu peux faire néanmoins, c'est tu peux t'inscrire, il y a des data sources qui sont payantes où tu peux les connecter à Notion, Google Drive, Slack, elles sont maintenues en temps réel, mais tu peux aussi créer une data source statique que tu crées toi-même dans laquelle tu peux mettre des documents. Donc par exemple, tu peux créer une data source, mettre des rapports du GIEC ou quelque chose qui est spécifique à ton use case et commencer à parler avec l'assistant et qui va avoir contexte sur toutes ces data sources-là. Donc tu peux commencer, c'est tout de même possible de s'amuser avec Dust même en perso aujourd'hui si tu te signes up. Mais ça sera d'autant mieux plus on avance évidemment.

Et ça coûte combien?

Alors aujourd'hui il n'y a pas de pricing perso, donc ça c'est encore TBD, mais voilà. Et pour une boîte c'est C'est en gros, c'est des, c'est, on va dire que c'est comme un ChatGPT par siège à la louche quoi.

Une vingtaine de dollars ou d'euros. Ok. Tu m'ouvriras un truc pour Causa Vostra pour que je teste?

Ah bien sûr, bien sûr.

Et cool. Et si les auditeurs là veulent tester, tu vas prioriser des grosses entreprises ou c'est tout le monde? C'est welcome? Comment?

Donc n'importe qui qui vient et qui dit tiens j'aimerais j'aimerais bien passer au mode payant parce que j'aimerais bien connecter un Notion, un Slack. On est ravis de leur donner un free trial de quelques semaines. Donc on est ravis d'avoir n'importe qui. Notre cible préférée, c'est des boîtes tech entre 20 et 500 personnes, on va dire. 20 parce que si on est moins de 20, en gros, toute l'information est dans la tête de tout le monde quasiment. Donc le problème est peut-être un peu moins fort, mais encore c'est à discuter parce que nous on l'utilise à fond en interne. Et moins de 500 parce qu'on veut pas, enfin c'est très dur pour une startup de s'attaquer à une boîte trop grosse, ça demande trop de procédures, ça fait perdre trop de temps. Et pourquoi boîte tech? C'est parce que nous on supporte pour l'agrégation automatique de données Notion, Slack, GitHub et Google Drive qui est la stack typique des boîtes tech des 10 dernières années.

Ouais, je pense que nous on est bien là-dessus.

C'est pour ça que je t'ai dit, vous avez Ostra, ça peut être bien.

Mais même sur ma petite équipe russe, il y aurait des potes podcast, je pense qu'au moins Notion, Slack et Google Drive, au moins GitHub. Bon bah super, on te contacte là-dessus et puis si vous venez de ma part, alors si vous voulez trouver, peut-être que tu vas le recacher bientôt, mais l'email de Stan, c'est assez simple parce que tu as un site quelque part.

Non mais il n'est pas caché du tout. Le seul code c'est qu'on va dire S Polu.

Voilà, on le trouve, on peut t'ajouter sur LinkedIn, Je suis très mauvais, mais bon, au moins tu gagneras. Pour l'avenir, faut que tu t'y mettes un peu, au moins d'accepter les gens. Donc voilà, moi je suis très jaloux de ton Insta parce que tu as, comme tu as travaillé très tôt avec Insta, que tu étais là-bas, tu as un S Polu, donc S-P-O-L-U-5, quoi, c'est pas mal quand même.

Une date de création pas mal.

Quelle année, quelle année du coup?

Je sais pas, mais c'est très très tôt.

Et voilà, je vais te dire ça quand même tout de suite.

Ensuite, je crois que ma plus grande fierté, c'est, je crois que je suis utilisateur 2000 sur GitHub. Et ça fait bizarre quand, donc Dust a eu plusieurs, il y a eu une première version du produit qui était un peu plus développeur et il y a eu genre 4000-5000 développeurs qui sont inscrits. Donc c'est très marrant de se dire que tu as plus d'utilisateurs sur ton produit que quand toi tu as rejoint une boîte comme GitHub en tant qu'utilisateur.

Pas mal, pas mal. Je regarde, bon, je crois que tu me bats que de quelques mois sur Insta. Ça va, ça va, je le vis bien. Rapidement, tu voyages toujours beaucoup?

Non, moins là, on est plus focus.

T'es papa?

Oui, Octave, 7 ans.

OK. Ah oui, pas tout jeune. Donc t'as monté tout ça quand même en étant père de famille.

Oui, mais je pense que l'entrepreneuriat, il y a plusieurs manières de de se lancer dans l'entrepreneuriat. Tu as la partie extrême, c'est ceux qui habitent dans des box dans Cerebral Valley à San Francisco. Donc il y a des gens qui, des boîtes AI aujourd'hui, les mecs vivent dans des placards littéralement parce qu'ils ont l'impression qu'il faut bosser tout le temps, tout le temps à fond, à 1000% parce que ça va trop vite.

Donc eux, ils n'ont pas de vie, pas de famille.

Ah, ils n'ont pas de vie, pas de famille, ça c'est clair. Et moi, je pense que ce qui tue une boîte, c'est très souvent le fait de se, c'est un suicide décide la plupart du temps, c'est que c'est la boîte qui décide de se tuer. Et la plupart du temps, c'est parce que c'est une décision parfois des fondateurs, quoi. Et je pense qu'en fait, monter une boîte, c'est plus un marathon qu'un sprint. Et donc, c'est tout à fait— j'ai aucun problème à avoir du temps pour ma vie de famille. Je dis pas que— évidemment, tu bosses beaucoup, mais mais je pense qu'il faut pas, c'est l'archétype du startupeur qui bosse jusqu'à minuit, jusqu'à 2 heures du mat' tous les soirs. En fait, si je devais donner un conseil à quelqu'un qui monte une boîte, je lui dirais que c'est peut-être pas la, ça peut arriver de temps en temps, pas de problème, mais si tu fais ça en permanence, c'est peut-être pas la bonne stratégie.

Tu l'as pas fait toi?

Moi je l'ai fait.

Tu t'es cramé?

Peut-être pas à ce point-là, au bout de se cramer, mais première boîte, pas marié, ouais, ouais, tu peux facilement, c'est naturel, ça c'est naturel, 10h du soir, 11h du soir, minuit, 1h, lever 7h.

Ma question c'est, est-ce qu'il faut pas forcément passer par là? Au moins sur ta première boîte, je veux dire, est-ce que c'est pas, est-ce que les plus jeunes qui nous écoutent, c'est un bon conseil de dire vas-y mollo, tu vois?

Non, évidemment, et je vais donner le conseil 1 inverse aussi. Donc c'est tout, on est tout le temps dans la contradiction. Mais c'est vrai qu'il faut profiter aussi de ta jeunesse, de pas avoir de contraintes, pas avoir de pouvoir pour se donner à fond dans quelque chose. Ça, c'est vrai que c'est génial. Mais rétrospectivement, tu te rends toujours compte que ce mois de novembre où tu as bossé comme un chien parce que tu as foncé dans une direction sans réfléchir, et que rétrospectivement tu sais que tout ce travail-là est passé à la poubelle à 100%, quoi. Et que tu aurais gagné beaucoup plus de temps à essayer de faire 3 pas en arrière pour faire, pour mieux te lancer en avant, quoi. Donc c'est toujours, je pense que tu n'as aucun moyen de l'apprendre sans le vivre toi-même. Je suis d'accord avec toi et je suis d'accord qu'il faut profiter de la jeunesse pour faire les choses à fond, que ce soit du travail ou autre chose, mais en tout cas faire les choses à fond.

Sachant que je trouve qu'en plus, pour revenir un tout petit peu dans le sujet du jour et de l'IA et tout tout ça, c'est tellement— alors tu as dû en sortir bien avant moi parce que ça fait plus longtemps que tu es là-dedans, mais j'en sors, mais j'y reviens. Moi, ça m'a provoqué, je crois que ça me provoque quand même de temps en temps un peu des insomnies ou des choses comme ça. C'est-à-dire que la période est tellement— enfin, alors peut-être que toi tu arrives au bout des choses et tu te dis bon, j'ai vu, mais même sur la vie, le sens de la vie, tu vois, Pourquoi? Est-ce qu'il faut vraiment laisser faire ça ou est-ce que je dois pousser? Je trouve ça très, très structurant, déstructurant d'ailleurs. Mais quand tu es dedans, je trouve ça aussi addictif en plus. Parce que tu as envie de te dire, comme dans l'early période des dot-coms, où tu as envie de te dire j'ai pas envie de louper un truc. Tu as envie de te dire j'aurais pu être ce mec qui a inventé Million Dollar Larum. Page, ces grosses idées à la con. Non pas pour l'argent, parce que honnêtement c'est pas le trip, c'est juste pour la fame du truc, quoi.

Non mais ce qui est important, c'est, je pense, c'est de se rendre compte qu'on en est probablement qu'au tout début, et qu'en plus il est possible que des énormes innovations viennent se placer au-dessus du layer sur lequel il y a une concentration de recherche aujourd'hui. C'est ça, en termes Les modèles de langage sont extrêmement puissants, mais aujourd'hui, il y a tellement de manières qui n'ont pas encore été explorées de les utiliser, qui permettraient peut-être de les rendre beaucoup plus puissants avec un algorithme au-dessus du modèle, pas nécessairement un algorithme dans le modèle, que c'est possible aujourd'hui de faire de la recherche ou d'expérimenter, de hacker, de s'amuser au-dessus des modèles d'OpenAI avec une quantité d'argent vraiment pas si grosse que ça. Et donc, il ne faut pas se dire ah ça y est, tout a été inventé, c'est fini etc. Je pense qu'on est au contraire tout au début et que c'est même possible pour n'importe qui qui dans un dortoir, dans une université, pour inventer vraiment des approches hyper intéressantes.

Qu'est-ce qu'il faut tester aujourd'hui que j'ai pas testé? Alors, tu as parlé de Claude tout à l'heure.

Ouais, Claude est pas mal, il est intéressant.

Bard, j'ai pas trop testé encore.

Bard, en plus, je crois qu'il y a une version disponible par API pas testée non plus. Enfin, testée en ligne, mais pas vraiment comme ça. Claude est hyper intéressant parce qu'ils ont un contexte de 100 000 tokens, donc on parlait encore revient toujours à cette histoire de contexte qui est très, très grand. Donc tu peux lui mettre un PDF de 100 pages et il peut se tromper, il peut rater des informations, mais en général tu peux lui poser des questions sur tout le PDF et ça passe. Ce qui est intéressant.

D'autres, on parlait de Midjourney tout à l'heure avec cette accessibilité via Discord terrible, mais que je trouve quand même tellement devant.

Leur modèle est vraiment en avance. Après moi je suis pas très spécialisé dans l'image mais C'est vrai que les retours sont très clairs sur le fait qu'ils utilisent Discord. C'est que la dernière fois que j'ai entendu le fondateur parler sur un groupe WhatsApp sur lequel on est en commun, il disait que c'est qu'on n'a pas encore réussi à craquer la substantifique moelle du produit qu'on veut construire. Donc on reste sur Discord jusqu'à ce qu'on arrive à créer la perfection presque.

OK, donc c'est accessible au commun des mortels, mais il faut quand même se taper d'essayer de comprendre comment fonctionne Discord et puis d'attendre les résultats, d'aller les chercher dans des files de discussion. OK, donc on reste sur celle-ci avec Claude au milieu, quoi, qu'il faut essayer ça.

Claude, et puis il faut essayer toutes les versions de Llama 2 et 3 parce que comme c'est des modèles open source, ils créent des arbres entiers de modèles fine-tunés de manière différente. Je pense que c'est des choses qui sont intéressantes à utiliser aussi.

Lama 2 et 3. OK.

Très bien.

Tu es aussi geek sur ta vie perso, sur tes marathons? Tu fais des marathons?

Non, alors j'en ai fait 2 l'année dernière ou il y a 18 mois. Et là, je vais plutôt me lancer— J'aime beaucoup courir en ville, ça me va très bien. Je ne cherche pas nécessairement à faire de la performance, c'est juste en effet pour changer les idées, etc. Etc. Et ouais, se défouler physiquement. Là, je me suis inscrit au Trail de Paris, donc on va passer en mode trail. Ouais, 45 km. J'hésite entre 45 et 80.

Je croyais que c'était 50, c'est 45. Mais moi, j'hésite entre—

tu es inscrit là au 45? J'hésite à m'inscrire au 80 pour vraiment me tuer et peut-être ne pas le finir, parce que je pense que 80, il risque de pas le finir. Et on fait 2 marathons, je me dis que 45, quoi qu'il arrive, j'arriverai. S'il faut, j'arriverai au bout. Mais 80, Je pense qu'il y a moyen de s'arrêter au milieu.

J'ai pas mal de potes qui me disaient il y a quelque temps que potentiellement les Côtes-Rêles, le 80, il est pas si— enfin, c'est pas beaucoup plus dur qu'un marathon en fait. Enfin, c'est le double, mais en fait, comme tu es moins de— tu es pas en pression de— il faut pas de qualif pour s'inscrire au 80, non? Je crois que je me chauffe un peu. 45, c'est pareil. Je me suis en train de me chauffer sur les Côtes-Rêles. J'ai fait un trail cet été. Voilà, moi je suis inscrit pour les— pour le marathon pour Pour tous, des JO. Ça, c'est très bon. Je t'avoue que je suis très— Donc, le problème, c'est qu'il est en plein cœur de l'été, donc genre 11 ou 12 août. Donc, au niveau milieu de vacances, ça va être compliqué. Et surtout, il est très dur, très vallonné. Mais voilà. Et tu t'entraînes plusieurs fois par semaine. Tu as une vie très réglée. Tu as des petits tips de—

Ouais, j'essaye d'aller courir entre midi et 2. C'est quand même ce qui est le plus efficace quand quand t'as une famille, on a la chance d'avoir en plus une douche au bureau. Donc j'arrive à, en une heure, j'arrive à caler 8-9 kilomètres. Donc c'est très bien. Tu fais ça 2-3 fois dans la semaine, ça suffit. Une grosse fois dans le week-end, c'est déjà pas mal.

Good. Écoute, il y a des choses dont on n'a pas parlé, Stan, aujourd'hui que tu aurais voulu.

Écoute, on a couvert pas mal de choses. On a parlé de Stripe du tout, mais...

Ouais, c'est vrai, c'est vrai, c'est vrai. En 2 mots, une aventure Stripe, donc une boîte que tu as rejoint, vous étiez 80, tu m'as dit.

Eux étaient 80, nous on est arrivé juste avec Gabriel parce que nos ingénieurs avaient pas voulu bouger à SF, donc ça fait partie du deal pour les rejoindre à travers l'acquisition. Et ouais, une aventure extraordinaire de voir une— en fait, la vraie révélation, c'est moi j'avais un— je trouve qu'en France on a facilement, et en tout cas moi j'avais un complexe d'infériorité par rapport aux États-Unis, de se dire mais ils doivent être les gens doivent être des surhumains, ils doivent faire quelque chose de spécial pour essayer de construire des Stripe, des Airbnb, des choses comme ça. Une fois que tu es dedans, tu te rends compte que les gens sont très forts, ils sont géniaux, mais ils sont humains. Ils sont juste motivés et ils se posent pas de questions et ils avancent. Et donc ça, ça a été vraiment révélateur de voir les fondateurs, les frères Collison, évoluer parce qu'ils sont vraiment géniaux et de voir la boîte évoluer de 80 personnes qui qui reste pas trop gros, tu connais tout le monde, à plusieurs milliers de personnes où là c'est une autre histoire. Et Stripe avec une structure hyper intéressante au début, très auto-organisée, pas de manager, une communication ouverte, etc. Donc plein de choses, plein de choses très intéressantes à prendre, voir à quel moment ça s'arrête de fonctionner, à partir de quel stade, quelles sont les choses que je peux mettre en place pour essayer de maintenir certaines qualités.

Il y a un moment où ça ne fonctionne plus. Pour devenir plus pyramidal.

Je pense que l'organisation initiale de Stripe, qui était assez— en général, je dis que ça ressemblait à un algorithme de flocking. Donc le flocking, c'est quand tu simules des bancs de poissons ou des vols d'oiseaux. Tu as 3 règles, c'est local repulsion, donc c'est si tu es proche, tu t'écartes. Distant attraction, donc c'est si tu es à distance, tu essaies de te rapprocher. Et alignment, donc c'est si tu vois des gens autour de toi, tu te mets dans la direction moyenne, dans dans laquelle ils sont. Et si tu fais ça, ça fait ces 3 règles, tu les codes en 5 lignes de code et ça fait des bancs autonomes qui peuvent éviter des obstacles, etc. Et j'aimais, c'était, mais c'est toi ça, c'est, enfin, et donc moi je disais que Stripe était, faisait un algorithme de flocking dans les premiers jours parce qu'il y avait donc local repulsion, c'est qu'il y avait une très forte confiance au sein des gens de Stripe, ça, ça m'avait vraiment choqué comparé à toutes mes expériences professionnelles précédentes. C'est que si quelqu'un dit je le fais, tout le monde faisait confiance. OK, tu le fais, on sait que ça va être bien fait. Vas-y, c'est à toi. Donc ça, c'est une local repulsion parce que si quelqu'un se dit qu'il le fait, bah tu le fais pas toi. Distant attraction, c'est vraiment open communication. Donc Stripe, tu te mettais en CC sur des Google Groups, en gros toutes tes communications email. Et donc tout le monde pouvait s'inscrire aux communications email des autres teams, etc. Donc tout le monde pouvait voir un peu tout. Donc ça permettait d'avoir des gens qui pouvaient voir la communication de deux personnes très distantes dans la boîte et dire ah, Roger et Marie, bah en fait vous avez des choses qui ont l'air un peu incohérentes. Donc par ces deux emails, vous devriez vous parler. Et alignment, c'est peut-être la partie la plus bullshit, mais Stripe c'est une mission qui est hyper facile à comprendre. En gros, c'est une grande matrice des paiements rentrants, des paiements sortants, des moyens de paiement rentrant, des moyens de paiement sortant, et des des pays, il faut colorier la matrice quoi. Parce que le but c'est de créer une infrastructure globale de paiement qui marche partout, tout le temps, très facilement. Et donc ça fait un algorithme de flocking. Et donc Stripe était quasiment auto-organisé dans les premiers jours, il n'y avait pas de manager et tout avançait de manière presque autonome quoi.

Trop bien.

Alors ça, ça explose à un moment. Mais ça explose assez tard, je pense 200 personnes, tu peux monter assez haut.

C'est super intéressant ton approche de la confiance, je trouve que c'est notamment l'alignement évidemment, aussi, mais quand quelqu'un, quand tu es dans une boîte et que tu sais que quelqu'un te dit je le fais, c'est fait. C'est primordial, ouais, c'est primordial. Et c'est, et ce qui est pas facile, c'est quand par moment dans certaines boîtes, quand t'as pas cette culture, en fait tu laisses un peu faire et puis en fait c'est ok. Je crois qu'il faut, il faut pas trop en fait. En tout cas, chacun voit midi à sa porte, mais c'est plus compliqué à développer. Et tu es resté combien Combien de temps?

4 ans et demi.

OK. Tu étais actionnaire? Tu es actionnaire d'ailleurs, peut-être toujours ou non?

En gros, c'était une acquisition, mais c'était un acquis ailleurs. Donc c'était une acquisition principalement pour l'équipe. Et donc ça ressemble à une offre. Donc nos investisseurs ont eu des parts et nous, pour nous, ça ressemblait à une offre d'emploi, mais avec un package un peu plus généreux qu'une offre de marché.

J'imagine que c'est quand même très généreux.

Bien généreux. OK. Et donc, donc on devait y rester un certain temps minimum d'investissement de 4 ans.

Donc tu as fait le vesting et tu es parti plus ou moins quand même, soyons honnêtes.

Alors je pense que je suis parti pas parce que je suis arrivé à la fin de mon vesting, enfin si, enfin je pense que je suis resté jusqu'à la fin de mon vesting, ça faire.

Tu n'as pas forcément réfléchi en disant je vais me barrer, mais quand tu as eu l'opportunité option, tu t'es dit.

Mais après, je pense que je suis pas resté aussi parce que c'est très différent d'évoluer dans une boîte de 3000 personnes versus 80 personnes. Et ça peut être, ça peut être, on voit souvent ça dans les boîtes, c'est très frustrant pour les employés qui sont là, qui font partie des meubles, de voir la boîte se transformer. Je pense que soit tu décides de prendre une voie du management, auquel cas ton but c'est de monter en management, de couvrir plus de territoire, etc. Ou là je peux voir la chose fonctionner si c'est ton objectif. Moi j'ai jamais voulu faire de, au sein de Stripe, j'ai jamais voulu faire de management, je suis toujours resté ce qu'on appelle IC, individual contributor, donc ingénieur quoi. Alors tu deviens ingénieur avec plus d'influence, des projets plus gros etc., mais tu restes ingénieur. Et c'est vrai que quand tu vois les, je vais être un peu dur mais c'est un fait de la vie, quand tu scales une boîte à des milliers de personnes, ce qui s'installe c'est nécessairement une forme de médiocrité. Et c'est pour ça qu'il y a besoin du management, c'est une gestion de la médiocrité parce que tu fais rentrer des camions toutes les semaines de gens qui arrivent un peu de partout, quoi. C'est vrai que c'est un peu frustrant quand tu es vraiment au cœur de, en tant qu'ingénieur, de voir cette médiocrité s'installer, quoi.

Alors on peut l'interpréter de différentes manières, je comprends ce que tu dis, mais c'est vrai que c'est la difficulté, c'est que quand tu es, j'ai eu cette discussion ici, on a une tendance dans les sociétés à faire monter, dans beaucoup de sociétés, qui était à faire monter les gens que parce qu'ils sont managers. Et c'est difficile, le IC, l'individual contributor, à un moment de lui dire en fait tu gères pas 2000 personnes donc tu scales pas entre guillemets, etc. Et de savoir ce qu'il vaut vraiment, etc. Et on a eu cette discussion avec Nick Hernandez justement ici et je trouve que La difficulté, c'est que tu deviens super— normalement, si tu restes, c'est que tu deviens super hyper fort dans ton truc. Tu vas être UX designer spécialisé sur— je sais pas, on a des gens ici qui sont spécialisés sur l'UX writing, tu vois, l'expérience utilisateur par l'écriture. Ils font des trucs extraordinaires. Et c'est très, très, très, très pointu, mais c'est extraordinaire. Puis après, bah, t'as des gens plus généralistes, puis t'as des camions de gens, comme tu le dis, arrivent sur des choses et puis ils sont moins spécialisés, ils sont moins pointus et toi tu peux trouver ça aussi médiocre et puis certains d'entre eux en plus montent en management parce que c'est la manière de monter dans la boîte, tu te retrouves IC d'un côté et tu vois...

Non, il y a eu un deuxième facteur, c'est que je suis rentré en France avec Stripe et c'est vrai qu'une fois que tu es à distance, j'étais en distance avec une équipe américaine, ça pendant une grosse année, et c'est vrai qu'à distance T'as perdu le lien, évidemment. Et le gros truc, c'est que le jour où tu décroches, tu décroches instantanément, quoi. Parce que t'as rien qui te rattrape. Donc je pense qu'il y a ça qui a joué aussi un petit peu. Et néanmoins, j'ai décidé d'être à distance chez OpenAI. Mais la recherche, c'est un exercice un peu différent. Mais bon, j'avais fait beaucoup de distance, donc j'ai pas mal d'avis sur la question.

Et aujourd'hui, t'es Tu es CEO ici?

Aujourd'hui, on n'a pas nécessairement de titre. En pratique, la réalité, c'est que non, tu es manager quand tu montes une boîte et que tu montes une équipe de 5 ingénieurs. Tu manages. Mon gros rôle, c'est de manager. Mais c'est un management très différent, je pense, dans une startup où nous, on est 6 ingénieurs avec moi. Donc on est 6 ingénieurs. C'est sûr que mon rôle principal, c'est de manager, c'est de faire en sorte que les 6, on soit le plus productif possible et qu'on avance. Je pense bien. Mais c'est très différent de manager une équipe que tu as choisie toi-même à petite échelle que de manager une équipe qu'on t'a donnée au sein d'une boîte énorme. C'est une question, et en toute honnêteté, hyper intéressante de si Dust est très successful, de quel sera mon rôle futur. Parce qu'en toute honnêteté, en toute franchise, je pense que je suis pas un je suis pas un manager dans l'âme, là pour manager 500 personnes je crois pas que ce soit mon dada. Alors tu as toujours ce rôle bizarre de cofondateur technique CTO qui est un peu l'électron libre etc. On verra bien comment on résout ça, je suis sûr qu'on aura plein de solutions pour le faire.

Oui parce qu'en effet c'est quand même quelque chose de passer comme tu le dis individual contributor à chercheur presque solo sur des problématiques très très voilà à fondateur d'une boîte avec peut-être par moment même des frustrations de peut-être pas coder ou pas chercher assez.

Pour l'instant, à 6, je pense que tu peux presque faire du management par l'exemple, quoi. Donc tu continues à coder énormément, etc. Mais c'est sûr que ça va— De toute manière, c'est le rôle, il faut accepter, c'est le rôle d'un fondateur, c'est d'accepter un rôle changeant et de s'adapter à la boîte et de réussir à grossir avec la boîte que tu es en train de créer. En train de créer.

Et Gabriel, ton associé, bossait avec toi chez Stripe?

On bossait ensemble chez Stripe, à certains moments ensemble, à certains moments sur des projets différents. Et ensuite, moi, quand je suis parti chez OpenAI, lui est rentré en France, il était chez Alan.

Oui, c'est ça. Et puis vous avez gardé le fil ou vous vous êtes toujours dit un jour on fera un truc?

Je sais pas si on s'est dit on fera forcément un truc, mais on a toujours gardé le fil, on a toujours regarder des discussions assez intéressantes autour des choses qu'on pourrait, qui seraient intéressantes d'explorer et de faire. Et puis l'émergence de ces modèles, ça a créé une opportunité suffisamment forte pour se dire là on est bien placé. Moi je fais de la recherche, on sait ce qui se passe, on sait, on est dans le know-how du truc, allons-y, il faut foncer, il y a plein de choses à faire quoi.

Il y a un petit club de l'AI français qui se forme, vous voyez des WhatsApp, WhatsApp où il y a des—

Ouais, il y a quelques groupes WhatsApp, mais je pense qu'il y a peut-être pas un club, mais il y a une communauté hyper intéressante en France. Il y a un pool de talents en AI qui est extraordinaire, qui a émergé de manière assez— Si tu essaies d'analyser d'où il a émergé, c'est très marrant. C'est la rencontre des GAFA avec le processus CIFRE.

OK.

En gros, les GAFA ont eu un incentive énorme à monter des laboratoires de recherche en France parce qu'ils pouvaient recruter recruter des jeunes thésards et se faire payer pour les recruter d'une certaine manière. Et ce faisant, ces jeunes thésards avaient accès à des capacités de calcul énormes puisque c'est des GAFA. Et donc ça a créé un pool de talents vraiment incroyable chez Yann Lequin, chez DeepMind, etc. Donc il faut remercier DeepMind et Facebook pour le pool de talents IA français actuel qui est vraiment Très reconnu et très fort.

C'était des deals sous Sarko, ça? Ou?

Si, je ne sais pas quand c'est apparu.

Et intéressant, je ne savais pas, je n'avais pas forcément, enfin oui, en effet, tu voyais que plutôt qu'ils partent là-bas ou qu'ils soient moins intéressés par les Français finalement. OK, écoute, passionnant cette petite aventure en tout cas. Entre les États-Unis et voilà, Stanford, c'était magique.

Stanford, c'était magique, ouais. Le campus est extraordinaire. Alors, c'était en computer science, le département était assez petit parce qu'on en parlait tout à l'heure, c'était vraiment dans le creux de la vague. Donc, je crois qu'on était 200 alors qu'aujourd'hui, ils doivent être 1000, je crois, ou plus. Et ouais, t'as Facebook au bout de l'Université Avenue avec 100 personnes ou 200 personnes. Personnes. Et en même temps, tu es étudiant, donc tu es au cœur du machin, mais tu te rends pas compte de ce qui se passe autour de toi. Tu te rends pas compte de ce que Facebook est en train de devenir. Tu te rends pas compte que c'est la, probablement, une grosse bêtise de pas aller pousser la porte et taper la porte alors que c'était vraiment au bout de l'avenue, quoi. Donc c'est hyper intéressant de leçon, de se rendre compte que même quand tu es au cœur du réacteur, d'une certaine manière, tu peux pas forcément que tu es dans un réacteur. Faut faire attention.

Il y a des portes que tu regrettes vraiment de ne pas avoir poussées?

Je ne regrette pas parce que je suis vraiment trop content du parcours que j'ai fait. Stripe, c'était une expérience incroyable. OpenAI, c'était une expérience incroyable. Monter ma boîte, c'était une expérience incroyable. Remonter ma boîte, c'est une expérience incroyable. Je suis vraiment trop content. Et si j'avais poussé la porte de Facebook en 2009, je ne sais pas ce que... Je ne serais pas marié à ma femme déjà, probablement. Et j'aurais peut-être une trajectoire très différente.

Je serais très très riche, mais quelques dizaines de millions. Et écoute, c'est ce qui s'est passé pour beaucoup de personnes qui sont passées sur ces chemins, en effet, à côté de temps en temps. C'est intéressant. Dernière question, vous bossez en français ou en anglais?

Alors, on écrit en anglais, on parle en français. Donc, on écrit en anglais, je trouve que c'est assez facile de switcher de langage. Au moment où tu passes à l'écriture et ça permet de manière préemptive créer un pool d'informations qui sera exploitable par des futurs employés qui seront pas forcément français. Par contre, on n'a pas pris la décision de parler en anglais.

Il y a les LLM pour ça maintenant, tu sais.

Je m'y connais. On n'a pas pris la décision de parler en français parce qu'on trouve que ça aliène un peu trop la culture de boîte.

Ce que je trouve très dur, moi, c'est de parler en français et d'écrire en anglais. En même temps, mais de temps en temps, ça me... Super. Écoute, donc on te suit, on a dit, un peu sur LinkedIn quand même, ou est-ce Polu sur...

Tu m'envoies un message privé sur Twitter ou un mail.

Ah, t'es MP sur...

Ils sont ouverts et ça sera beaucoup plus efficace.

Voilà, les mails, t'as un site que je mettrai, ton site de geek avec ton GitHub et ton... J'aime beaucoup ce très, très lean et efficace. Voilà. Est-ce que tu aurais un livre à me recommander, Stanislas Polu?

Ouais, alors en y réfléchissant, je pense que celui que je recommanderais, ça serait The Beginning of Infinity de David Deutsch.

OK.

Donc David Deutsch, c'est un physicien et c'est un livre qui essaye de réfléchir à qu'est-ce que— alors, Beginning of Infinity, c'est parce qu'il dit que le pouvoir explicatif de l'humain est infini et qu'on ne tarira jamais d'explications. Donc, ça parle pas mal d'intelligence artificielle aussi. Il rentre aussi dans une interprétation de la mécanique quantique qui est intéressante. C'est un livre assez— qui part un peu dans tous les sens, mais qui couvre, qui essaye de— c'est un physicien qui essaie d'expliquer sa théorie du monde d'une certaine manière. Qu'est-ce qui fait qu'on arrive, que l'intelligence émerge? Qu'est-ce qui fait que l'univers est comme ça? Il est passionnant.

Le monde de l'infini si vous voulez lire en français. Très intéressant. Est-ce que tu, qu'est-ce que tu dirais aux jeunes Stanislas Polu que tu rencontrerais de, je sais pas moi, Ginette, si tu pouvais lui laisser 2-3 mots?

Bah je lui, comme on l'a dit, je pense que, on l'a couvert, je pense que je le renforcerais dans son intuition peut-être de suivre sa passion pour sa carrière professionnelle plutôt que de suivre un effet de mode ou un attrait à une statue ou quoi que ce soit. Et je pense que, alors il est jamais trop tard, donc peut-être que je me le dis à moi-même, mais je pense que je lui dirais aussi de creuser plus la physique. Du coup, je suis à fond dans l'info et je regrette de pas avoir fait des cours de physique quantique, de théorie de la réalité générale, des choses comme ça, à l'X ou à Stanford, qui doivent être excellent. Et je pense que, enfin, moi j'ai l'intuition qu'on risque de rentrer dans une période assez intéressante autour de l'innovation, autour de la physique. On a vraiment eu, comme c'est la mode en ce moment, l'explosion des années 30, la maîtrise de l'atome. Et c'est vrai que depuis un certain temps, il se passe un peu moins, un peu moins d'accélération en physique. Mais on peut voir avec la fusion et tout ça, ces choses dans lesquelles j'aimerais un peu plus impliqué, poussé pour comprendre.

Je t'avoue que je— parce que hier, dans cet épisode que j'ai enregistré avec Bertrand Piccard, j'ai ripé en prononçant fission, fusion, etc. Et puis alors, il m'a repris, alors j'étais un peu vexé. Et il avait raison, en l'occurrence. Et du coup, je me suis un peu refait ce matin au réveil tous les principes de fission, où est-ce qu'on en était, comment, le fait qu'on arrive, enfin, qu'en plus quelques débats sur le fait que certains voisins européens, je sais pas si t'as vu ça aussi, voulaient, disaient bon nous on va pas, on va arrêter la fusion, enfin on va pas se lancer là-dessus parce que c'est trop tard. Certains qui disent non mais en fait avant de produire de l'électricité à scale avec de la fusion, on peut attendre 2100 mais ça n'arrivera pas, enfin. Donc je t'avoue que oui, c'est des débats qui m'équivaut. Alors moi, j'ai pas de regret de pas y être à fond parce que je me suis arrêté à— je sais même plus. Mais ouais, OK, très cool. Écoute, c'était un grand plaisir, Stan, en tout cas. Moi de même, merci beaucoup d'écouter, d'échanger, de se projeter dans tout ça. Je suis vraiment très impatient de pouvoir tester aussi Dust parce que voir un peu comment comment je peux organiser ces choses-là. Je n'ai pas encore touché l'intelligence artificielle en équipe, tu vois. Et pour l'instant, j'ai vraiment trop l'impression que c'est soit j'utilise les données du monde que je m'approprie pour en faire avec des prompts des choses comme ça, soit ce sont les miennes. Enfin, tu vois ce que je veux dire. Mais là, me dire OK, comment on peut réussir à— je t'ai exposé cette problématique tout à l'heure.

Très belle tagline que tu viens de nous inventer pour Dust, l'intelligence artificielle en équipe.

Et ben écoute, voilà, vas-y, c'est notre métier aussi. Si jamais tu cherches une bonne agence, je te ferai une remise. Et merci, non non, c'était vraiment— c'est passionnant. J'aimerais un jour peut-être qu'on aille sur un épisode peut-être là-dessus avec— à plus à plusieurs. Je fais pas trop d'épisodes débat, mais à plusieurs, pour ce qui est intéressant ou important pour moi, c'est de vulgariser, de rester aussi dans des choses compréhensibles, mais aussi pour essayer de voir un peu les— confronter des points de vue sur ce qui pourrait arriver, quand ça pourrait arriver, etc. J'y réfléchirai. En tout cas, merci pour tout ça. Et puis voilà, allez tous voir Dust, contactez Stanislas Polu sur ce site de geek.

Dust.tt.

Dust.tt, tu fais bien de le dire. Et puis sur, je cherche alors, spolu@versel.app, sur lequel on a vraiment des projets. J'aime vraiment bien cette approche, il va falloir que je travaille.

C'est très inspiré de Nat Friedman. Regarde les sites de Nat Friedman, c'est très basique.

Mais tout y est en fait, tu veux trouver, voilà.

Merci, merci beaucoup, à bientôt.

Salut tout le monde, si vous êtes nouveau, n'oubliez pas de vous inscrire, s'abonner, c'est facile sur Spotify, sur Apple, et puis ma newsletter sur gdy.fr/mail. J'essaie de mettre des bonnes ressources toutes les semaines et au plus ou moins les épisodes quand ils sortent. Je vous embrasse, à la semaine prochaine, salut, ciao.