BREAKING: OpenAI Launches FREE Open Offline Model!

Nous avons reçu des nouvelles assez importantes d'OpenAI aujourd'hui. Ils viennent de publier leur modèle OpenWait qu'ils promettaient depuis quelques mois maintenant et je pense qu'il est bien meilleur que ce que la plupart des gens attendaient, en particulier pour un modèle OpenWait. Ce tout nouveau modèle s'appelle GPT OSS et il existe en deux versions, deux tailles, n'est-ce pas ? Vous avez GPT OSS 120 milliards de paramètres et GPT OSS 20 milliards, qui comportent beaucoup moins de paramètres, mais devraient être beaucoup plus rapides et pouvoir fonctionner sur davantage de machines. Ils les ont également publiés sous la licence Apache 2.0, ce qui signifie que les utilisateurs peuvent télécharger ces modèles, les peaufiner comme ils le souhaitent et les itérer à peu près. Et je pense que ce sera le nouveau roi Openweight. Je ne pense pas qu'aucun des modèles Lama, Mist ou tout autre modèle Openweight soit aussi puissant que celui qui vient de sortir. Maintenant, si vous vous demandez pourquoi vous vous intéresseriez à l'un de ces modèles de poids OpenW, sachez que les modèles OpenW Wait peuvent être téléchargés sur votre ordinateur et exécutés complètement hors ligne. Vous n'avez pas besoin d'un accès Internet pour les exécuter. Vous avez besoin d'un GPU assez correct pour les exécuter, mais vous n'avez pas besoin d'un accès Internet. Vous pouvez donc discuter avec l'IA de votre choix à 30 000 pieds dans les airs dans un avion ou si Internet est coupé chez vous, mais vous devez quand même avoir des conversations avec un beau de type GPT. Vous pouvez le faire avec ces modèles de PoI OpenW. De plus, aucune des données n'est envoyée dans le cloud. Ainsi, quelles que soient les conversations que vous avez avec l'un de ces modèles, elles ne sont pas envoyées à Google, OpenAI, Microsoft ou qui que ce soit. Tout reste localement sur votre ordinateur. Personne ne peut voir les conversations que vous avez avec ces modèles. Son utilisation est également entièrement gratuite. Une fois que vous l'avez téléchargé sur votre ordinateur, vous pouvez l'utiliser. Vous n'avez donc pas besoin de payer de fraiches à GPT, Cloud ou Google pour utiliser ces modèles. Ils vous appartiennent. Ils sont désormais sur votre ordinateur et s'exécutent localement. Jetons un coup d'œil à certains détails de ce modèle, puis nous essaierons de l'exécuter et de voir ce qu'il peut faire. Encore une fois, deux modèles, 120 milliards de paramètres, 20 milliards de paramètres. Il utilise un modèle mixte d'experts, ce qui signifie qu'il ne pingue pas tous les paramètres en même temps. Il pingue juste un segment de 5,1 milliards de paramètres ou 3,6 milliards de paramètres, ce qui, en théorie, accélère l'inférence lors de l'utilisation de ces modèles. Il a également une longueur de contexte de 128 000 jetons, ce qui signifie qu'entre l'entrée et la sortie combinées, vous allez pouvoir utiliser environ 96 000 mots. Si nous jetons un œil aux benchmarks ici dans le benchmark de code de compétition CodeForce, nous pouvons voir que le modèle à 120 milliards de paramètres a obtenu un score de 2622. Si nous examinons 0.3 et 0.4 mini, les meilleurs modèles de pointe dont dispose actuellement ChezGPT, ils sont assez proches. Ils ont juste obtenu des résultats légèrement inférieurs à ceux-là, mais je veux dire très légèrement. Et ils surpassent en fait 0.3 mini de loin. Lors du dernier examen de l'humanité, ces modèles Openweight ont obtenu des résultats à peu près équivalents à ceux de 0.4 mini. Sur Elsebench, ils obtiennent en fait des résultats proches de ceux de 0.3 et meilleurs que ceux de 0.4 et 0.3 mini. En mathématiques de compétition, ils surpassent en fait 0.3 et 0.3 mini et sont de justesse battus par 0.4 mini. Ces modèles sont donc très bons en mathématiques et en code. Dans le GPQA, qui est une preuve Google, c'est-à-dire des choses pour lesquelles vous ne pouvez pas vraiment trouver la réponse sur Google. Le modèle a 120 milliards de paramètres à surpasser 0.3 et est assez proche de 0.3 et 0.4 mini. Et encore une fois, le modèle OpenWeight, gratuit à utiliser, peut être téléchargé sur votre ordinateur, et il est assez proche des modèles fermés de pointe actuelle d'OpenAI. C'est assez époustouflant, honnêtement. Ce sont également des modèles de chaîne de pensée. Ainsi, lorsque vous lui donnez votre invite, vous pouvez réellement le voir réfléchir à l'invite et vous pouvez ensuite lui donner la quantité de réflexion que vous souhaitez. Vous pouvez donc le faire réfléchir à court, moyen ou long terme afin qu'il puisse mieux comprendre la logique de la réponse. Et ils sont disponibles dès maintenant. Vous pouvez les télécharger sur Hugging Face et vous pouvez les exécuter dans des outils comme Olama, LM Studio, TogetherA et tous ces différents services ici. J'ai tendance à utiliser LM Studio et c'est ce que nous utiliserons dans une minute lorsque nous testerons cela. Mais je veux juste vous montrer quelques autres choses. Sam Alman a tweeté dès que cela a été mis en ligne, GPT OSS est sorti. Nous avons créé un modèle ouvert qui fonctionne au niveau de 0.4 mini et qui fonctionne sur un ordinateur portable haut de gamme. C'est un peu exagéré. Je veux dire, si vous utilisez le modèle à 120 milliards de paramètres ici, il est indiqué qu'il nécessite un GPU de 80 Go, ce qui n'est pas le cas de beaucoup de GPU grand public. Si vous avez un MacStudio haut de gamme, vous pouvez l'exécuter sur un MacStudio haut de gamme. En fait, j'ai un MacStudio avec 256 Go de RAM. Je devrais donc pouvoir exécuter ce modèle. Nous le saurons dans une minute. Mais le modèle plus petit à 20 milliards de paramètres peut fonctionner avec seulement 16 Go de mémoire, ce que vous pouvez obtenir sur la plupart des GPU grand public moderne. Maintenant, je suis allée rapidement sur Perplexity et j'ai demandé quels GPU ont 16 Go de VRAM ou plus. Et nous pouvons voir qu'il y a quelques modèles Rem des Radeon, RTX 5060, 5070, 5080, bien sûr la 5090, les 4080, 4090, 3090, 3090 Ti. Pas mal de GPU peuvent exécuter le modèle qui nécessite 16 Go. Et voici quelques réflexions plus détaillées de Sam sur ce nouveau modèle. GPT OSS est un gros problème. C'est un modèle de raisonnement open-weight de pointe avec de solides performances dans le monde réel comparable à 0.4 mini que vous pouvez exécuter localement sur votre propre ordinateur ou téléphone avec la taille plus petite. Nous pensons que c'est le meilleur modèle ouvert et le plus utilisable au monde. Il dit qu'il veut le mettre entre les mains du plus grand nombre de personnes possible et que nous pensons qu'il en sortira bien plus de bien que de mal. Le modèle à 120 milliards de paramètres fonctionne à peu près aussi bien que 0.3% sur les problèmes de santé difficiles et ils ont travaillé pour atténuer les problèmes de sécurité les plus graves, en particulier en matière de biosécurité. Bien que nous pensions que la plupart des gens voudront utiliser un service pratique comme le chat GPT, les gens devraient pouvoir contrôler et modifier directement leur propre IA quand ils en ont besoin, et les avantages en termes de confidentialité sont évidents. car vous pouvez le faire complètement hors ligne. Nous nous attendons à une augmentation significative du taux d'innovation dans notre domaine et à ce que beaucoup plus de personnes puissent effectuer un travail important qu'auparavant. Il semble également que ce soit le modèle qui sera utilisé à l'avenir sur les PC Windows. Dans le cadre de la version d'aujourd'hui, Microsoft propose également des versions optimisées pour le GPU du modèle GPT OSS20B sur les appareils Windows. Si cela fonctionne bien en termes de code, cela pourrait honnêtement remplacer Cloud pour beaucoup de gens, car il s'agit d'un modèle ouvert, Ce qui signifie que vous ne payez pas de frais d'API à chaque fois que vous avez besoin d'utiliser du code. Eh bien, le code Cloud ne cesse de faire grimper ses prix. Si vous pouviez faire tout cela localement sur votre propre ordinateur, vous n'auriez pas à vous soucier du coût de l'API. Vous vous soucieriez simplement de la consommation d'énergie de votre propre ordinateur. Alors, installons-le sur notre ordinateur. Si vous vous intéressez à la création de marques, Cela va changer votre flux de travail. Recraft est un outil de génération d'images par IA conçue pour les designers. Vous pouvez créer des illustrations, des logos, des maquettes et des icônes cohérents et de haute qualité sans renoncer au contrôle créatif. Imaginons que vous ayez besoin d'illustrations vectorielles. Recraft est la seule IA qui génère de véritables SVG. J'ai choisi un style, j'ai tapé mon invite. J'ai créé une bannière pour la page principale de ma chaîne YouTube MatWolf sur l'IA et la technologie, et j'ai obtenu un design évolutif instantanément. Certains d'entre vous savent peut-être que j'ai un site web appelé futuretools.io où j'évalue et note les outils d'IA. Il est géré par une équipe assez décousue, nous n'avons donc pas beaucoup de branding à part ce logo. Voyons si Recraft peut vous aider. Je vais télécharger le logo comme image de référence. et Rockraft génère instantanément des ressources cohérentes et conformes à la marque que je peux utiliser sur l'ensemble du site web et partout où j'ai besoin de branding, comme des diapositives ou sur YouTube. Cette fonctionnalité à elle seule m'a fait gagner des heures de travail. Rockraft est déjà utilisé par des équipes chez Netflix, Oglev, Upspot, vous savez donc que vous pouvez faire confiance aux résultats. Consultez le lien dans la description ou vous pouvez commencer à créer avec Rockraft gratuitement dès aujourd'hui. Merci beaucoup à Rockraft de sponsoriser cette vidéo. Revenons maintenant à la vidéo. Alors, Installons-le sur notre ordinateur. Pour ce faire, je vais utiliser LM Studio. Je vais aller sur lmstudio.ai. Téléchargez-le pour Mac. Évidemment, téléchargez-le pour le système d'exploitation que vous utilisez. Nous allons lancer le programme d'installation. Déposez-le ici et nous ouvrirons LM Studio local et sur votre ordinateur. Commençons. Je veux tout voir, je vais donc sélectionner un développeur, mais vous choisissez ce que vous voulez. Et nous pouvons voir que dès que nous ouvrons LM Studio, il suggère GPT OSS 20 B. Et c'est le modèle que la plupart des gens voudront télécharger et utiliser, le modèle à 120 milliards de paramètres. Encore une fois, il vous faut un ordinateur assez puissant pour l'utiliser. Alors, téléchargeons GPT OSS 20 B. Gardez à l'esprit qu'il fait plus de 12 Go. Assurez-vous donc d'avoir suffisamment d'espace. Pendant le téléchargement, Je vais continuer dans LM Studio ici, puis, en bas à droite, je vais cliquer sur mes paramètres, puis je vais cliquer sur Recherche de modèle, car je veux également tester 120 B sur mon ordinateur. J'ai un MacStudio très haut de gamme que je n'ai jamais vraiment poussé à ses limites. Je vais donc prendre ce modèle ici également. Il fait 64 Go, donc ça va prendre un certain temps, mais autant lancer le téléchargement. Très bien, notre modèle à 20 milliards de paramètres est téléchargé, nous pouvons donc l'utiliser maintenant. Et puis, en haut, nous avons sélectionné le modèle à charger. Nous allons continuer et sélectionner GPT OSS 20 B. Et maintenant, nous avons essentiellement un modèle qui est aussi bon que le chat GPT hors ligne. Juste pour faire bonne mesure, demandons-nous combien de R il y a dans le mot fraise. Il a réfléchi pendant moins d'une seconde. Le mot fraise contient trois occurrences de la lettre verbe bien jouée. Et nous pouvons également voir le processus de réflexion. Comptez les lettres verbes en fraise. Et puis R apparaît trois fois. Assez rapide ? Aussi. 74 jetons par seconde. Nous pouvons également voir en bas ici que nous pouvons joindre des images ou des PDF ou des choses comme ça. Nous pouvons activer des intégrations supplémentaires comme le bac à sable du code JS et RACV1. Nous pouvons également installer davantage d'intégrations directement via les serveurs MCP. Et nous pouvons modifier l'effort de raisonnement entre faible, moyen et élevé. Ici, en haut à droite, nous avons notre petite icône de clé à molette. Si je clique dessus, nous avons plus de paramètres. Je pourrais lui donner une invite système, jouer avec l'effort de raisonnement ici, changer la température du modèle, changer les paramètres d'échantillonnage, donner des informations sur la sortie structurée et le décodage spéculatif sur mon jeu. Je peux cliquer sur Programme ici et activer des intégrations supplémentaires. Testons une invite de codage. Je vais cliquer sur Nouveau chat et lui demander de créer un jeu de style Vampire Survivors en JavaScript. Je vais dire créer un clone de Vampire Survivors en utilisant Javascript afin de pouvoir le tester dans le navigateur. Sous effort de raisonnement, je vais le mettre sur élevé. Et comme il s'agit de Javascript, activons le bac à sable du code JS. Je suppose que cela aidera avec Javascript. Et une dernière étape avant de soumettre ceci. Je dois cliquer sur les paramètres à côté du modèle ici et m'assurer que nous définissons notre longueur de contexte sur l'extrémité supérieure. Il ne devrait pas avoir besoin d'utiliser autant de jetons car il écrit du code. Mais nous voulons le monter pour nous assurer qu'il peut réellement continuer à écrire le code. Je n'ai probablement pas besoin de le définir jusqu'à 131 000 jetons. Je peux probablement le définir à 20 000 jetons. Je rechargerai ensuite pour appliquer les modifications. Je soumettrai mon invite et il commencera à réfléchir. C'était vraiment rapide. Il m'a fallu environ 45 secondes pour générer tout cela. Mais cela a généré une tonne de code. Nous avons deux fichiers avec lesquels nous pouvons jouer, index.html et main.js. Donc, juste pour les besoins de cette démonstration, créons un nouveau dossier ici. Je vais l'appeler temp pour l'instant. Dans notre dossier temp, je vais créer notre fichier index.html. Nous allons donc copier le texte ici pour notre index.html. Créez un nouveau document dans notre dossier temp ici. Collez notre texte dedans et nous l'enregistrerons sous notre index HTML. Nous allons créer un nouveau document ici. Copiez notre main. JS. Collez-le ici. Et nous allons enregistrer cela sous main. JS. Maintenant, théoriquement, nous devrions pouvoir ouvrir notre fichier index. HTML ici et avoir notre jeu Vampire Survivors. Maintenant, il ne tire pas, mais il y a des ennemis qui arrivent vers moi, et je m'enfuis, et d'autres ennemis arrivent à l'écran. Et vous pouvez voir que j'ai survécu pendant... Vous savez, 45 secondes. Cela a simplement créé un jeu simple où j'esquive les personnages. Donc, oui, cela n'a pas vraiment créé un jeu de vampire survivant, mais bon, il l'a fait très rapidement. Il l'a fait avec un modèle Warling open source, et j'ai hâte de voir ce que le modèle plus grand fera une fois qu'il aura enfin terminé le téléchargement. Très bien. Il a enfin terminé le téléchargement du modèle à 120 milliards de paramètres. Cela a pris un certain temps. Encore une fois, c'est le modèle qui nécessite environ 80 Go de RAM. Comme vous pouvez le voir, j'ai 256 Go de RAM et 208 Go de VRAM potentiel. Donc, théoriquement, je devrais pouvoir l'exécuter. Je ne sais pas à quelle vitesse ça va aller, mais essayons. En haut, je vais passer ce modèle à notre modèle 120 B. Je vais créer une nouvelle discussion ici. Cliquons sur nos paramètres. Assurez-vous d'augmenter à nouveau la longueur de notre contexte, juste pour qu'il ne s'épuise pas. Pour notre invite, encore une fois, je vais créer un clone de vampire survivant en utilisant Javascript afin de pouvoir le tester dans le navigateur. Pour l'effort de raisonnement, je vais le mettre en mode élevé. Nous allons laisser le bac à sable du code JS activé. Et en fait, ça a plutôt bien fonctionné. Il a généré environ 35 jetons par seconde. Et il a généré ce code ici pour moi. Et ça m'a vraiment simplifié la vie. Il a tout mis dans un seul fichier. Donc, je n'ai pas de fichier html et javascript distinct. Je vais donc copier tout ce texte ici. Créer un nouveau fichier texte. Coller le tout dedans. Nous allons enregistrer celui-ci sous vampire.html. Et quand je l'ouvre, j'obtiens ceci. Je veux dire, ils tirent très, très vite, mais c'est un clone beaucoup plus proche des survivants vampires que le modèle 20B n'a réussi à faire, n'est-ce pas ? J'ai les méchants qui arrivent vers moi, et ils tirent automatiquement avec des armes. Je veux dire, les armes sont un peu trop agressives. Ça rend les choses un peu trop faciles. Personne ne peut même s'approcher de moi. Mais, je veux dire, un tir d'un modèle open source, vous savez, quelques invites supplémentaires et nous avons un code de survivants vampires solide. Honnêtement, je n'arrive toujours pas à croire qu'il soit capable de faire ça avec une seule invite. Open source, complètement hors ligne. C'est à peu près aussi bien que les meilleurs modèles de pointe qui existent actuellement, sauf qu'il est open source et peut être exécuté complètement hors ligne. Vous n'envoyez aucune donnée au serveur de quelqu'un d'autre, et c'est vraiment, vraiment bien. Je suis vraiment impressionnée par ce que nous pouvons faire avec ce modèle open source et je suis encore plus impatient de voir ce qui se passera lorsque les gens l'auront en main, qu'ils l'utiliseront et l'affineront. Il ne fera que s'améliorer, être moins censuré et avoir de plus en plus de fonctionnalités à mesure que les gens commenceront à s'en servir. C'est vraiment excitant de voir que nous pouvons obtenir l'équivalent de certains des meilleurs modèles de chat GPT gratuitement et hors ligne dès maintenant. Et si cela ne vous suffisait pas, eh bien, il semble que nous pourrions en avoir plus cette semaine. Sam Alman est allé chez X aujourd'hui et a dit, nous avons beaucoup de nouveautés pour vous dans les prochains jours. Quelque chose de grand mais de petit aujourd'hui. en référence au GPT-OSS dont nous venons de parler, puis à une mise à niveau majeure plus tard cette semaine. SGPT-5 ? Je ne sais pas. Cela pourrait devenir une semaine vraiment, vraiment passionnante. C'est déjà assez cool. Je suis là pour ça. Et quoi qu'il arrive cette semaine, je couvrirai tout cela dans le décryptage de l'actualité de l'IA de samedi. Chaque samedi, je présente une vidéo complète démontrant les nouvelles fonctionnalités IA de la semaine et les dernières actualités du secteur. Donc, si vous voulez plus de vidéos comme celle-ci où je vous montre comment utiliser les outils, mais aussi vous tenir au courant de toutes les dernières actualités en matière d'IA, assurez-vous d'aimer cette vidéo, abonnez-vous à cette chaîne, et je ferai en sorte que plus de choses comme celle-ci apparaissent dans votre fil YouTube. Merci beaucoup d'avoir passé du temps avec moi et de vous être amusé avec moi aujourd'hui. Merci à Recraft d'avoir sponsorisé cette vidéo. Oui, allez jouer avec ce nouveau modèle OSS. Il est totalement gratuit. Très bien, C'est tout pour vous. J'espère vous retrouver dans la prochaine.