Meta Finally Revealed The Truth About LLAMA 4

L'industrie de l'IA est toujours en proie à des rebondissements, et la sortie de Yamaha 4 a été pour le moins mouvementée. Yamaha 4 est sortie, et apparemment les benchmarks ne sont pas à la hauteur du battage médiatique. Dans cette vidéo, je vais donc aborder les dernières nouvelles qui pourraient révéler certaines des réalités qui se jouent chez Meta. L'une des premières choses qui m'a intéressé, c'est que Yamaha 4 a été publié sans document technique. Bien sûr, vous pourriez penser que ce n'est pas si grave, compte tenu du fait que de nombreuses entreprises choisissent désormais de privatiser leur modèle. Lorsqu'elles réalisent une avancée majeure, elles décident de garder cette innovation privée, car c'est techniquement un avantage concurrentiel. Cependant, dans ce cas précis, cela pourrait indiquer un autre problème, car nous n'avons pas accès aux circuits internes du modèle, si nous ne savons pas exactement comment il a été construit, comment il a été entraîné et quelles techniques ont été utilisées. Certains affirment que c'est une preuve supplémentaire que Meta a quelque peu trafiqué les benchmarks pour les suradapter et obtenir de meilleurs résultats. Bien sûr, je vais entrer dans les détails, mais cette publication est vraiment intrigante, car elle présente deux camps. D'un côté, certains affirment que Meta a complètement falsifié les benchmarks, et de l'autre, d'autres, dont moi-même, affirment que ce modèle est plutôt correct. Je souhaite notamment vous montrer un article devenu viral sur Twitter. J'ai lu ce post sur Reddit provenant d'un autre site web, et il était très intéressant, car c'était à peu près au moment de la sortie de DeepSeek V3. Il y était question de la panique au sein de l'équipe Gen et de Meta, et du fait que tout a commencé avec DeepSeek V3, qui a rendu Yamaha 4 déjà en retard sur les benchmarks et a gravé les choses, et qui était une entreprise chinoise inconnue dotée d'un budget de formation de 5,5 millions de dollars. L'entreprise affirme que les ingénieurs s'activent à décortiquer DeepSeek et à en copier tout ce qu'ils peuvent. Et je n'exagère même pas. Il s'agit d'un site web où les professionnels de la technologie peuvent partager anonymement des informations sur leur métier, leurs expériences et le secteur. On peut y lire que la direction s'inquiète de justifier le coût exorbitant de l'IA de génération, ou de savoir comment elle pourrait gérer le leadership alors que chaque dirigeant de l'IA de génération gagne plus que ce qu'il en coûte pour former 10 PSIC V3, et que nous en avons des dizaines. En résumé, ce qu'ils disent, c'est que si la formation de DeepSeek a coûté 5,5 millions de dollars, pensez au fait que ces dirigeants de l'IA de génération gagnent des millions et des millions de dollars, car le talent est si important en IA que les entreprises sont très compétitives pour retenir leurs employés. et une façon de fidéliser ses employés et de leur offrir une rémunération plus élevée. Et maintenant, il se demande, peut-être que je paye ses employés trop cher. Si je paye quelqu'un plusieurs millions de dollars par an et qu'une entreprise chinoise inconnue peut faire la même chose que toute l'organisation, peut-être devrions-nous changer les choses. Et vous pouvez voir ici qu'il est dit que Deep Seeker 1 a rendu les choses encore plus effrayantes. Je ne peux pas révéler l'information, mais elle sera bientôt publique de toute façon. Il aurait dû s'agir d'une petite organisation axée sur l'ingénierie, mais comme un groupe de personnes a voulu participer à l'effort d'influence et gonfler artificiellement les embauches, tout le monde est perdant. Il semblait logique que beaucoup de gens souhaitent faire partie de l'équipe pionnière, compte tenu de la tension considérable que ceci gênait, non seulement dans les médias, mais aussi dans de nombreux secteurs. Ce message à l'époque a donc été rapidement ignoré par de nombreuses personnes, car nous savons bien sûr que DeepSeek V3 était bon. Bien sûr, vous pouvez publier anonymement. Mais maintenant que la nouvelle est tombée, beaucoup pensent que cette affirmation est encore plus crédible. Car non seulement elle était antérieure, mais elle prédit même que l'Yamaha 4 est toujours en retard sur les références indépendantes. Je vais donc vous montrer quelques preuves de ces légères différences. Ethan Mollick, professeur d'IA, a expliqué les différences entre le modèle LLAMA qui a remporté le concours des grands modèles de langage, qui constitue en quelque sorte le benchmark et la différence entre cette version et celle publiée. Il a comparé les réponses du modèle de langage et celles du modèle publié, et elles sont très éloignées. Il affirme que les données méritent d'être examinées, car elles montrent comment les résultats du modèle de langage LM peuvent être manipulés pour être plus agréables aux humains. En résumé, il explique que nous sommes confrontés à une situation difficile. Un modèle testé par des humains correspondait aux résultats du benchmark publié pour l'Yamaha 4, puis un modèle distinct a été publié, potentiellement moins performant. En y regardant de plus près, on constate que le modèle non-conformiste publié crée une énigme dont la réponse est 3,145. Le routeur ouvert répond de manière très concise par une question assez basique. Pas une question, mais une réponse. On constate ensuite que le Lama de la version expérimentale de Maverick est assez différent de celui présenté ici. Celui-ci semble très complet dans son raisonnement et, bien sûr, dans sa réponse. Je ne sais pas exactement ce que signifie ce lama pour la version expérimentale de Maverick, mais l'un des principaux problèmes rencontrés dans le domaine de l'IA est que les entreprises sont assez mauvaises pour nommer les choses. On a 04, 03 mini, 03 mini I, 03 I, comme 01, 01 mini, GPT-40, GPT-40 mini, et bientôt 04. C'est très, très confus. Et parfois, même avec les nouvelles versions d'IA, on a souvent plusieurs noms différents pour le même modèle. Je ne veux pas dire que ce professeur était confus, mais on voit clairement que le modèle expérimental de Yamaha pour Maverick 03-26, s'ils l'ont utilisé pour l'analyse comparative et la production de résultats, n'est clairement pas le même que celui publié sur des sites web comme OpenRouté. Il y aurait donc clairement une différence. Et je soupçonne que ce modèle pourrait même être le modèle géant, étant donné que Yamaha a mentionné que le modèle géant était encore en cours de développement. Peut-être s'agit-il simplement d'une version distillée ou quelque chose du genre. Mais clairement, si ces différences existent dans la version, ce n'est évidemment pas une bonne idée. J'espère simplement qu'il s'agit d'une petite erreur et que cette version expérimentale de Yamaha pour Maverick est tout simplement complètement différente de celle publiée, dans le sens où ils testent simplement différentes versions pour déterminer lesquelles sont les meilleures. On voit donc ici que quelqu'un affirme que c'est la preuve évidente que personne ne devrait prendre ces classements au sérieux. En gros, LMA a déclaré que, pour garantir une transparence totale, les duels sont publiés pour examen public. Cela inclut les invites, les réponses des modèles et les préférences des utilisateurs. Sur Elea, je suis sûr que vous connaissez son fonctionnement. Quelqu'un pose une question et deux modèles répondent à l'aveugle. Vous ne savez donc pas encore lesquels répondent. Vous ne voyez que les résultats. Une fois les résultats révélés, vous choisissez celui que vous préférez. Imaginez que vous choisissiez celui de gauche et le système vous révèle le modèle que vous avez choisi. Il est intéressant de constater que le Lama de Maverick expérimental n'est apparemment pas meilleur par accident. Il semblerait que cela génère simplement plus de texte et c'est pourquoi l'utilisateur vote pour le Lama 4. C'est donc très intéressant car nous sommes confrontés à une situation où, dans certains cas, les utilisateurs votent pour des modèles incorrects compte tenu des données qu'ils voient. Bien qu'El Marino soit efficace dans certains cas, il n'est probablement pas le meilleur dans certains domaines de benchmark. Comme je l'ai dit dans le titre, Meta a réagi à ces données circulant sur internet. Ils se sont dit ravis de pouvoir proposer l'Yamaha 4 à tous. Nous constatons déjà de nombreux excellents résultats obtenus avec ces modèles. Cela dit, nous recevons également des rapports de qualité variable selon les services. Comme nous avons publié les modèles dès leur mise en service, la mise en place des implémentations publiques ne devrait prendre que quelques jours. Nous continuerons de travailler sur nos correctifs de bugs et nos partenaires d'intégration. Nous avons également entendu des rumeurs selon lesquelles nous nous sommes entraînés sur des jeux de tests, ce qui est tout simplement faux et nous ne le ferions jamais. Nous comprenons que la qualité variable constatée est due à la nécessité de stabiliser les implémentations. Nous pensons que les modèles Yamaha 4 constituent une avancée significative et nous sommes impatients de collaborer avec la communauté pour en exploiter pleinement la valeur. Globalement, c'est une déclaration très intéressante car ils reconnaissent clairement la qualité variable des rapports entre ces différents services et il est vraiment intéressant de constater les différentes réactions. Pour l'anecdote, je vais parler de mon expérience personnelle avec l'Yamaha 4. Et même si ce n'est pas si extraordinaire, j'ai publié une vidéo sur les principaux cas d'utilisation de l'Yamaha 4. Pour être honnête, lorsque j'utilisais le modèle avec un routeur ouvert dans mon Académie E-Grid, où j'enseigne l'IA de manière très efficace, il s'est avéré très performant sur de nombreux problèmes et questions que je me posais, par rapport à d'autres modèles. Comme je l'ai déjà dit, cela dépend vraiment de l'endroit où vous utilisez le modèle et de son efficacité. Bien sûr, il existe des différences selon les applications. Mais je tiens à dire que personnellement, lorsque j'ai utilisé ce modèle sur ma deuxième chaîne, comme je l'ai dit, lorsque je parlais de toutes les façons incroyables de l'utiliser, je l'ai trouvé plutôt efficace. Bien sûr, vous devrez le tester vous-même. Vous pouvez utiliser un outil comme OpenRouter ou Poe.com. Mais je trouve très intéressant que vous sachiez qu'il y a tout ce tapage autour du modèle à cause des benchmarks. Vous pouvez voir ici qu'ils indiquent clairement que nous ne nous entraînerions jamais sur les ensembles de tests, ce qui est vrai et que nous ne le ferions jamais. Mais il y a aussi quelque chose d'assez intéressant que j'ai trouvé dans un autre benchmark. Et je ne discrédite pas Meta ici. Je pense que les modèles sont plutôt corrects. Il y a aussi eu une publication sur Reddit il n'y a pas si longtemps. Vous pouvez voir qu'il y a de sérieux problèmes avec le Lama pour l'entraînement et que certaines personnes ont démissionné. Un article en chinois indiquait que malgré des efforts d'entraînement répétés, les performances des modèles internes restaient inférieures aux benchmarks open source de pointe, accusant un retard important. La direction de l'entreprise a suggéré de combiner des ensembles de tests issus de différents benchmarks lors du processus post-entraînement, afin d'atteindre les objectifs sur différents indicateurs et de produire un résultat présentable. Ne pas atteindre cet objectif avant la date limite de fin avril aurait des conséquences désastreuses. Et bien sûr, suite à la sortie de l'Yamaha 4R, de nombreux utilisateurs sur X et Reddit ont déjà signalé des résultats de tests en conditions réelles extrêmement médiocres. Comme je l'ai déjà dit, je l'utilisais simplement pour automatiser quelques éléments sur les réseaux sociaux et pour certaines entreprises, ce qui est plutôt qualitatif et non quantitatif. C'est peut-être pour cela que mes résultats sont bien meilleurs. Je mentionne simplement le fait que Meta est entraîné sur Instagram, WhatsApp et Facebook. Ces sources de données permettent aux modèles de comprendre les nuances entre les plateformes d'une manière que d'autres modèles ne peuvent tout simplement pas. Et comme je l'ai déjà dit, si vous utilisez ce modèle dans d'autres domaines, comme le codage ou la création d'applications, ce sera très différent, car les personnes qui entraînent les modèles devront vraiment les optimiser pour en tirer les meilleures performances. Bien sûr, cette affirmation était vraie. Le vice-président de la recherche en IA chez Meta a démissionné. Mais il y a aussi cette anecdote. Bien que cette personne soit vice-présidente de FAIR, il s'agit en réalité d'une organisation entièrement distincte de Générative-A qui travaille sur l'IAMA. Le vice-président de Genet est Ahmed. Et bien sûr, je vous ai déjà montré un tweet de lui. Prenons maintenant d'autres benchmarks, car c'est ce que je voulais faire. Artificial Analysis vient de publier ceci et indique avoir reproduit les valeurs annoncées par Meta pour le MMLU Pro et le GPQ à Diamond, ce qui améliore encore nos indices d'intelligence pour Scoot et Maverick. Ils ont essentiellement noté, dans leur premier message publié il y a 48 heures, des divergences entre leurs résultats mesurés et les scores revendiqués par Meta pour les ensembles de données d'évaluation à choix multiples. Après de nouvelles expériences et un examen approfondi, ils ont décidé, conformément à leurs principes publiés contre les modèles injustement pré-paymentisés où le contenu des questions est correct mais les réponses sont formatées différemment, d'autoriser le style de réponse de l'Iama4, selon lequel la meilleure réponse est A, comme réponse légitime pour les évaluations à choix multiples. Cela a entraîné une hausse du score de Scoot et de Maverick, la plus importante pour Scoot dans deux des sept évaluations constituant l'indice d'analyse artificielle. Ainsi, le score de Scout est passé de 36 à 43 et celui de Maverick de 49 à 50. Si vous vous demandez où cela place ces modèles, sachez qu'il se situe juste au-dessus de Gemini 2.0 Flash et de la mise à jour de Mars de GPT-40. Je ne pense donc pas que ce modèle soit si mauvais. Comme je l'ai déjà dit, je pense qu'en ce qui concerne les benchmarks, la façon dont l'Yamaha 4 répond aux questions pourrait être mal interprétée. Et bien sûr, avec les benchmarks, il faut être très précis dans la manière dont on enregistre les réponses. J'ai particulièrement envie d'examiner un benchmark, car je sais que cette entreprise possède un ensemble de données privées. Il s'agit des classements LLM SEAL. Ils ont été développés par ScaleSafety Evaluation and Alignment Lab. Il s'agit de classements de LMS réalisés par des experts, conçus pour fournir des comparaisons de performances précises et fiables. Ils évaluent les LLM de pointe dans plusieurs domaines, notamment le codage, le suivi des instructions, les mathématiques et le multilinguisme. Comme je l'ai déjà dit, ces ensembles de données et les classements CLLM sont différents car ces évaluations sont traitées par des ensembles de données privées qui ne peuvent être ni exploitées ni intégrées aux données d'entraînement du modèle, garantissant ainsi des résultats impartiaux. Donc, ce que nous avons ici, quand on regarde le dernier examen de l'Humanité, je regardais ce benchmark et je me suis dit, ok, ça a l'air plutôt bien. Cependant, en faisant défiler la page et en voyant le score de l'IAMA pour Maverick, j'ai constaté qu'il y avait un avertissement de contamination potentielle. Il est indiqué que ce modèle a été évalué après la publication du dernier examen de l'Humanité, permettant ainsi aux créateurs de modèles d'accéder aux instructions et aux solutions. Donc, bien sûr, il y a quelques réserves. Mais néanmoins, ce site web est celui que j'utiliserai pour comprendre où se situent réellement les modèles. Et curieusement, quand je regarde chaque benchmark, il mentionne le risque d'avertissement de contamination, même pour l'évaluation Enigma, même pour l'évaluation Multidéfi. Donc, globalement, je ne suis pas vraiment sûr. Je veux dire, est-ce fou que cela se soit produit ? Je pense vraiment que DeepSeek a vraiment surpris l'Occident par ses performances. et voir cela de mes propres yeux, c'est assez incroyable pour moi. Comme je l'ai déjà dit, j'ai utilisé l'Yama 4. J'en ai parlé dans une autre vidéo sur une autre chaîne où j'utilise l'IA à des fins éducatives, et je pense toujours que le modèle est plutôt bon. Mais j'espère que, globalement, le modèle sera plus clair, car, bien sûr, l'honnêteté est la meilleure politique. Bien sûr, les incitations de Meta sont alignées pour offrir les meilleurs benchmarks afin d'inciter les gens à utiliser leurs produits et services et d'attirer les meilleurs talents, mais l'avenir nous le dira. Et sachant que ce modèle n'est honnêtement qu'un modèle open source non-raisonné, je ne pense pas que les résultats soient si étonnants. Je pense que nous nous sommes presque habitués aux évolutions rapides de l'IA. Et lorsqu'il n'y a pas de changement radical dans les performances des modèles, nous sommes souvent assez confus. Dites-moi dans les commentaires ci-dessous ce que vous pensez de l'YAMAHA 4 et des autres modèles, car j'aimerais connaître votre.