Diffusion LLMs Are Here! Is This the End of Transformers?

Das ist also ziemlich aufregend. Wir haben eine völlig neue Architektur für große Sprachmodelle, die auf Diffusion basiert und nicht auf der autoregressiven Architektur, die alle anderen verwenden. Sogar der großartige Andre Kirk Party hat darüber getwittert. Mehr dazu später im Video. Wie erwartet ist es extrem schnell und mir gefällt der Token Generierungsprozess sehr gut. Das stammt von einer Firma namens Inception Labs, die gerade Mercury veröffentlicht haben, die sie als das erste kommerzielle Diffusionsmodell für große Sprachmodelle bezeichnen. Da es auf Diffusion basiert, soll es zehnmal schneller sein als die für Frontier Speed optimierten LLMs und kann bis zu Token pro Sekunde auf vorhandener Nvidia Hardware generieren. Es ist extrem schnell und die Leistung ist mit kleineren Frontier Modellen wie der Gemini Flashlight und dem GPD Mini sehr ähnlich. Was genau ist also ein Diffusions Sprachmodell? Dazu werden wir uns den Beitrag von Andrej Karpati ansehen. Er sagt, dass die meisten LLMs, die wir bisher gesehen haben, Klone sind, soweit es den Kernmodellierungsansatz betrifft. Die meisten davon basieren auf Transformern oder Variationen davon. Sie alle werden autoregressiv trainiert, d. H. Sie sagen Token von links nach rechts voraus. Alle transformatorbasierten Modelle sind also Token Prädiktoren oder Generatoren. Sie betrachten die Verteilung der Daten und entscheiden auf dieser Grundlage, welches Token als nächstes auftaucht. Die Diffusion ist anders, Sie geht nicht von links nach rechts, sondern auf einmal. Man beginnt mit Rauschen und verrauscht es allmählich in einen Token Strom. Die Diffusion arbeitet parallel, man entwickelt eine Lösung und arbeitet diese dann in parallelen Generationen weiter. Im Prinzip ist dies den Bild und Videogenerierungsmodellen, die wir heute sehen, sehr ähnlich. Sogar Modelle wie SORA oder V basieren auf Diffusion. Andre sagt, dass sich nur Text und manchmal Audio dem Diffusionsteil widersetzt haben. Daher war es für mich und viele andere ein Rätsel, warum aus irgendeinem Grund bevorzugt Text die Autoregression, Bilder, Videos jedoch die Diffusion. Aber die Leute bei Inception Labs konnten es für ein Sprachmodell zum Laufen bringen, was was ziemlich interessant ist. Und dieser Ansatz könnte zu verschiedenen Arten von Sprachmodellen führen, die sich nicht nur hinsichtlich der Art und Weise unterscheiden, wie sie die Token generieren, sondern auch eine einzigartige Psychologie und ihre eigenen Stärken und Schwächen haben könnten, wie von kbate aufgezeigt. Ich zeige euch einige Beispiele der Codes, die ich mit diesen neuen Modellen generieren konnte. Aber vorher schauen wir uns an, wie sie im Vergleich zu anderen Modellen derselben Kategorie abschneiden. Die Geschwindigkeit ist extrem schnell, nichts kommt dem auch nur annähernd nahe. Aber selbst die Leistung bei verschiedenen Benchmarks ist einigen der Frontier Modelle sehr ähnlich. Sie vergleichen also zwei eine ist der Mercury Koda Mini und die andere der Mercury Coder Small und sie vergleichen ihn mit der Taschenlampe Gemini, Haiku 3.5 und GPT-4 oder Mini, außerdem mit einigen offenen Modellen, darunter der Gwen Coder und der Deep Sea. Insgesamt sind diese, wenn man sich die Ergebnisse ansieht, sehr gut mit den anderen Modellen in dieser Tabelle vergleichbar. Derzeit werden nur zwei Codierungsmodelle veröffentlicht. Da es sich jedoch um diffusionsbasierte Modelle handelt, wird es definitiv multimodale Versionen geben, die die Textgenerierung zusammen mit der Video und Bildgenerierung ermöglichen. Sie könnten auch Argumentationsfähigkeiten unterstützen. Es wird also der Gedankenkette sehr ähnlich sein. Aber anstatt jeweils ein Token zu generieren, werden Lösungen parallel generiert. Außerdem wird davon ausgegangen, dass es auch in agentenbasierten Workflows funktionieren könnte. OK, Sie können das Modell auf Chat InceptionLabs AI testen. Der Link befindet sich in der Videobeschreibung. Dies ist die Zielseite von Mercury Coder. Ich gehe davon aus, dass dies das größere Modell ist. Probieren Sie unser erstes kommerzielles Diffusions LLM aus. Um die besten Effekte Effekte zu erzielen, müssen Sie den Diffusionseffekt aktivieren. Sie müssen sich anmelden, um dieses Modell kostenlos nutzen zu können. Ich denke, dies sind einige der Eingabeaufforderungen, die die Leute ausprobieren. Wir versuchen es also mit dem ersten Schreiben einen Simulator für fünf hüpfende Bälle. Mal sehen. Das ist der Token Generierungsprozess, der parallel abläuft. Und hier sind fünf verschiedene Bälle, die herumhüpfen. Ziemlich cool. OK, aber lass uns selbst einen kurzen Test durchführen, um zu sehen, wie gut das Modell ist. Dazu öffne ich einen neuen Chat. Hier ist meine Eingabeaufforderung. Ich wollte eine einzelne Webseite erstellen. Der Code soll in HTML sein. Es soll eine Schaltfläche mit der Aufschrift Click mich geben. Aus einer Liste von Witzen soll zufällig ein Witz ausgewählt und die Hintergrundfarbe geändert sowie eine Animation hinzugefügt werden, wenn auf die Schaltfläche geklickt wird. Das scheint eine relativ einfache Aufgabe zu sein, aber die erste Generation von Open Weight Modellen einschließlich. Mistel war dazu nicht in der Lage. Lass es uns jetzt ausführen und sehen, was passiert. OK, das sehe ich zum ersten Mal. Wir haben eine hohe Auslastung und jetzt hat es begonnen, den Code zu generieren. OK, das erste, was mir auffällt, sind die gleichen Witze. Ich hatte gehofft, dass es sich etwas Neues einfallen lässt. Es hat den Code generiert und wenn man es auffordert, etwas in einer HTML Datei zu generieren, zeigt es einem tatsächlich auch eine Vorschau an, was ziemlich cool ist. Wenn man jetzt hier drauf klickt, ändert sich die Hintergrundfarbe. Es wird auch eine Animation angezeigt, aber ich sehe keine Witze auf dem Bildschirm, was interessant ist. Aber hier sehen wir die Witze. Ich werde es also fragen oder ihm mitteilen, dass ich keine Witze sehe. Okay, ich habe also gesagt, dass ich keine Witze sehe und schauen wir mal, was es tut. Man sieht also, dass man die Vorschau sieht, obwohl es den Code generiert, was ziemlich interessant ist. OK, wenn es das Problem mit dem Verstopfen behebt, sind es jetzt nur noch zwei Farben und deshalb sieht man, dass es beim Klicken eine davon auswählt. OK, tatsächlich können Sie im Code sehen, dass dies die beiden Farben sind. Ich denke also, dass es davon ausgeht, dass es fünf verschiedene Farben verwendet, aber die zweite Farbe wiederholt sich viermal. Insgesamt würde ich also sagen, dass es nicht schlecht ist, da dies nur die erste Iteration des Modells. Ist. Okay, hier ist eine weitere Eingabeaufforderung, die ich gerne verwende, wenn ich ein Codierungsmodell teste. Verwenden Sie JavaScript, um eine Animation von fallenden Buchstaben mit realistischer Physik zu erstellen. Die Buchstaben sollten zufällig oben auf dem Bildschirm erscheinen, dann sollten sie unter der Schwerkraft der Erde fallen. Sie sollten eine Kollisionserkennung basierend auf ihrer tatsächlichen Buchstabenform und Größe haben und auch mit anderen Buchstaben, dem Boden und den Bildschirmbegrenzungen interagieren. Sie sollten Dichte Eigenschaften ähnlich wie Wasser haben. Sie sollten sich dynamisch an Änderungen der Bildschirmgröße anpassen und auf einem dunklen Hintergrund anzeigen. OK, schicken wir das ab. Mir gefällt die Art und Weise, wie der Code generiert wird, sehr gut. Das ist ziemlich cool und Sie können sehen, dass er im Grunde genommen die Lösungen durchläuft, während er den Code generiert. OK, hier ist die Ausgabe. Die Kollision scheint gut zu funktionieren. Es generiert zufällige Buchstaben oben. Mal sehen, ob es sich an den Bildschirm anpassen kann. Das scheint auch zu funktionieren. Ja, das ist ziemlich cool. Ich hatte nicht erwartet, dass es so gut ist, aber es scheint die meisten unserer Anforderungen zu erfüllen. Derzeit scheint es eine Ratenbegrenzung zu geben. Sie können also nur 10 Anfragen pro Stunde senden, was nicht so toll ist. Aber für ein neues Unternehmen, das wahrscheinlich nicht über genügend Ressourcen verfügt, könnte dies das sein, was Sie derzeit mit Ihrer Kapazität unterstützen können. Ich persönlich bin wirklich gespannt auf eine völlig neue Architektur. Das wird die Innovation in diesem speziellen Bereich wirklich vorantreiben. Es gibt jetzt auch andere Unternehmen, die andere Architekturen ausprobieren. Liquidye hat beispielsweise eine eigene Modellfamilie, die sie LFM oder Liquid Foundation Modelle nennen. Es handelt sich um eine etwas andere Architektur als die auf Transformer basierende Architektur. Die Praxistests dieser Modelle waren jedoch nicht so beeindruckend. Dasselbe gilt für das Vorab Modell von Inception Labs. Ich habe diese Modelle noch nicht wirklich gründlich getestet, daher empfehle ich dringend, sie sich anzusehen, vor allem wenn Sie an wirklich schnellen Inferenzgeschwindigkeiten interessiert sind. Sie werden den API Zugriff in Kürze freigeben. Lassen Sie mich im Kommentarbereich unten wissen, wie Ihre Erfahrungen mit diesem Modell sind. Ich hoffe jedenfalls, Sie fanden dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.