Metas AI Boss Says He DONE With LLMS...

Aber ich verrate euch etwas, das einige von euch vielleicht überraschen wird. Ich interessiere mich nicht mehr so sehr für LM.

Das war eine der Aussagen, die Yanlu Khan auf der Nvidia GTC 2025 gemacht hat. Und ich denke, dieser Clip hat die Zahlen auf Twitter durchgesetzt. Denn ehrlich gesagt wissen wir, dass im Moment im Bereich der KI LLMs definitiv den größten Hype erhalten, wenn es um KI geht. Wenn ihr Jan Laka nicht kennt, dann wisst ihr, dass er tatsächlich einer der Paten der KI Forschung ist und schon seit geraumer Zeit in diesem Bereich tätig ist. Solche Aussagen sind nicht das erste Mal, dass jemand so etwas sagt. Sie basieren auf jahrelangem Wissen und Expertise in diesem Bereich. Wenn also jemand mit so viel Fachwissen so etwas sagt, fragen sich viele Leute, ob er wirklich recht hat. Hört euch das weitere Gespräch an, indem er über die vier Hauptschwerpunkte spricht. Jan Im letzten Jahr hat sich im Bereich KI viel Interessantes getan. Was war deiner Meinung nach die spannendste Entwicklung im letzten Jahr?

Es gibt zu viele, um sie alle aufzuzählen. Aber ich verrate dir etwas, das einige von euch vielleicht überraschen wird. Ich interessiere mich nicht mehr so sehr für LLMs. Sie sind so ziemlich das Letzte, was in den Händen von Produktentwicklern aus der Industrie ist, um sich ein wenig zu verbessern. Man versucht, mehr Daten und mehr Rechenleistung zu erhalten und synthetische Daten zu generieren. Ich denke, es gibt in vier Bereichen interessantere Wie bringt man Maschinen dazu, die physische Welt zu verstehen? Darüber hat Jensen heute Morgen in seiner Keynote gesprochen. Wie bringt man sie dazu, einen persistenten Speicher zu haben, worüber nicht allzu viele sprechen? Und die letzten beiden Fragen Wie bringt man sie dazu, zu denken und zu planen? Und es gibt natürlich einige Bemühungen, LLMs zum Denken zu bringen, aber meiner Meinung nach ist das eine sehr vereinfachte Sichtweise auf das Denken. Ich denke, es gibt wahrscheinlich bessere Möglichkeiten, dies zu tun. Ich bin also gespannt auf Dinge, für die sich viele Leute in dieser Community, in der Tech Community in fünf Jahren vielleicht begeistern würden, Aber im Moment sehen sie nicht so aufregend aus bei weil sie nur obskure wissenschaftliche Arbeiten sind.

An dieser Stelle spricht Yanlu Khan tatsächlich über Weltmodelle und die Tatsache, dass Text als einziges Weltmodell nicht ausreicht, um im Grunde ein Weltmodell zu haben, das es einem ermöglicht, zu AGI zu gelangen. Er sagt, dass die Vorhersage des nächsten Tokens im Grunde etwas ist, das für Text gut funktioniert, aber nicht wirklich gut, wenn es darum geht, Dinge in der realen, physischen Welt zu tun, die Menschen tun. Aber wenn es sich nicht um ein LL. M. Handelt, das über die physische Welt denkt und über ein persistentes Gedächtnis und Planung verfügt, was ist es dann? Wie wird das zugrundeliegende Modell aussehen?

Viele Leute arbeiten an Weltmodellen, richtig. Was ist also ein Weltmodell? Ein Weltmodell ist etwas, das wir alle in unserem Kopf haben. Das ermöglicht es uns im Wesentlichen Gedanken zu manipulieren. Wir haben also ein Modell der gegenwärtigen Welt. Wenn ich von oben auf diese Flasche hier drücke, wird sie wahrscheinlich umkippen, aber wenn ich unten draufdrücke, wird sie rutschen, und wenn ich zu fest draufdrücke, könnte sie platzen. Wir haben also Modelle der physischen Welt, die wir in den ersten Lebensmonaten erwerben, und das ermöglicht es uns, mit der realen Welt umzugehen. Es ist viel schwieriger, mit der realen Welt umzugehen als mit Sprache. Daher ist die Art von Architektur, die wir meiner Meinung nach für Systeme benötigen, die wirklich mit der realen Welt umgehen können, eine völlig andere als die, mit denen wir es im Moment zu tun haben. Vorhersage Token.

Richtig. Aber Token können alles Mögliche sein. Ich meine, unser autonomes Fahrzeugmodell verwendet Token vom Sensor und erzeugt Token, die fahren, und in gewissem Sinne denkt es über die physische Welt nach, zumindest darüber, wo es sicher ist zu fahren, und man nicht gegen Masten fährt. Warum sind Token nicht die richtige Art, die physische Welt darzustellen?

Token sind diskret. Okay. Wenn wir also im Allgemeinen über Token sprechen, sprechen wir über eine endliche Menge an Möglichkeiten. In einem typischen LLM liegt die Anzahl der möglichen Token in der Größenordnung von oder so. Richtig. Wenn Sie also ein System trainieren, um Token vorherzusagen, können Sie es nie darauf trainieren, das genaue Token vorherzusagen, das beispielsweise einer Sequenz in einem Text folgen wird. Aber Sie können eine Wahrscheinlichkeitsverteilung aller möglichen Token in Ihrem Wörterbuch erstellen. Wissen Sie, es ist nur ein langer Vektor mit Zahlen zwischen 0 und 1, die sich zu 1 summieren. Wir wissen, wie das geht. Wir wissen nicht, wie wir das mit natürlichen Daten machen sollen, die hochdimensional und kontinuierlich sind. Und jeder Versuch, ein System dazu zu bringen, die Welt zu verstehen oder mentale Modelle der Welt zu erstellen, indem man es darauf trainiert, Videos auf Pixelebene vorherzusagen, ist im Grunde gescheitert. Selbst wenn man versucht, ein System wie ein neuronales Netz darauf zu trainieren und gute Repräsentationen von Bildern zu lernen, ist jede Technik, die funktioniert, indem sie ein Bild aus einer beschädigten oder transformierten Version rekonstruiert, im Grunde gescheitert. Nicht völlig gescheitert, sie funktionieren irgendwie, aber sie funktionieren nicht so gut wie alternative Architekturen, die wir Joint Embedding nennen, die im Wesentlichen nicht versuchen, auf Pixelebene zu rekonstruieren. Sie versuchen, eine Repräsentation zu lernen, eine abstrakte Repräsentation des Bildes oder des Videos oder des natürlichen Signals, mit dem trainiert wird, damit man in diesem abstrakten Repräsentationsraum Vorhersagen treffen kann. Ein Beispiel, das ich sehr oft verwende, Wenn ich ein Video von diesem Raum aufnehme, die Kamera schwenke und hier anhalte, dann bitte ich das System, vorher zu sagen, wie das Video weitergeht. Es wird wahrscheinlich vorhersagen, dass es sich um einen Raum handelt, in dem Leute sitzen. Blablabla. Es kann auf keinen Fall vorhersagen, wie jeder einzelne von euch aussieht. Richtig, Das ist anhand des ersten Segments des Videos überhaupt nicht vorhersehbar. Und es gibt viele Dinge auf der Welt, die einfach nicht vorhersehbar sind. Und wenn man ein System trainiert, um auf Pixelebene Vorhersagen zu treffen, verbraucht es alle seine Ressourcen damit Details zu finden, die es sich einfach nicht ausdenken kann. Das ist also reine Ressourcenverschwendung. Jeder Versuch, den wir unternommen haben, und Ich arbeite seit 20 Jahren daran, ein System mit Hilfe von selbstüberwachtem Lernen durch Vorhersagen von Videos zu trainieren, hat nicht funktioniert. Es funktioniert nur, wenn man es auf Repräsentationsebene tut. Und das bedeutet, dass diese Architekturen nicht generiert werden.

Im Grunde genommen sagst du also, dass ein Transformer nicht funktioniert. Im Grunde genommen sagt er hier, dass die Verwendung eines Transformers, um die physische Welt vorherzusagen, aufgrund der Architektur einfach nicht funktioniert. Und er bringt tatsächlich ein paar wichtige Punkte vor. Wenn man einfach nur den nächsten Token vorhersagt, gibt es viele Dinge, die einfach implizit aus dem eigenen Verständnis der physischen Welt und der eigenen Anwesenheit und all den Überlegungen, die in dem Gehirn ablaufen, hervorgehen und die man einfach als selbstverständlich hinnimmt. Ich denke also schon, dass er einen guten Punkt anspricht, dass das nicht wirklich funktioniert. Wie ich bereits sagte, stimme ich Yan Khan hier natürlich nicht einfach zu. Es gibt Forschungsarbeiten. Ich habe ein Video darüber gemacht, dass China viel über SORA geforscht hat und im Grunde genommen gesagt hat, dass diese Art von Architekturen die physische Welt nicht wirklich vorhersagen. Ich kann mich nicht mehr genau erinnern, was sie getan haben, aber in der Arbeit haben sie im Wesentlichen bewiesen, dass diese Videomodelle die physische Welt nicht wirklich vorhersagen. Sie ahmen die Welt eher anhand der Architektur nach und es war wirklich interessant, diese tiefgreifende Analyse zu sehen. Ehrlich gesagt, wenn Sie sich das Video ansehen, werden Sie es etwas besser verstehen. Natürlich ist es sehr einfach zu sagen und okay, das funktioniert nicht, das funktioniert nicht. Aber jetzt müssen wir zum Kern des Videos kommen. Nä okay, wir haben das Wissen, dass es nicht funktioniert, Aber was ist die Lösung? Und hier spricht Yana Khan über seine berühmte VJ Architektur und anscheinend bringen sie tatsächlich sehr bald Version 2 heraus und diese liefert wahrscheinlich die vielversprechendsten Ergebnisse aller bisherigen Modelle.

Wissen Sie, Jensen hat absolut recht, dass man letztendlich mehr Leistung in einem System erhält, das sozusagen denken kann. Ich bin nicht der Meinung, dass die richtige Art und Weise zu denken die Art und Weise ist, wie Sie die.

Aktuellen NLMs kennen, die durch Denkfähigkeiten erweitert werden. Sie sagen, es funktioniert, aber es ist nicht der richtige Weg.

Es ist nicht der richtige Weg. Ich denke, Sie wissen, wenn wir denken, dass wir dies in einem abstrakten mentalen.

Zustand tun, der nichts mit Sprache zu tun hat, dann werfen wir die Token nicht gerne raus. Wir möchten in unserem latenten Raum denken.

Und nicht im abstrakten Raum. Richtig? Ich meine, wenn ich Ihnen Stellen Sie sich einen Würfel vor, der vor Ihnen schwebt, und drehen Sie diesen Würfel nun um eine vertikale Achse. OK, das können Sie im Kopf machen. Es hat nichts mit Sprache zu tun. Eine Katze könnte das tun. Wir können einer Katze das Problem natürlich nicht durch Sprache spezifizieren, Aber Katzen tun viel komplexere Dinge als das. Wenn Sie beispielsweise Flugbahnen planen, um auf ein Möbelstück zu springen. Sie tun viel komplexere Dinge als das und das hat nichts mit Sprache zu tun. Es geschieht ganz sicher nicht im Token Raum, was eine Art von Aktionen wären. Es geschieht in einer Art abstraktem mentalen Raum. Das ist also die Herausforderung der nächsten Jahre, nämlich neue Architekturen zu entwickeln, die diese Art von Dingen ermöglichen. Daran habe ich in letzter Zeit gearbeitet. Gibt es also ein neues Modell, mit dem wir rechnen können, das es uns ermöglicht, in diesem abstrakten Raum zu schlussfolgern? Wir nennen es JAPA oder JPA Weltmodelle, und meine Kollegen und ich haben in den letzten Jahren eine Reihe von Artikeln über diese ersten Schritte in diese Richtung veröffentlicht. JPA steht für John Predictive Architecture. Das sind Weltmodelle, die abstrakte Repräsentationen lernen und in der Lage sind, diese Repräsentationen zu manipulieren und möglicherweise zu Schlussfolgern und Aktionsfolgen zu erstellen, um ein bestimmtes Ziel zu erreichen. Ich denke, das ist die Zukunft. Ich habe vor etwa drei Jahren einen langen Artikel darüber geschrieben, in dem ich erkläre, wie das funktionieren könnte.

Werfen wir einen Blick darauf, wie die VJER Architektur aus dem im letzten Jahr veröffentlichten Videometer tatsächlich aussieht. Heute benötigen Maschinen tausende von Beispielen und stundenlanges Training, um ein einziges Konzept zu erlernen. Das Ziel von Jeepas, was für Joint Embedding Predictive Architectures steht, ist es, hochintelligente Maschinen zu entwickeln, die genauso effizient lernen können wie Menschen. VJEP wird anhand von Videodaten vortrainiert, sodass es Konzepte über die physische Welt effizient erlernen kann, ähnlich wie ein Baby durch Beobachtung seiner Eltern. Es ist in der Lage, neue Konzepte zu erlernen und neue Aufgaben zu lösen, indem es nur wenige Beispiele ohne vollständige Feinabstimmung verwendet. VJEPA ist ein nicht generatives Modell, das lernt, indem es fehlende oder maskierte Teile eines Videos in einem abstrakten Repräsentationsraum vorhersagt. Im Gegensatz zu generativen Ansätzen, die versuchen, jedes fehlende Pixel zu ergänzen, hat VJA die Flexibilität, irrelevante Informationen zu verwerfen, was zu einem effizienteren Training führt. Damit unsere Forscherkollegen auf dieser Arbeit aufbauen können, veröffentlichen wir VJEPR öffentlich. Wir glauben, dass diese Arbeit ein weiterer wichtiger Schritt auf dem Weg zu einer KI ist, die die Welt verstehen, planen, argumentieren, vorhersagen und komplexe Aufgaben ausführen kann. Die Alternative, die wir jetzt haben, ist ein Projekt namens VJEPA. Und wir nähern uns Version 2 bei der es sich im Grunde um eine dieser gemeinsamen emittierenden, prädiktiven Architekturen handelt. Sie trifft also Vorhersagen auf Videoebene, jedoch auf Darstellungsebene und und sie scheint wirklich gut zu funktionieren. Wir haben ein Beispiel dafür. Die erste Version wurde mit sehr kurzen Videos trainiert, nur 16 Frames. Und sie wurde trainiert, um im Grunde die Darstellung eines vollständigen Videos aus einer Version eines teilweise maskierten Videos vorherzusagen. Und dieses System kann einem anscheinend sagen, ob ein bestimmtes Video physisch möglich ist oder nicht, zumindest in eingeschränkten Fällen. Und es gibt einem eine binäre Ausgabe. Das ist machbar. Das ist nicht machbar.

Oder vielleicht ist es auch nicht einfacher als das Man misst den Vorhersagefehler, den das System produziert. Man nimmt also ein gleitendes Fenster dieser 16 Frames in einem Video und schaut, ob man die nächsten paar Frames vorhersagen kann. Und man misst den Vorhersagefehler. Und wenn etwas wirklich Seltsames im Video passiert, wie z. B. Wenn ein Objekt verschwindet oder seine Form ändert oder etwas Ähnliches, oder wenn es spontan auftaucht oder sich nicht an die.

Physik hält, dann lernt es physikalisch realistisch, indem es einfach nur Videos beobachtet.

Ja, das sind. Weißt du, ich meine, man trainiert es mit natürlichen Videos und testet es dann mit synthetischen Videos, in denen etwas wirklich Seltsames passiert.

Richtig. Wenn man es also mit Videos trainiert, in denen wirklich seltsame Dinge pass, würde das normal werden und es würde diese nicht als seltsam erkennen.

Also macht man das nicht. Hier spricht Yanlu Khan tatsächlich über das Denken in System 1 und System 2. Natürlich haben wir als Menschen zwei Denkweisen. System 1 ist ziemlich reaktiv, während System 2 die Denkweise ist, bei der wir über einen längeren Zeitraum nachdenken. Und das ist nur das jüngste Paradigma, das LMS vor kurzem erreicht haben. Und genau darüber spricht Jan Lacan, wenn er sagt, dass KI Systemen im Wesentlichen einige dieser Fähigkeiten intuitiv fehlen. Und genau das brauchen wir wirkl ein umfassendes System, das irgendwie zu einer allgemeinen AGI gelangen kann und das sich mit etwas verbindet, mit dem wir alle sehr vertraut sind. Richtig. Psychologen sprechen also von System 1 und System 2. System 1 sind Aufgaben, die man erledigen kann, ohne wirklich darüber nachzudenken. Sie sind zu Aufgaben geworden, an die man sich gewöhnt. Hat und man kann sie erledigen, ohne groß darüber nachzudenken. Wenn man also ein erfahrener Fahrer ist, kann man auch ohne Fahrassistenz fahren. Man kann fahren, ohne groß darüber nachzudenken. Man kann sich gleichzeitig mit jemandem unterhalten, man kann weißt du, M und so weiter. Aber wenn man zum ersten Mal fährt oder die ersten paar Stunden am Steuer sitzt, muss man sich wirklich auf das konzentrieren, was man tut. Und man plant alle möglichen Katastrophenszenarien und solche Dinge. Man stellt sich alle möglichen Dinge vor. Das IST also System 2. Sie rekrutieren ihren gesamten PrEP Photokortex für ihr Weltmodell, Ihr internes Weltmodell, um herauszufinden, was passieren wird und dann Maßnahmen zu planen, damit gute Dinge passieren. Wenn Sie damit vertraut sind, können Sie einfach ein System verwenden und dies automatisch tun. Und diese Idee ist, dass Sie zunächst Ihr Weltmodell verwenden und in der Lage sind, eine Aufgabe zu erledigen, selbst eine Aufgabe, mit der Sie noch nie zuvor konfrontiert waren. Zero Shot. Richtig. Sie müssen nicht trainiert werden, um diese Aufgabe zu lösen. Sie können diese Aufgabe einfach erledigen, ohne etwas zu lernen, nur auf der Grundlage Ihres Verständnisses der Welt und Ihrer Planungsfähigkeiten. Das ist es, was in aktuellen Systemen fehlt. Aber wenn Sie diese Aufgabe mehrmals erledigen, wird sie schließlich in etwas zusammengefasst, das man eine Richtlinie nennt. Richtig. Also eine Art reaktives System, das es Ihnen ermöglicht, diese Aufgabe einfach ohne Planung zu erledigen. Das erste bei dieser Argumentation IST also System 2 die Art von automatischer, unterbewusster, reaktiver Strategie, die System 1 anwenden kann und die versucht, sich langsam in Richtung System 2 zu bewegen. Aber letztlich brauchen wir meiner Meinung nach eine andere Architektur für System 2. Hier kommen wir zu Jan Lens weiteren Aussagen, in denen er davon spricht, dass wir über LMS einfach nicht zu AGI gelangen werden. Und da stimme ich teilweise zu. Ich denke, dass die Systeme, die wirklich allgemeine KI sind, in Zukunft wahrscheinlich eine Art Hybrid sein werden. Sie werden eine Mischung aus all diesen Fähigkeiten sein. Und wir haben tatsächlich gesehen, dass KI Unternehmen sich in Richtung Omnimodelle bewegen. Wir haben gesehen, dass Google das kürzlich tatsächlich getan hat. Es ist also wirklich interessant, ihn darüber sprechen zu hören, denn ich denke nicht, dass er so weit daneben liegt. Und es wird wirklich interessant sein, zu sehen, wohin die Zukunft geht. Aber die reale Welt ist einfach viel komplizierter. OK, hier ist etwas, das einige von Ihnen mich vielleicht schon einmal sagen gehört haben. Aktuelle LLMs werden üblicherweise mit etwa 30 Billionen Token trainiert, richtig? Ein Token entspricht üblicherweise etwa 3 Bytes. Das sind also 0,19 hoch 13 Bytes, sagen wir mal 10 hoch 14 Bytes. Jeder von uns würde über Jahre brauchen, um das durchzulesen, denn das ist die Gesamtheit aller im Internet verfügbaren Texte. Psychologen sagen uns, dass ein Vierjähriger insgesamt Stunden wach ist und etwa zwei Megabyte gelangen über den Sehnerv in unseren visuellen Kortex jede Sekunde, also etwa zwei Megabyte pro Sekunde. Multiplizieren Sie das mit Stunden mal 3600 sind das etwa zehn Einschaltungszeichen. 14 Bytes in vier Jahren sehen Sie durch das sehen so viele Daten wie Text, für dessen Lesen sie Jahre bräuchten. Ich meine, das zeigt dir, dass wir niemals zu AGI gelangen werden. Was auch immer du damit meinst, indem wir nur anhand von Texten trainieren, das passiert einfach nicht.