AI Dev 25 | Sharon Zhou & Mahdi Ghodsi: Run Deepseek Reasoning and Finetuning on AMD GPUs w/ Lamini

Schön hier zu sein. Ich bin Sharon, Gründerin und CEO von Lumini. Ich hatte das große Vergnügen bei Andrew Ang in Stamford über generative KI zu promovieren. Dort war ich eine Zeit lang als Lehrbeauftragte tätig und jetzt habe ich auch das große Vergnügen für viele Leute hier und Millionen andere online in diesen wirklich magischen generativen Modellen zu unterrichten. Heute möchte ich über ein Thema sprechen, das mich sehr beschäftigt und über das ich lange nachgedacht Halluzinationen in diesen großen Sprachmodellen. Warum erfinden Sie Dinge? Warum erfinden Sie Fakten und wie können wir sie abmildern oder ganz vermeiden? Genau das mache ich mit einem unglaublichen Team, das auch hier bei Lumini ist und wir haben es geschafft, eine Genauigkeit von zu erreichen, was die Faktengenauigkeit angeht. Ich möchte Ihnen etwas über unsere Methoden erzählen. Natürlich haben wir auch ein großartiges Investorenpanel, darunter AMD, der gleich im Anschluss sprechen wird und Andrew selbst. Sie haben ja schon viel Hype gehört, wahrscheinlich wegen Deep Seek und all diesen wunderbaren Modellen. Ich kann schlussfolgern, aber was ist mit faktenbasiertem Denken, wenn man Dokumente nur durchgeht, aber nicht wirklich korrekt ist? Welchen Wert hat das? Dann? Insbesondere für Unternehmen haben wir festgestellt, dass es eine große Lücke zwischen den großartigen Benchmarks für KI für allgemeine Zwecke und den realistischen praktischen Anwendungen in Unternehmen gibt. Mich interessiert vor allem die Wie können wir die faktische Genauigkeit, die faktenbasierten Denkfähigkeiten dieser Modelle verbessern? Denn das führt zu einem sinnvolleren Einsatz und damit zu einem höheren Geschäftswert. Wenn Sie sich das also ansehen, wie würden Sie das überhaupt nennen? Ein Viertel einer Kugel oder eines Kreises? Im Wesentlichen beginnt dieses Diagramm mit der Eingabeaufforderung. Die Eingabeaufforderungsfunktionen führen zu REC. Wenn Sie dann erweiterte REC und Feinabstimmungsfunktionen verwenden, können Sie einige dieser komplexeren Anwendungsfälle erreichen. Sie wissen sicher, dass Agenten Anwendungsfälle heutzutage sehr beliebt sind. Ich werde heute auf eine Art Datenanalyst oder Business Intelligence Agent für Texas SQL eingehen. Wie Sie sich vorstellen können, ist es für die Zuverlässigkeit dieser Modelle oder Agenten äußerst wichtig, dass die Schlussfolgerungen nicht nur reine Schlussfolgerungen, sondern faktische Schlussfolgerungen sind. Lassen Sie uns also einen Schritt zurückgehen und darüber nachdenken, warum diese Modelle Dinge erfinden. H, also allgemeine Modelle, Basismodelle, Sie wurden im Internet trainiert und ich kann Ihnen garantieren, dass die LAMA Modelle mit diesem speziellen Datensatz des Wikipedia Artikels über die Golden Gate Bridge trainiert wurden. Ich garantiere Ihnen, dass diese Seite definitiv gesehen wurde, aber aus irgendeinem Grund, wenn Sie es danach fragen, nicht wahr? Die Gewichte haben es gesehen. Das Modell hat es bereits in seinem vortrainierten Datensatz gesehen. Es weiß nichts davon. Richtig? Sie können viele verschiedene Fragen dazu stellen und es wird Ich weiß es nicht oder es halluziniert. Eine andere Tatsache, also die Frage In welchem Jahr ist Dave Aguilar die Golden Gate Bridge bestiegen? Was ist also los? Warum macht das Modell das? Und zwar, weil die Modelle optimiert wurden, um im Grunde den Generalisierungsfehler oder den durchschnittlichen Fehler über alle Beispiele hinweg zu reduzieren. Und das sind alles Beispiele aus dem gesamten Internet und deshalb sind sie in allem ziemlich gut, aber in nichts perfekt. Und was bedeutet das? Das bedeutet, wenn ich Hey, Modell, in welchem Jahr ist Dave Agula die Golden Gate Bridge bestiegen? Kann es antworten. Ist sie bestiegen? Und dann versucht es, das nächste Token zu sampeln, um auf diese Frage, auf diese Tatsache zu antworten. Richtig? Und wenn es noch nicht trainiert ist, sieht es so aus. Es sampelt also gleichmäßig über alle verschiedenen Daten. Es sampelt gleichmäßig über andere Zahlen, wie zum Beispiel das Wort Katze. Also wissen Sie, es Ist sie bestiegen in Katze M? Also wahrscheinlich nicht. Aber nachdem es vortrainiert wurde, findet es etwas in der Nähe. Es erkennt, dass es mit einem Datum oder einer Zahl antworten muss, Daher ist es wahrscheinlicher, dass es direkt dort ein Datum sampelt. Richtig? Und das ist in vielen Fällen großartig, aber in einem tatsächlichen Fall sollte es kein ähnliches Datum angeben. Die richtige Antwort wäre übrigens 1981 aber Sie möchten nicht, dass 1970 abgetastet wird. Warum? Weil das eine Täuschung ist und Ihnen die falschen Informationen liefert, obwohl Sie sie brauchen. Also wenn das der Umsatz Ihres Unternehmens wäre und ihr tatsächlicher Umsatz 100 Milliarden beträgt und 10 Milliarden abgetastet würden, weil es ähnlich ist, wäre das schrecklich. Also das ist nicht so toll. Vielleicht wäre es Ihnen sogar lieber, wenn es eine Katze abgetastet hätte, weil Sie dann wüssten, dass es einfach keine ahnung hat, was los ist. Richtig. Und genau das passiert im Modell. Es arbeitet mit diesen Ähnlichkeit, was für viele Generalisierungsfunktionen großartig ist, wie z. B. Die Fähigkeit, Ähnlichkeiten zwischen hi und Hallo oder Howdy zu verarbeiten. Bots unserer Vergangenheit, die größtenteils auf Nachschlagetabellen basieren, konnten damit nicht umgehen. Vielleicht gibt man nur hi und Hallo ein und wenn man Howdy sagt, bricht es einfach ab. Diese Modelle sind also wirklich magisch. Sie können mit ähnlichen Sequenzen umgehen, aber bei Fakten scheitert es aus diesem Grund. Und aus diesem Grund scheitert es so glaubhaft. Deshalb nennen wir es eine Halluzination. Vielleicht sollten diese Token, diese Fakten Token etwas anders behandelt werden. Mein Team und ich waren wirklich daran interessiert, genauer zu untersuchen, wie wir das anders handhaben können. Diese Modelle, diese Basismodelle könnten also eher wie dort links samplen, wo der Verlust gering, aber nicht null ist. In Wirklichkeit soll es aber eine direkte Delta Funktion oder Wahrscheinlichkeitsverteilung sein, die so aussieht. Richtig. Man wollte einfach 1981 es gibt keine andere Wahl. Katze ist oder 1970 ist zu sagen, ist genauso falsch, wie Katze zu sagen. Richtig. Und genau das ist es, was Sie wirklich wollen. Und das Schwierigste daran ist, dass das Modell weiterhin allgemeingültig bleiben soll. Richtig. Sie wollten trotzdem die Frage Hallo, wie geht's? Beantworten können. Sie wollten auch die In welchem Jahr ist Dave Aguilar Die Golden Gate Bridge besch. Beantworten können und auch eine ähnliche Formulierung In welchem Jahr ist Dave die Golden Gate Bridge bestiegen? Sie möchten also diese Flexibilität, aber Sie möchten, dass es Ihnen jedes Mal die richtige Antwort liefert. Deshalb haben wir eine Mischung von Gedächtnisexperten entwickelt. Ä Es ist das Akronym von Asmome, ausgesprochen Mami und wir Mami weiß es am besten und es wird ein T Shirt geben, das ich darüber verteile. Aber das Besondere daran ist, dass das Open Source Modell verwendet wird und im Grunde einen zusätzlichen Satz von Gewichten darin erstellt, die diese Experten repräsentieren eine Art gelernter Index und lernen kann, diese mit extrem hoher Genauigkeit und ohne Verlust abzurufen. Anstatt die Abrufe also außerhalb des Modells durchzuführen, werden sie direkt in das Modell integriert. Ich werde genau auf die Architektur eingehen und untersuchen und wo in den Aufmerksamkeitsblöcken sie in der Transformer-basierten Architektur tatsächlich modifiziert. Wird. Doch bevor ich darauf eingehe, möchte ich zunächst Folgendes mit Ihnen Wir haben das mit den hervorragenden Leuten von Meta und Andrew selbst in diesem wunderbaren Kurs besprochen, den wir vor einigen Monaten veröffentlicht haben. Dieser Kurs hilft Ihnen, Zeile für Zeile den Code durchzugehen, um dies an einem einfachen Texas SQL Anwendungsfall umzusetzen und die Genauigkeit deutlich zu steigern. Natürlich können Sie das auch auf Ihren eigenen Datensatz erweitern oder verallgemeinern, bevor ich auf die Details des Algorithmus eingehe. Denn das Anpingen des Algorithmus ist auf unserer Plattform eigentlich ganz einfach. Es ist nur ein kleiner API Aufruf. Ich möchte darauf eingehen, welche Arbeit nötig ist, um diese absolute Genauigkeit zu erreichen. Die Feinabstimmung. Ich glaube, das ist das, was ich seit der Erstellung dieses Kurses gelernt habe und was die meisten Leute am meisten verwirrt. Deshalb möchte ich das mit Ihnen teilen. Zunächst geht es um Daten. Alle reden von hochwertigen Handelsdaten. Was bedeutet das richtig, wenn man zum Beispiel mit dem Metateam spricht. Mein Freund, der das Datenteam bei Meta leitet, sagt oh, wir trainieren nur mit einem Prozent unserer Daten und selbst mit mehr Rechenleistung würde ich nur mit diesem einen Prozent der Daten trainieren. Ich trainiere einfach zweimal. Warum ist das so? Die hohe Qualität ist so wichtig und für die faktische Feinabstimmung mit Mami ist sie noch wichtiger. Der Grund dafür ist, dass Sie die richtigen Fakten in das Modell eingeben müssen. Wenn Sie die falschen Fakten eingeben, merkt es sich diese falschen Fakten. Es kann sich diese Fakten so gut merken, dass es sich an alles erinnert, was Sie eingeben. Tatsächlich haben wir in unserer Arbeit einen Extremfall dafür untersucht. Wir sagten, man solle sich diese Zufallszahlen als Fakten merken und Sie sich in diesen Kontexten perfekt merken. Und das hat es geschafft. Es ist also wirklich wichtig, die Daten richtig zu verstehen. Was halten Sie für Eine Tatsache? Ist 1981 die Tatsache für dieses Datum? Ist ein Bereich für Sie in Ordnung richtig? Sind Sie mit z. B. Den ER oder den ER Jahren einverstanden? M. Ä. Soll es ein bestimmter Tag im Jahr sein? Ich weiß nicht einmal mehr, ob es Mai oder so ist, aber muss es das sein? Und was muss es dann sein? Diese Tatsache, die das Modell wissen muss? M Und von dort aus geht es weiter und so wird es es als wahr behandeln. Zwei weitere interessante Aspekte betreffen Evaluierungen. Ich denke, viele gehen Evaluierungen so an, dass sie die Modelle und ihren aktuellen Stand bewerten und dann ein anderes Modell auswählen, wenn es die Aufgabe nicht so gut erfüllt. Das eigentliche Ziel von Evaluierungsforschern wie mir ist jedoch nicht nur die Auswahl eines Modells. Es geht vielmehr darum, einen Weg zur Verbesserung des eigenen Modells zu finden. Das setzt natürlich voraus, dass man die Werkzeuge zur Modellverbesserung hat und genau das ermöglicht diese Art der Feinabstimmung mit den eigenen Daten. Sie gibt einem die Werkzeuge an die Hand, um zu Hey, ich will das da drüben erreichen und ich werde einfach weitermachen und mich durchkämpfen, um dorthin zu gelangen. Was hier wirklich wichtig ist, ist meiner Meinung nach ein Evaluierungsset zu erstellen, das die gewünschte Aufgabe repräsentiert und objektiv ist. Ich möchte Ihnen dazu nur eine kurze Geschichte erzählen. M Wenn es subjektiv ist, bedeutet das, dass Sie und ein anderer Stakeholder Ihrem Unternehmen oder Sie sich nicht einig sind, wie das Ergebnis aussehen soll. Ich denke, Sie wissen, dass es 1981 sein sollte, aber Sie denken, dass es im Allgemeinen gut genug ist. Wissen Sie, dass 1900 gut genug ist? Und wenn Sie nicht einverstanden sind, wird das Modell sehr unübersichtlich sein und für regelmäßige Feinabstimmungen wird es wissen Sie, etwas unübersichtlich sein. Für faktische Feinabstimmungen wird es sehr, sehr unübersichtlich sein, was Sie davon brauchen. Also stellen Sie sicher, dass Sie wirklich klar und eindeutig sind und sich auf der Ebene der Stakeholder des menschlichen Teams einig sind, dass es wirklich klar ist und Sie es auf Papier bringen können. Das ist der Punkt einer Evaluierung. Und schließlich sind schnelle Iterationszyklen wichtig. Ich kann das nicht genug betonen. Das ist tatsächlich einer der größten, würde ich sagen, Mentalitätsänderungen zwischen Softwareentwicklung und Machine Learning Engineering, die ich beobachte. Und es ist so, dass Machine Learning Ingenieure tatsächlich eher wie Produktdesigner agieren, indem sie sehr schnell experimentieren. Wir iterieren sehr schnell und gestalten unser gesamtes Setup so, dass es extrem schnell iterieren kann. Der Weg dazu besteht nicht darin, alle Daten auf einmal in eine API zu werfen und zu hoffen, dass etwas funktioniert. Stattdessen verwenden wir eine sehr kleine, repräsentative Teilmenge meiner Daten so klein wie möglich und können so die Verbesserung der Genauigkeit beobachten. Anschließend skalieren wir nicht linear und exponentiell auf meinem Datensatz, um die Verbesserungen beim Generalisieren zu sehen. Richtig. Ich kann also superschnell auf dieser winzigen Teilmenge iterieren und das ist meiner Meinung nach extrem entscheidend für den Erfolg mit diesen Tools. Sonst wartet man ewig, bis das Modell optimiert ist und denkt wow, das dauert ewig und ich habe, ich weiß nicht, in all diesen Datenpunkten ein Komma vergessen und jetzt müssen wir es neu machen. Wenn man das Komma bei nur drei Datenpunkten vergessen könnte, wäre es ein Traum, es dort zu korrigieren. Das sind drei allgemeine Prinzipien, die meiner Erfahrung nach den Leuten bei der Feinabstimmung dieser Modelle sehr helfen. Ich werde mich auf eines konzentrieren, da wir hier die größten Probleme sehen. Also ä Wir sehen große Schwierigkeiten bei der Erstellung großer Mengen hochwertiger Daten, weil die Leute oh nein, jetzt soll ich die ganze manuelle Arbeit machen. Ich soll scaleye aufrufen. Ich soll tausende, Zehntausende von Datenpunkten labeln, Genau das, was OpenAI Ihnen geboten hat. Aber wissen Sie, ich glaube nicht, dass das stimmt. Und deepseek hat gezeigt, dass das auch nicht unbedingt stimmt. Man kann mit einer sehr, sehr kleinen Teilmenge von Daten beginnen, die man vielleicht manuell kuratiert hat, vielleicht 20 richtig. Geben Sie einfach eine konkrete Zahl an. Und wir haben diese Art von agentenbasierter Pipeline entwickelt, um sehr genaue, qualitativ hochwertige Daten zu generieren, die sich wirklich auf diese Fakten konzentrieren. Das ist also wie eine LLM Pipeline, die Daten verschiedener Datenpunkte generiert, vielleicht aus Texas SQL. Es ist, als würde man sich sein Schema ansehen, seine Abfrageprotokolle betrachten und so viele verschiedene Informationen betrachten, aber einen kuratierten Datensatz erstellen. Denn wenn sich das Modell nur auf einen kleinen Kontext konzentriert Halluzinationen. Das Problem ist, dass es bei zu vielen Daten verwirrt wird und halluziniert. Konzentriert man sich jedoch auf kleine Details, erstellt man Datenpunkte, die zu Trainingsdaten werden. Das Modell kann dann eine Menge dieser Informationen und Abfragen verarbeiten, nachdem es trainiert und mit diesen Dingen vertraut gemacht wurde. Der nächste wichtige Punkt ist die Validierung. Sie sehen das Wort validieren hier zweimal auf dem Bildschirm. Zum einen wird ein LLM zur Validierung verwendet, wie deepseak es in seinem Belohnungsmodell verwendet. Zum anderen gibt es eine terministische Validierung. Validierung ist insgesamt sehr hilfreich, um sicherzustellen, dass die generierten Daten herausgefiltert werden, um qualitativ hochwertige Daten zu erhalten. Wir haben auch benutzerdefinierte Validatoren, Standardvalidatoren, die für einen hochwertigen Datensatz sorgen. Darüber hinaus können diese Modelle wahrscheinlich nicht alle gewünschten Daten abrufen. Wie kann man sonst Feedback geben? Ich habe mir überlegt, anstatt mühsam etwas manuell zu beschriften, beispielsweise um einem Auto beizubringen, dass Autos rot sein können, einem Modell beizubringen, dass Autos rot sein können. Man muss tausende von Bildern von Autos aus verschiedenen Blickwinkeln mit verschiedenen Hexadezimalcodes für rot manuell beschriften. Das ist sehr mühsam und manuell. Aber wie bringt man jemandem bei, dass Autos gelesen werden können? Man sagt einfach, dass Autos rot sein können. Ganz einfach. Ich nenne das Vibes basiertes Feedback, das man dann an ein Modell weitergeben kann, um die Daten zu generieren und zu validieren. Man kann also viele Vibes basierte Daten, also im Grunde Eingabeaufforderungen einspeisen und dieses Feedback zurück in das Modell, zurück in diese agentische Pipeline geben, um noch bessere Daten für das Modell zu generieren, das sich selbst trainieren kann. Im Grunde ist das Modell also in der Lage, seine eigenen Trainingsdaten zu erstellen und diese allein durch ihr Vibes basiertes Feedback zu verbessern. Ich denke, das ist, wissen Sie, eine Extrapolation in die Zukunft, eine sehr wirkungsvolle Technik, um Feinabstimmung so einfach wie Prompt Engineering zu machen und diesen Modellen zu ermöglichen, ihre eigenen Trainingsdaten zu bearbeiten und sich kontinuierlich zu verbessern. OK, sehen wir uns das mal in Aktion an. Oh nein, kein Ton. Jeff, ich glaube, es gibt Ton. Das ist eine Demo von unserem wunderbaren Reihen aus unserem Team, der da drüben steht. Vielleicht steht er ja gar nicht da drüben. Er betreut unseren Stand. Ich kann auch darüber sprechen, falls das hilft. Okay, wir haben keinen Ton, aber ich werde kurz darüber sprechen. Hier geht es eigentlich um den Code selbst, wie man es in Lumini macht, um die Dinge konkret zu machen und nicht nur Folien zu zeigen. Mal sehen, ob es tatsächlich läuft. Lassen Sie es mich noch einmal machen. Ich glaube nicht, dass es läuft. Oh, es bewegt sich. Sind Sie sicher? Denn ich glaube, er soll diesen Block dort markieren. Es heißt, es läuft, aber es läuft nicht. Oh, da haben wir's. Okay, okay. Ja, ich entschuldige mich. OK, Das importiert also verschiedene Standardgeneratoren. Sie sehen zum Beispiel den Schema zu SQL Generator, eine Reihe dieser Generatoren, die eine Menge Daten erzeugen. M. Da ist ein bisschen Konfigurationsseite. Sie können also Ihren Datenbankpfad übergeben, um Text SQL zu generieren. Geben Sie einige Verzeichnispfade ein, um Ihre Daten zu speichern. Mal sehen. Ich denke, vieles davon liegt im Kern der Sache. Ja, holen Sie sich Ihr Schema und dann können Sie Ihre EWAL Datei lesen. Entschuldigung, ich weiß nicht genau, wovon er spricht, aber ich kann es kurz durchgehen. Und Ä Einer der wichtigsten Punkte für unsere Pipeline in Bezug auf die Datengenerierung für Texas SQL sind diese sogenannten verschiedenen Glossareinträge. Also M. Das ist so etwas wie ein semantisches Modell, wenn Sie mit SQL vertraut sind, aber im Wesentlichen M. Eine Möglichkeit, diese Benutzer definierte Geschäftslogik insbesondere für SQL zu kodieren, also vielleicht wie eine SOM Analyse, also eine Marktanteilsanalyse, ist eine bestimmte Art von Berechnung in Ihrem Unternehmen, die diese beiden Spalten im ersten Quartal 2024 betrifft, aber dann diese beiden anderen Spalten für das zweite und dritte Quartal 2024. Also wie führen Sie diese Berechnung eigentlich durch und betten Sie in MM in eine Datei ein. Oh, Entschuldigung. OK, ich werde einfach mein Bestes geben. OK, also M. Was passiert ist daraus eine Reihe von Generatoren zu erstellen? Also was sind diese Generatoren? Nun, Sie sehen einen Musterfragen Generator, also die Möglichkeit, aus diesem Schema viele verschiedene Fragemuster zu erstellen. Was sind also realistische Fragen, die ein Benutzer stellen würde? Sie können einem Benutzertyp beispielsweise in der Eingabeaufforderung verschiedene Variationen möglicher Fragen geben und diese dann natürlich in Unterfragen zerlegen und Fragen zu diesen kleineren Komponenten beantworten. Oh mein Gott, entschuldigen Sie, ich klicke immer auf das Falsche. Okay, ich bin einfach nur. OK, cool. Und nachdem Sie eine Menge davon generiert haben, möchten Sie SQL generieren. Tut mir leid, ich bin wirklich nicht gut darin, das zu benutzen. Sie möchten SQL generieren. Wir haben auch einen SQL Generator, der diese Fragen mit Ihrem Schema und Glossar in gültige SQL Abfragen umwandelt. Ist es denn gültig? Dann benötigen Sie Validatoren, die prüfen, ob das SQL gültig ist oder nicht. Ein ganz einfaches Beispiel ist es Oh, hier ist eine zu validierende Abfrage. Hier ist Ihr Schema, Ihr Glossar. Ist das tatsächlich gültig oder nicht? Sie können auch Ihre Datenbank aufrufen und so feststellen, ob es sich um eine ausführbare SQL Abfrage handelt oder nicht. Und falls nicht, erstellen Sie einen Generator, der das SQL in einer Schleife debuggt. Das ist ein wirklich einfaches Skript. Es durchläuft weitere Varianten Ihrer bereits generierten Daten und validiert sie anschließend. OK, aus Zeitgründen mache ich weiter. Hilfreich ist es auch, nach der Datenerstellung zu überprüfen, was tatsächlich passiert. Sie möchten die Themenabdeckung analysieren. Sie möchten sehen, welche Datentypen Sie tatsächlich generieren und welche Fehler entstehen. Ihr Datensatz ist wahrscheinlich etwas verrauscht. Welche Fehler treten häufig auf und wie erstellt man eine Pipeline, um diese zu beheben? Das ist Ihr Feedback zur Vibes basierten FAB Analyse. Und hier ist ein gemeinsamer Bericht, den wir zusammengestellt haben. Hier sind also Ihre gesamten Testfälle, einige, die funktional dem entsprechen, was ein Mensch schreiben würde, und diejenigen, die nicht äquivalent sind, Ihre Ausführungsfehler und Ihre durchschnittliche Zuverlässigkeit in all diesen Beispielen. OK, das zeigt Ihnen im Grunde, wie wir diesen Datensatz erstellen, diesen hochwertigen Datensatz erstellen und ihn dann zur Feinabstimmung übermitteln. Wie der Übermittlungsprozess aussieht, zeige ich Ihnen gleich aber vorher. Es handelt sich um einen API Aufruf, aber vorher erkläre ich Ihnen noch etwas mehr über die Hintergründe dieses API Aufrufs. Was genau ist MAMI? Welche Technologien verwenden wir hier, um MAMI zu entwickeln? Es geht im Grunde um zwei Trends in der heutigen KI. Einer davon sind Lauras Viele von Ihnen kennen wahrscheinlich Laura Adopter, aber Sie können es sich als zusätzliche Gehirnzellen auf diesem großen Basismodell vorstellen, diesem eingefrorenen Gehirn, einem großen Basismodell. Nehmen wir an, ihr Lama ist 31 32 33. Diese zusätzlichen Gehirnzellen, die zusätzlichen Gewichte, können beispielsweise neue Informationen, Verhaltensmuster oder Fakten lernen. Es handelt sich jedoch um kleine Gewichte. Das Besondere an Laura ist ihre hohe Effizienz. Sie können ihr Haupthirn quasi eingefroren lassen und die zusätzlichen Gewichte einfach anpassen. Das Besondere daran ist, dass sie zum Zeitpunkt der Inferenz wieder mit dem Haupthirn verschmelzen können, ohne zusätzliche Latenz oder Kosten zu verursachen. Die Verschmelzung kann also jederzeit erfolgen. Dadurch bleiben die Inferenzkosten und die Latenz niedrig. Und eine weitere Besonderheit ist, dass sie für diejenigen unter Ihnen, denen Datenschutz wichtig ist, separat gespeichert Sie können Laura Adapter für verschiedene Anwendungen, Kunden und Anwendungsfälle verwenden, ganz gleich, wie Ihre Benutzerzugriffsmuster aussehen. Sie können diese separat speichern. Sie sind recht klein, da sie nur wenige Gehirnzellen umfassen. Es handelt sich um sehr kleine Dateien im Megabyte Bereich, die Sie speichern und verwalten können, ähnlich wie Ihre tatsächlichen Daten. Die zweite Technologie, mit der wir Lauras kombinieren, heißt Expertenmischung. Ich bin mir sicher, dass einige von Ihnen diese Technologie schon kennen. Und im Wesentlichen ist Anne in der Lage, Eingaben entgegenzunehmen und sie an eine Gruppe oder Untergruppe von Experten weiterzuleiten, die dieses Routing Muster erlernt haben und auf die Experten dann präzise und effektiv reagieren können. Man kann sich das ganz intuitiv so Ein Experte kann sich gut mit Ihnen unterhalten, ein anderer ist gut in Physik und ein dritter ist gut an der Golden Gate Bridge. Und wenn Sie also eine Frage zur Golden Gate Bridge stellen, kann der Physiker einfach abschalten und die Antwort wird durch die Chat und die Golden Gate Bridge Frage geleitet. Natürlich lernt es das nicht so klar und deutlich, aber es ist ein erfahrener Expertenkreis, an den es dann weiterleitet. Cool. Und das macht es wirklich effizient und weil man nur einen Bruchteil des Gehirns nutzt, anstatt das gesamte Gehirn Ä. Und typischerweise wird es auf dem Basismodell durchgeführt. Sie haben wahrscheinlich schon Mixtro gesehen, zum Beispiel ein M, Dubd Forbs, angeblich ein M. Das ist also das Basismodell und es ermöglicht sehr schnelle Inferenzen, weil es nur, wenn Sie acht Experten haben, ein Achtel des Gehirns nutzt. Was wir stattdessen machen, ist, dass das Basismodell anstelle des Basismodells alles sein kann, was es sein will. Wir machen es mit den Loras, den zusätzlichen Gehirnzellen. Obendrauf, das wir kombinieren mit Lauras und erstellen in dieser Adapterschicht eine Mischung aus Laura Adaptern und Laura Experten. Das bedeutet, dass wir einer Teilmenge der Laura Experten alles Relevante zu einem bestimmten Zeitpunkt innerhalb der Aufmerksamkeitsblöcke des Modells zuordnen können. Das ermöglicht dann das Abrufen der richtigen Experten zu einem bestimmten Zeitpunkt oder pro Abfrage. Intuitiv bedeutet das, dass das Modell die richtigen Fakten abruft, die es benötigt, um präzise reagieren zu können und hoffentlich nicht zu täuschen. Und genau das tun wir. Im Wesentlichen handelt es sich um einen Expertenindex. Genau das passiert hier. Dies ist ein allgemeines Diagramm. Es befindet sich innerhalb des regulären Aufmerksamkeitsblocks, also wie ein Transformer basiertes Modell aussieht. Ihre Texteingabe wird eingegeben, eingebettet, durchläuft die reguläre Aufmerksamkeit und gibt dann etwas aus. Und hier kommt der gelernte MAMI Adapter ins Spiel. Von der Einbettung zur Abfrageprojektion. Diese Abfrageprojektion, die Q im Wesentlichen verwendet, um diese Experten zu indizieren, relevante Experten auszuwählen und sie dann wieder einzufügen. OK, das ist im Wesentlichen der Ablauf und das ist ein gelernter Prozess, mit dem wir den Verlust sehr gering halten. Der Abrufprozess ist daher extrem präzise, speziell für Ihre Fakten oder welche Daten auch immer Sie als Fakten darstellen. Super OK. Das ist möglicherweise etwas komplex. Wir nehmen definitiv umfangreiche Eingriffe in die Modellarchitektur vor. Das war speziell für Lama, aber natürlich kann es für jedes Transformer-basierte Modell weitgehend automatisiert. Werden. In der Praxis ist es aber nur ein API Aufruf. Hier ist ein Teil der Einrichtung für diesen API Aufruf und dann müssen Sie nur noch LLM Tune ausführen. Sie geben das Basismodell mit dem Modellnamen an einem Hugging Face Modellnamen und führen dann einfach die Punktoptimierung für Ihren Datensatz aus, wie wir es zuvor gesehen haben. Das sind Beispiele dafür, wie die eingehenden Daten aussehen. Anschließend wird der Auftrag einfach übermittelt. Letztendlich ist es also ganz einfach, Ihre Daten zur Speicheroptimierung oder zur Erstellung eines MAMI Modells zu übermitteln. Ein Großteil der Vorarbeit besteht darin, den richtigen Datensatz zu erstellen, was hoffentlich mit Hilfe der AgentC Pipelines weitgehend automatisiert möglich ist. Super Anschließend führen Sie Inferenzen mit dem Mami Modell aus. Sie instanziieren das Modell erneut mit einer Modell ID, die Sie nach der Optimierung erhalten. Anschließend führen Sie es durch Ihren Evaluierungsdatensatz. Das ist eine For Schleife, die den Evaluierungsdatensatz durchläuft und die Eingabeaufforderungsvorlage dafür vorbereitet. Da es sich um Text SQL handelt, können Sie es natürlich mit Ihrer Datenbank verbinden und nicht nur die generierte Abfrage, sondern auch die in Ihrer Datenbank ausgeführte Abfrage sehen. Super, das ist ja alles schön und gut. Manche fragen sich vielleicht, wo das realistisch betrachtet schon hilfreich war oder in einem realen Anwendungsfall. Einer unserer Kunden ist Colgate. Ja, das bedeutet, Sie sollten sich auf KI Zahnpasta vorbereiten, aber die haben genau das verwendet, oder Sie haben diese Agenten Pipeline. Sie können viele Ihrer exzellenten gefilterten Daten erstellen. Sie können Feedback basierend auf Vibrationen nutzen, um diese Daten mit Hilfe Ihrer Ingenieure zu bearbeiten und zu verbessern. Und insbesondere können Sie das alles an MAMA weitergeben oder zur Gedächtnisoptimierung oder zur faktischen Feinabstimmung, um eine wirklich hohe Genauigkeit zu erreichen. Und Ihr Basiswert lag bei Das basierte auf dem neuesten Modell von OpenAI mit viel Prompt Engineering mit ihrem Schema und so weiter. Und Sie haben es einfach nicht zum Laufen gebracht, weil Sie ziemlich komplexe Berechnungen darin haben, die Sie richtig machen müssen. Der Vorteil liegt darin, dass derzeit nur 200 ihrer Benutzer auf ihre Snowflake Datenbank zugreifen können, während dies fast Ihrer internen Benutzer ermöglicht, Fragen an diese Datenbank zu stellen und darauf basierend Entscheidungen zu treffen. Das ist also der große Vorteil. Cool, das war's. Also bitte nehmen Sie an unserem nächsten Webinar teil, das von dem großartigen Scott gehalten wird, der gleich da drüben steht. Und ja, vielen Dank. Meine Güte, fast hätte ich es vergessen. Werfen Sie ein paar Lamas. Ja, wenn Sie eine Frage stellen, Man, viele fragen jetzt nun eigentlich, wenn Sie hinten sitzen, leider. Oh, nun, wir werden meine Bizepsstärke testen. Ja, los geht's. OK, Sehr großzügig. Ja, Heiß. Oh, gute Frage. Ja, also. Okay. Die erste Frage drehte sich darum, wie Fakten verschiedenen Experten zugeordnet werden. Richtig. Das geschieht durch einen Lernprozess, bei dem das Modell versucht, zu jedem Zeitpunkt die richtigen Experten zu finden. Es basiert im Wesentlichen auf Ihrem Bewertungssatz und dem, womit Sie das Modell trainiert haben. Ähnlich wie bei der normalen Feinabstimmung ist es wichtig, die Datenverteilung so zu gestalten, dass die wichtigen Dinge stärker gewichtet werden. Man sieht die wichtigen Dinge etwas stärker als die unwichtigen und sieht genügend Breite und Abdeckung. Und genau hier bin ich sehr gespannt darauf, LLM zu verwenden, um diese Breite zu bewältigen. Denn ich denke, wir denken oh, dieser Datenpunkt ist hilfreich, aber ich möchte, dass er auf alle Anwendungsfälle hier oder diese Verteilung ausgeweitet wird. Und die Modelle können diese Daten tatsächlich für Sie erstellen, ohne dass Sie diese Verteilung manuell erstellen müssen. Ich denke, das ist die Antwort auf Ihre erste Frage und zu Ihrer zweiten, wie man es gewichtet wäre. Wir haben MAMI jedoch so konzipiert, dass alle Fakten extrem genau sind. Wir versuchen also, uns auf jeden einzelnen Punkt zu konzentrieren. Und wenn es einen gibt, bei dem wir etwas hartnäckiger sind, stellen wir sicher, dass er im Datensatz effektiv dargestellt wird. Vielleicht zeigen wir ihm ein paar weitere Ansichten des roten Autos oder verschiedene Hex Codes. Natürlich können Sie diese Daten durch synthetische Datengenerierung ziemlich automatisch erstellen. Okay, ja, Entschuldigung. Natürlich. Ja, Sie können später handeln. Entschuldigung. Okay, sprechen Sie einfach laut.

Vielen Dank, Sharon, für die tolle Einführung. Meine Frage ist, wenn es um ein kundenspezifisches, großes Sprachmodell für Unternehmen geht, es gibt normalerweise zwei Möglichkeiten. Eine ist das Vortraining mit den Daten Ihres eigenen Unternehmens.

Ja.

Und die zweite Möglichkeit ist, wie Sie es gemacht haben, eine Feinabstimmung anhand einer kleinen Datenstichprobe. Worin sehen Sie den Unterschied zwischen diesen beiden Ansätzen und welche Rolle spielen Alumni in diesen.

Situationen? Oh ja, eine gute Frage. Ich denke, es gibt verschiedene Bereiche der Intelligenz und ich denke, das logische Denken ist ein Bereich, in dem die Basismodelle sehr gespannt und wettbewerbsfähig sind und daher streben sie nach logischem Denken. Faktizität ist für diese Modelle eine ganz andere Art von Intelligenz. Es hängt also davon ab und welches Werkzeug man auf das Modell anwenden möchte. Insbesondere beim Vortraining kann es natürlich beim logischem Denken helfen, aber ich denke, der größte Vorteil ist, dass es hilft, eine große Menge an Informationen unbeaufsichtigt einzugeben und das Modell ein allgemeines Gespür dafür entwickeln zu lassen. Richtig. Wenn das Modell jedoch bestimmte Fakten präzise darstellen muss, ist die faktische Feinabstimmung hilfreich. Und es gibt auch verschiedene Arten der Feinabstimmung. Die Feinabstimmung von Anweisungen ermöglicht bekanntermaßen die Durchführung von ChatGPT, nicht wahr? Dadurch konnte das Modell nicht nur automatisch Dinge vervollständigen, sondern tatsächlich eine Chatkonversation mit ihnen führen. Ich denke, das sind alles verschiedene Tools. Wir haben festgestellt, dass es eine große Lücke in der Realität für Unternehmen gibt und wir könnten diese Lücke tatsächlich schließen.

OK, also Hallo, mein Name ist Apischek. Aufbauend auf denselben Unternehmensanwendungsfällen sehen wir jetzt SLMs, die sich gut für das Training einiger Anwendungsfälle eignen, die beim Erstellen eines kleinen Linienmodells auftreten. Dann haben wir diese Modelle. Welche Anwendungsfälle sind also effizienter als Der Einsatz eines SLMs?

Oh, eine gute Frage. Es hängt wahrscheinlich davon ab, was Sie unter Effizienz verstehen, aber Hier werden typischerweise SLMs verwendet. Das Beispiel von Colgate, das Sie dort gesehen haben, ist ein 8 Milliarden Parameter Modell. Wir sehen auch Leute, die Modelle mit 3 Milliarden Parametern erstellen und eine sehr hohe Genauigkeit erreichen. Und das Besondere daran ist, dass sie Moment mal, das ist doch besser als dieses riesige monolithische Allzweckmodell, das nur erreicht. Warum sollten wir nicht einfach dieses kleinere Modell verwenden? Und ich denke, dass aus einer Gesamtperspektive betrachtet, zeigt diese seltsame Arbitrage Möglichkeit zwischen KI Arbeit und menschlicher Arbeit. Ich denke, Menschen kosten im Allgemeinen nicht so viel allgemeine Aufgaben für Menschen, wie wir alle wissen, wie man fährt, kocht, putzt oder was auch immer. Daher sind die Arbeitskosten nicht zu hoch. Aber ein Raketenwissenschaftler kostet viel. Bei KI ist es umgekehrt. Für die Allzweck KI ist es sehr teuer. Man möchte, dass sie all diese verschiedenen Aufgaben erledigt. Aber die Raketenwissenschaftler KI braucht man nicht zum Fahren, Kochen oder Putzen. Man braucht es nur für Raketenwissenschaft. Daher kommt man tatsächlich mit einem viel kleineren Modell aus. Genau das sehen wir hier bei SLM und es bietet wahrscheinlich eine ziemlich große Arbitrage Möglichkeit aus Sicht der Arbeitskosten. Diese verwenden SLM und ermöglichen es kleineren Modellen, bei wichtigen Aufgaben eine gleichwertige oder höhere Genauigkeit zu erreichen. Aber beim Vorlesen von Gute Nacht Geschichten wird es vielleicht schlechter sein, es sei denn, sie sind in SQL. OK Hallo, ich bin Peter, ich würde dich gerne hier fragen.

OK, super, super. OK. Du sagtest, wenn es falsche Dinge lernt, lernt es sie definitiv. Gibt es also eine Möglichkeit, während des Lernprozesses zu überprüfen, ob es richtig ist oder nicht? Und ich weiß nicht, ob man falsch lernen kann. Gibt es einen Prozess, um das Lernen neu zu starten oder muss man von vorne anfangen? Wie geht man damit um? Was passiert mit dem Modell? Ich denke, es ist teuer, ein komplettes Modell zu trainieren. Wie geht man also damit um?

Lernt man auch mal falsch? Nur ein kleiner Scherz. Okay, OK, Entschuldigung, das ist nicht relevant. Also, was bei dir und dem Modell anders ist, ist, dass man es neu trainieren könnte. Und wie du schon sagtest, ist das vielleicht teuer. Wir haben viel Zeit darauf verwendet, das Neutrainieren kostengünstig zu gestalten. Diese Feinabstimmungen dauern also nur wenige Stunden. Ich hoffe, es so weit zu bringen, dass es nur noch wenige Minuten dauert, ähnlich wie beim Erstellen eines Index, aber im Moment dauert es Stunden. Man könnte es also vermutlich jeden Tag ein paar Mal richtig machen. Das Ziel ist es, Ingenieuren Iterationen innerhalb eines Tages zu ermöglichen. Von dieser Seite aus ist es also nicht so teuer, aber auch aus rechnerischer Sicht ist es recht günstig. Wir haben uns definitiv Gedanken darüber Was wäre, wenn es dynamischen und statischen Speicher gäbe? Oder wissen Sie Speicherteile, die eher statisch wären, also geprüfte Speicher oder geprüfte Fakten, anstatt dass das hier mehr Rauschen hat? Ich denke, es gibt Möglichkeiten, das zu ermöglichen, aber heute sieht es so aus, als würde man die Effizienz der Feinabstimmung verbessern, indem man Dinge wie Laura Ines nutzt. Also OK. Oh mein Gott, was für eine Enttäuschung. Oh mein Gott, ich meine, es ist Ihre Entscheidung. Das ist ja dieses Gefangenen Dilemma, ob Sie es ihm geben oder nicht. Ja, er behält es.

Oh mein Gott, ich habe da eine Frage.

Ja, ja, Entschuldigung.

Ja, ich hoffe, Sie könnten etwas Licht auf die Architektur, die Architektur Neuron aller Netze selbst werfen. Denn meines Wissens nach gibt es Aufmerksamkeitsebenen, die sich auf die Fokussierung konzentrieren, also darauf, welche Tokens fokussiert werden sollen. Gefolgt von einem Feedforward Netzwerk, das sich hauptsächlich mit dem Merken der Fakten und der Verarbeitung der Aufmerksamkeitstoken bzw. Der bereits beachteten Token beschäftigt. Es sieht aber so aus, als ob die Expertenmischung und die Artikel, die ich gelesen habe, hauptsächlich darauf abzielt, eine Expertenmischung im feedforward Netzwerk selbst zu erstellen. In Ihrer Architektur hingegen, vielleicht interpretiere ich es falsch, findet die Expertenmischung tatsächlich auf der Aufmerksamkeitsebene statt und nicht so sehr im feedforward Netzwerk. Ich dachte, die Aufmerksamkeit dreht sich darum, welche Tokens beachtet werden sollen, und die Fakten werden tatsächlich im feedforward Netzwerk gespeichert, aber Sie bezeichnen sie trotzdem als Gedächtnisexperten. Ich bin also etwas verwirrt.

Ja, okay, lassen Sie mich das etwas erläutern. Also M was wir mit der Expertenmischung machen, unterscheidet sich stark von den anderen Arbeiten, da diese sich auf die Erstellung einer Expertenmischung für das M Basismodell konzentrieren. Und wir machen das für Lauras Wir modifizieren also, was M in den Laura Adapter einfließt, also welche Experten werden ausgewählt und weitergeleitet, um in den Laura Adapter integriert zu werden. Und dann wieder in das Modell. Das heißt, es wird außerhalb des Basismodells geroutet und dann werden die richtigen Experten ausgewählt, um sie in Laura zu integrieren. Anschließend wird Laura wieder in das Basismodell integriert. Falls das ein bisschen Es hat weniger damit zu tun, wo genau der Aufmerksamkeitsmechanismus stattfindet, als mit den feedforward Ebenen. Ich denke, beides trägt dazu bei, wie wir über Fakten denken und wie das Modell über Fakten denkt. Aber im Wesentlichen bedeutet das, dass das Basismodell eingefroren werden kann und wir es einfach eingefroren lassen können. Die Expertenmischung findet ausschließlich im Laura Raum statt.

Danke. Hallo, ich habe eine Frage. Ä, ich verstehe, entschuldige, dass ich zuhöre. Hey, ja, ich verstehe, wie Sie dem Modell helfen, Neues zu lernen. Aber wie hilft das bei Halluzinationen? Stellen wir uns vor, der Benutzer fragt nach etwas, worüber wir keine Informationen gegeben haben. Würde das helfen, Halluzinationen zu verhindern? Oder würde das Modell trotzdem versuchen, sich etwas vorzustellen? Und wenn ja, wäre es tatsächlich problematischer, weil meine Benutzer dem Modell dann eher glauben würden, weil das Modell gelernt hat und.