AI Dev 25 | Chaya Nayak: Unlocking the Power of Llama

Ich finde es einfach toll, wie viele Leute von generativer Key und großen Sprachmodellen begeistert sind. Ich möchte eine kurze Umfrage machen. Wie viele von euch hier im Raum sind Entwickler? Wahrscheinlich viele, oder? Wie viele von euch haben schon von Lama gehört? Okay, das ist gut. Und wie viele von euch finden Lama einfach großartig? Ja, etwas weniger. Na gut, ich werde euch davon überzeugen, dass Lama eines der besten LLMs ist und noch mehr kommen werden. Heute werde ich euch ein wenig über Lama und die Modelle, die wir entwickeln, erzählen. Ich werde euch über das Ökosystem sprechen, das wir aufbauen, um Entwicklern zu helfen, Lama wirklich zu nutzen und weiterzuentwickeln. Und dann werde ich ein wenig darüber sprechen, wie wir über Sicherheit denken und euch die Systeme und die Kontrolle geben, um die nächsten Schritte bei generativen KI Erlebnissen zu unternehmen. Alles klar. Also M. Zuerst erzähle ich Ihnen etwas über mich. Ich bin Produktmanager bei Meta und hatte in den letzten Jahren die Gelegenheit, an Lama 2 Lama 3 und wissen Sie, Lama 4 das bald erscheint, mitzuwirken. Es hat wirklich Spaß gemacht, Teil des Lama Teams zu sein und wirklich am Puls der Technologie zu sein. Und M. Eine der Erfahrungen, die ich wirklich gemacht habe, was in meiner Karriere selten vorkommt, obwohl ich an der Schnittstelle von ML, KI und Forschung tätig. War, ist die Geschwindigkeit, mit der wir uns bewegen. Es ist einfach unglaublich. Als wir mit Lama 2 anfingen, lernten wir gerade, wie man ein Modell nachtrainiert. Als wir uns mit Lama 3 beschäftigten, beschäftigten wir uns mit Multimodalität Und jetzt wissen Sie, explodiert alles. Und Wir arbeiten an 5 weiteren Dingen, um Lama 4 zu entwickeln. Und jedes Mal, wenn wir ein neues Modell entwickeln, lerne ich persönlich etwas Neues dazu. Und es ist einfach eine großartige Chance für meine Karriere und einfach für die Arbeit in diesem Bereich. Ich vermute, sie alle fühlen sich genauso. Ich möchte Ihnen zunächst etwas über Lama und unseren Open Source Gedanken erzählen. Als wir Lama 1 herausbrachten, hatten wir eine Forschungsversion und das hat uns wirklich für Open Source gestimmt. Wir glauben an Open Source, wir sind Open Source first. Wir sind überzeugt, dass Open Source der Weg ist, das Ökosystem aufzubauen und Entwickler wie sie zu unterstützen. Deshalb engagieren wir uns generell sehr für die Open Source Bewegung und das nicht nur seit unseren Anfängen mit LAMA. Wir haben massiv in Pietorch investiert und auch unsere Fair Labs haben sich dafür eingesetzt, möglichst viele Forschungsergebnisse als Open Source zugänglich zu machen und Papers zu teilen. Lama ist in der Open Source Bewegung führend. Wir haben über 800 Millionen Downloads von Lama in verschiedenen Größen und formen verzeichnet. Seit 2023 ist die Zahl um das Zehnfache gewachsen. Eines der spannendsten Dinge, die wir gesehen haben. Abgeleitete Modelle. Unternehmen, die unser Modell übernehmen und damit noch bessere und erstaunlichere Dinge entwickeln, sind begeistert. Das freut uns, denn dann erhalten wir diese Innovation zurück und können sie nutzen, um für die Community weiterzuentwickeln. Ich möchte kurz darüber sprechen, warum Lama so ist und werde dabei auf drei besondere Aspekte eingehen. Erstens habe ich bereits unseren offenen Ansatz erläutert. Darüber und über die Modelle, die wir extern teilen, werde ich noch mehr sprechen. Ich werde etwas über Lama Stack erzählen, unsere Version. Bill hat gerade darüber gesprochen, wie Gemini über das von Ihnen geschaffene Ökosystem denkt. Lama Stack ist unsere Art, Ihnen die Werkzeuge an die Hand zu geben, um unsere Modelle in einem System optimal zu nutzen. Denn das Modell allein ist nicht wirklich nützlich. Und dann werde ich etwas über verantwortungsvolle KI sprechen. Ich hatte die Gelegenheit, an verantwortungsvoller KI für Lama 2 zu arbeiten und ich werde auch etwas über unseren Ansatz dort erzählen. OK, für Lama 3 haben wir uns auf eine Vielzahl verschiedener Modelle konzentriert, weil wir Prototyping ermöglichen wollen. Andrew hat ja schon erwähnt, dass Prototyping schneller ist. Man kann viel innovativer bauen und schneller vorankommen. Wir haben LAMA B Modelle. Wir haben unsere B und B Modelle. Diese richten sich an Entwickler, Hacker und Tester, die kleinere Modelle optimieren, testen, ihre Funktionsweise testen oder für spezielle Anwendungsfälle entwickeln möchten. Sie eignen sich auch für alle, die ein System aus mehreren Modellen zusammenstellen möchten. Vielleicht haben Sie ein speziell optimiertes B, B oder B Modell in Ihrem System, das eine spezielle Rolle spielt. Wenn wir uns mit Agenten befassen, möchten Sie wahrscheinlich mehrere Modelle orchestrieren. Ein B Modell ist beispielsweise nicht besonders nützlich, da es möglicherweise nur einen Teil Ihres Problems löst, andere jedoch nicht. Darüber hinaus haben wir unsere B und B Modelle sowie unser B Modell. Diese Modelle gelten als unsere wichtigsten Arbeitspferde. Das sind die Modelle, die Ihnen bei der Entwicklung von Unternehmenslösungen die Hauptarbeit abverlangen. Diese Modelle werden für die meisten Standardanwendungen eingesetzt. Viele Entwickler beginnen mit den B, B und B Modellen und wechseln dann zu B, sobald sie ein überzeugendes Ergebnis erzielt haben und schließlich unser B Modell. Es ist zwar größer, aber auch intelligenter. Ziel dieser Modelle ist es, sie entweder für Anwendungsfälle einzusetzen, in denen das größte und leistungsstärkste Modell mit der höchsten Intelligenz benötigt wird. Man kann diese Modelle aber auch in kleinere Modelle zerlegen, die auf die jeweiligen Anwendungsfälle spezialisiert sind. Sie eignen sich hervorragend zum Erstellen und Feinabstimmen von Datensätzen, wenn man sich auf ein bestimmtes Thema konzentrieren möchte. Man kann das B Modell verwenden, es ist teurer. Man kann eine Menge Daten sammeln und diese dann auch zur Feinabstimmung kleinerer Modelle nutzen. Ich möchte über ein paar Fallstudien sprechen und das sind Dinge, die wir im Ökosystem gesehen haben und die uns begeistern und wahrscheinlich auch solche, die man nicht erwarten würde. Ich denke, wenn alle über generative KI sprechen, denken Sie meist an Chatbots und Assistenten. Aber es gibt viele Anwendungsfälle jenseits des Assistenten, der mit dem Verbraucher kommuniziert. Die finden wir wirklich spannend und wir haben gesehen, wie leistungsfähig Lama ist. Das hier ist also ziemlich cool. Es ist ein SAS Anwendungsfall. Wir hatten ein Unternehmen, das eine Aufgabe hatte, die mit der Sortierung großer und massiver Dokumente zusammenhängt. Sie versuchten herauszufinden, ob bestimmte Dokumente in ihrem Ökosystem fehlerhaft sind oder Probleme aufweisen. Sie ließen sie durch einen Klassifikator laufen und verwendeten Scikit Learn und das funktionierte in 98 Prozent der Fälle einwandfrei. Es gab zwei Prozent der FäLle, bei denen das trainierte Modell einfach nicht funktionierte. Deshalb entwickelten sie ein System, das zunächst Sci Hitlern nutzte, was recht günstig war. Anschließend optimierten sie ein sehr kleines Modell, ein 8 Milliarden Modell mit Beispielen der verwendeten Dokumente. Mit nur dieser kleinen Feinabstimmung konnten sie die zwei Prozent der Beispiele finden und beheben, die sie mit dem ScikitLearn Klassifikator nicht lösen konnten. Dies ist nur ein Beispiel dafür, wie wir große Sprachmodelle als Teil des Systems betrachten. Tatsächlich kann es aber auch ein kleines Element im System sein, das schnellere Komponenten unterstützt und zu einem besseren Erlebnis beiträgt. Nicht alles muss sich um das Generative Key Modell drehen. Lassen Sie uns nun über die Vor und Nachteile von Open Source und Closed Source sprechen. Ich denke, Sie wissen, dass Closed Source Modelle, insbesondere die Nutzung von APIs, erstaunliche Vorteile bieten. Diese APIs werden umfassend unterstützt. Man kann quasi alles sofort nutzen. Man ruft einfach die API auf und im Allgemeinen funktioniert es. Das Tolle an Open Source ist, dass es einem wirklich Kontrolle und Innovationsmöglichkeiten gibt. Das Tolle an Open Source ist also, dass man das System ganz nach seinen Wünschen gestalten kann. Man kann unser Modell optimieren. Man könnte einen Pre-Chain Checkpoint von Lama nehmen und ihn für einen speziellen Anwendungsfall beliebig optimieren. Man kann mehrere LAMA Modelle verwenden und sie mit anderen Modellen verbinden. Man könnte beispielsweise die Modelle von OpenAI oder Gemini verwenden. Und diese in einem System nutzen. Diese Flexibilität bietet uns der Open Source Gedanke. Ich habe bereits über Feinabstimmung gesprochen. Dabei zeigt sich, dass insbesondere bei kleinen Modellen die Feinabstimmung für einen sehr speziellen Anwendungsfall optimiert werden kann und im Allgemeinen ein generalisiertes Modell übertrifft. Mit LAMA haben Sie diese Möglichkeit, und zwar über den gesamten Lebenszyklus des Modells hinweg. Sie können den vortrainierten Kontrollpunkt nehmen, ihn feinabstimmen und zusätzliche Feinabstimmungen an den von uns bereitgestellten Kontrollpunkten vornehmen. Sie haben so die volle Kontrolle, was ich ziemlich spannend finde. OK, jetzt zeige ich Ihnen ein etwas anderes Beispiel. Auch dieses Beispiel bezieht sich eher auf den Anwendungsfall eines Assistenten, aber mit einem spezialisierten Kunden. Cornerstone nutzte LAMA Modelle, um die Charaktere zu unterstützen, die Sie entwickelten, um Mitarbeiter in HR Fragen zu schulen. So konnten Sie LAMA und diese Charakterumgebung, die Sie entwickelten und deren Wartung sehr teuer war, nutzen und Lama nutzen, um diesen Prozess zu vereinfachen, Erfahrungen zu schaffen und Menschen in den Themen zu schulen, die Ihnen wichtig waren. Jetzt möchte ich über LAMA Stack sprechen. LAMA Stack ist ein weiteres großartiges Tool, das wir entwickelt haben und das ebenfalls Open Source ist. Unser Konzept besteht darin, Ihnen den gesamten Code zur Verfügung zu stellen. Sie können ihn erweitern, forken, einen Zweig erstellen und diesen Zweig offen teilen, wenn Sie möchten. Lama bietet Ihnen die verschiedenen Tools und Komponenten, um ein generatives KI System bereitzustellen. Lama Stack besteht aus verschiedenen Komponenten, der API Schicht, den von uns entwickelten SDKs und den Schnittstellen sowie die verschiedenen Distributionen. Ahmed Sanani, einer meiner Kollegen, hält einen Workshop ab, in dem er Ihnen erklärt, wie Sie LamaStack und unsere Modelle nutzen können, um ein System zu erstellen. Bill vor mir sprach über Agenten und Eines der Dinge, die wir bei Agenten sehen werden, ist, dass man anstatt ein Modell zu verwenden, das alles kann Systeme aus Modellen mit unterschiedlichen spezialisierten Aktionen zusammenstellen kann. Ich denke, dass ein System wie Lama Stack, das Bausteine für verschiedene Systemteile bietet, sehr wichtig werden wird. Ein weiteres Thema, über das ich sprechen wollte, ist Sicherheit. Eine Der Komponenten von Lama Stack ist unser Lama Guard System. Viele Unternehmen, insbesondere im Closed Source Bereich, nutzen Content Moderation APIs, mit denen sie eine Benutzeraufforderung empfangen und an die Content Moderation API senden können. Sie erhalten dann eine Rückmeldung, z. B. Hey, das ist sicher. Hey, das ist nicht sicher. Sie können diese Aufforderung dann entfernen. Wir haben lamaguard, mit dem Sie ein speziell auf Sicherheit optimiertes Modell verwenden und anpassen können. Das Tolle daran ist, dass jeder Mensch unterschiedliche Vorstellungen von Sicherheit hat. Manche haben Anwendungsfälle, die ein extrem sicheres Modell erfordern. Wenn Ihr Anwendungsfall beispielsweise Kinder oder Jugendliche unterstützt, sollten sie äußerst vorsichtig sein. Andere wiederum lassen ein Modell einfach im Hintergrund laufen, es interagiert nie mit dem Benutzer. In diesen Fällen benötigen Sie nicht so viele Sicherheitssysteme. Mit Lama bieten wir Ihnen genau diese Möglichkeit. So, das war mein Vortrag. Vielen Dank fürs Zuhören. Vielen Dank an alle Lama Fans da draußen. Ich möchte noch kurz auf die nächste Sitzung hinweisen. Er bietet einen einstündigen Workshop an, in dem er Ihnen mehr über Lama und Lama Stack erzählen kann. Alles klar, danke.