New course taught by Jay Alammar and Maarten Grootendorst: How Transformer LLMs Work

Ich freue mich, Ihnen vorstellen zu dürfen, wie Transformer Alamar zusammen mit Jay Alamar und Martin Henos, den Autoren des wunderschön illustrierten Buchs Hands on Lash Language Models entwickelt hat. Jay ist Director of Engineering Fellow bei Koha und Martin ist leitender klinischer Datenwissenschaftler am Niederländischen Institut für Krebsforschung. In diesem Kurs lernen Sie auf einer tiefgreifenden technischen Ebene die Funktionsweise der Transformer Netzwerkarchitektur von LMS kennen. Diese Architektur hat die Generative Key revolutioniert. Tatsächlich steht das GPT in Chat für Generative pre trained Transformer. Sie entwickeln also ein Gespür dafür, wie LMS Text verarbeitet und arbeiten mit Code Beispielen, um die wichtigsten Komponenten der Transformer Architektur zu veranschaulichen. Sie lernen also unter anderem, was ein Aufmerksamkeitsmechanismus ist, welche verschiedenen Varianten er hat, wie z. B. Selbstaufmerksamkeit, was ein KV Cache ist und so weiter. Falls Ihnen diese Begriffe noch keinen Sinn ergeben, werden Sie es nach diesem Kurs verstehen. Der ursprüngliche Transformer wurde 2017 in dem Paper Attention is all you need von Ashes Vaswani und anderen als hochgradig skalierbares Modell für maschinelle Übersetzungsaufgaben vorgestellt. Varianten dieser Architektur bilden heute die Grundlage für die meisten LMS von OpenAI, Anthropic, Google, Quora und Meta. 2018 leistete J Pionierarbeit bei der Erläuterung der Transformer Architektur in einem bekannten Artikel, dem illustrierten Transformer. Jay erstellte diese wunderbaren Visualisierungen des Transformers, die vielen Menschen halfen, seine Funktionsweise zu verstehen. Er illustrierte auch andere Modelle wie GVD B und Staple Diffusion. Vielen Dank, Andrew. Ich bin großartig hier zu sein. Martin und ich denken, dass die Veranschaulichung komplexer Konzepte wie Transformers einen unterhaltsamen und einfachen Lernprozess schafft. In unserem Buch haben wir an einer aktualisierten Version des illustrierten Transformers gearbeitet und beschrieben, wie wie man LMS mit praktischen Programmierbeispielen anleitet, verwendet und trainiert, und wir freuen uns darauf, einige dieser Ideen mit euch zu teilen. Vielen Dank, Jay und Andrew. In diesem Kurs erhaltet ihr einen Überblick darüber, wie sich Sprachmodelle zur Transformer Architektur entwickelt haben, wobei der Schwerpunkt auf der Sprachdarstellung liegt. Sie werden frühe Darstellungen sehen, bei denen große, spärliche Vektoren einfach das Vorhandensein eines Wortes für die kleineren, dichten kontextuellen Einbettungen markieren. Die die Bedeutung eines Wortes im Kontext der Sätze darstellen, in denen sie sich befinden. Sie werden auch die Bedeutung dieser mysteriösen und viel zu oft verwendeten Worteinbettung kennenlernen. Anschließend werden Sie untersuchen, wie LLM Eingaben in Token zerlegt werden, die Wörter oder Wortteile darstellen, bevor sie an das Sprachmodell gesendet werden. Es gibt mehrere gängige Tokenisierer und Sie werden sehen, wie sie sich unterscheiden. Sie werden Auch erfahren, wie LLMs jedes Token einem Einbettungsvektor zuordnen. Anschließend werden Sie sich die Komponenten der LLM Architektur genauer ansehen und erfahren, wie Decoder only LLMs Ausgaben generieren. Sie lernen die Details des Transformer Blocks kennen und wie er sich in den Jahren seit der Veröffentlichung des ursprünglichen Papers weiterentwickelt hat. Sie werden eine Implementierung aktueller Modelle in der Hugging Phase Transformers Bibliothek untersuchen. Nach Abschluss dieses Kurses werden Sie verstehen, wie LM genau funktioniert, und Sie haben Intuitionen, die Ihnen helfen, Anwendungen mit lms zu erstellen. Ich hoffe, Ihnen hat der Kurs gefallen.