New course with StatQuest with Josh Starmer! Attention in Transformers: Concepts and Code in PyTorch

Ich freue mich, die Konzepte und den Code von Attention in Transformers in P TORCH vorzustellen, die von Josh Stallmer unterrichtet werden. Josh ist CEO von StadtQuest, einem Online Anbieter von Lehrmaterial zu den Themen Key Data Science, maschinelles Lernen und Statistik. Ich freue mich, hier mit Ihnen zu sein, Andrew, und diesen Kurs zu leiten. Der Attention Mechanismus war ein wichtiger technischer Durchbruch, der schließlich zum Transformer Netzwerk führte, das die Schlüsselarchitektur darstellt, die großen Sprachmodellen wie JPT zugrunde liegt. Man kann also ohne Übertreibung sagen, dass der Attention Mechanismus und Transformer Netzwerke die KI revolutioniert haben. In diesem Kurs lernen Sie den Attention Mechanismus in Transformers kennen. Transformers wurden in einem Paper aus dem Jahr 2017 mit dem Titel Attention is all you need von Ashish Mayani und anderen eingeführt. Der Attention Mechanismus gewichtet verschiedene Positionen einer Eingabesequenz, um eine Ausgabesequenz zu berechnen. Das ursprüngliche Paper beschrieb eine maschinelle Übersetzungsanwendung und ein Modell mit zwei Transformern, einem Encoder und einem Decoder. Das Decoder Modell wurde seitdem als Grundlage für OpenASGPT oder generative vortrainierte Transformer Modellfamilie sowie für die meisten anderen gängigen Modelle wie Strom, Entropic, Google Mistral und mehr verwendet. Im ursprünglichen Paper wurden sechs Attention Ebenen verwendet. Während das kürzlich veröffentlichte Modell Lama 3.2 VB beispielsweise 126 Ebenen aufweist. Wichtig ist jedoch, dass es immer noch dieselbe grundlegende Architektur aufweist, wie Sie in diesem Kurs mit Josh lernen werden, wurde das Encoder Modell als Grundlage für BERT oder die birektalen Encoder Darstellungen von Transformern verwendet, was wiederum die Grundlage für fast alle Einbettungsmodelle ist, die Sie heute zum Erstellen von Einbettungsvektoren für REC oder Reckemener Anwendungen verwenden. In diesem Kurs lernen Sie die Ideen hinter Attention, den Algorithmus selbst und wie man ihn in ptorch codiert. Jedes Konzept wird Schritt für Schritt erklärt, so dass es für jeden leicht verständlich ist. Sie erfahren mehr über Abfrage, Schlüssel und Wertmatrizen, wozu sie dienen, wie man sie erstellt und in Attention einsetzt. Sie lernen den Unterschied zwischen Self Attention, Masked Attention und Cross Attention kennen und erfahren, wie Multi Head Attention den Algorithmus skaliert. In diesem Kurs haben Sie die Möglichkeit, diese grundlegende Technik zu erlernen. Ich hoffe, Sie schenken diesem Kurs Ihre Volle Aufmerksamkeit.