LARRUZ introduces reinforcement fine-tuning for language models using GRPO, developed with Predbase. The course covers reward function design in Python, how to avoid reward hacking, and trains an LLM to play Wordle as a practical example.
Ich freue mich, die bestärkende Feinabstimmung von.
LMS mit GRPO vorzustellen, die in Zusammenarbeit mit Predbase entwickelt und von Travis Derek, CTO und Mitbegründer und ANEFG Senior Machine Learning Engineer bei Predase unterrichtet. Wird.
Die Wiederverwendung von Modellen war eine der wichtigsten Entwicklungen bei LMS. In diesem Kurs lernst du eine wichtige.
Technik des bestärkenden Lernens kennen, mit der.
Diese deutlich besser funktionieren.
Insbesondere lernst du, wie man die bestärkende Feinabstimmung oder RFT implementiert. Anstatt einem Modell zu zeigen, wie es.
Eine Aufgabe mit Hilfe von von Menschen gekennzeichneten oder kuratierten Beispielen ausführt, wie es normalerweise bei der überwachten Feinabstimmung geschieht, verwendet RF stattdessen Belohnungen, um OHM dazu zu.
Motivieren, eigene Lösungen für mehrstufige Denkaufgaben zu finden, Das Lösen von mathematischen Problemen oder das Debuggen von Code.
Dies führt zu deutlich besseren Denkfähigkeiten als die alleinige überwachte Feinabstimmung und das mit deutlich weniger Trainingsdaten.
Die RFT Implementierung verwendet GRPO Group Relative Policy Optimization zur Modell Aktualisierung im Training. GRPO wurde vom deepseek Team entwickelt und wurde verwendet, um das R Denkmodell zu trainieren.
Es nutzt Belohnungsfunktionen, die du in Python.
Schreiben kannst, um Modellantworten Belohnungen zuzuweisen. In diesem Kurs lernst du, wie du.
Diese Belohnungsfunktionen entwirfst und wie du sie zur Feinabstimmung der Verstärkung für LMS mit GRPO verwendest.
Um RFT in Aktion zu sehen, trainierst du damit ein LLM für Wordle, ein beliebtes Wort Wordrätselspiel, das mehrstufiges Denken erfordert.
Modellfehler helfen dir, Belohnungsfunktionen für gültige Lösungen und Feedback zur Verbesserung von Vermutungen zu entwickeln. Du lernst allgemeine Prinzipien zum Erstellen von Belohnungsfunktionen für diverse Anwendungsfälle und wie man.
Belohnungshacken vermeidet, wobei Modelle Belohnungen maximieren, ohne das Problem zu lösen. Als Nächstes siehst du dir genauer an, wie der Verlust in GRPO berechnet wird.
Indem du die Schritte des Algorithmus codierst.
Schließlich siehst du, wie du RFD für.
Das Wordle Problem mit fedebase einrichtest und die endgültige Leistung des optimierten LLM mit anderen Modellen vergleichst. Gute Argumentationsfähigkeiten von ELS sind wichtig für Agentensysteme.
RFT verbessert Die Argumentation kleiner OMs, besonders.
Bei Einzelaufgaben und ermöglicht schnellere, günstigere Anwendungen.
Ich denke, diese Technik ist wichtig zu kennen. Obwohl RF anfangs etwas Arbeit erfordert kann.
Lohnt sich der Aufwand.
Ich hoffe, der Kurs gefällt Ihnen.
