Kurztranskript (Deutsch) über eine Verschiebung im Training von KI-Modellen: Anbieter hatten lange vor allem in groß angelegtes Prätraining investiert, bis die Renditen nachließen. Laboratorien verlagerten den Fokus auf Posttraining (gezielte, hochwertige Daten und Aufgaben), wodurch spezialisierte Fachexpert:innen (fortgeschrittene MINT- und berufsbezogene Bereiche wie Recht, Medizin, Finanzen, Buchhaltung) wichtiger werden als allgemeine Arbeitskräfte.
Chapters
Wie sieht das Training eines Modells aus? Es gibt im Grunde zwei das Prä Training und das Posttraining. Lange Zeit konzentrierten sich KI Anbieter im Grunde darauf, immer mehr Informationen auf der Pre Training Seite des Prozesses zu sammeln. Vor etwa Monaten begannen wir jedoch einen Anstieg der Gewinne zu verzeichnen, da sie im Wesentlichen das gesamte Wissen aus dem Internet aufgesaugt hatten. Daher verlagerten die Labore ihren Fokus nun hauptsächlich auf die Post Trainingseite des Prozesses. Sie erweiterten und verbesserten die Daten, die ihnen in allen für sie relevanten Disziplinen oder Kompetenzbereichen zur Verfügung standen. Bevor das Modell besser wurde, nutzte ein Großteil des Marktes talentierte, internationale und kostengünstigere Arbeitskräfte, um grundlegende allgemeine Aufgaben zu erledigen. Inzwischen sind die Modelle jedoch so gut geworden, dass keine Generalisten mehr benötigt werden. Was sie wirklich brauchen, sind Experten in allen Bereichen, auf die sich die Modelle konzentrieren Wissen, fortgeschrittene MINT Bereiche, fortgeschrittene naturwissenschaftliche und mathematische Bereiche und dann die Art von abgeleiteten Funktionen wie Buchhaltung, Recht, Medizin, Finanzen, bei denen sie die Modelle leistungsfähiger machen wollen.