AI training has two stages: pre-training on internet data, then post-training where labs use domain experts in fields like medicine, law, and math to refine models. As models got better, the bottleneck shifted from gathering more data to getting specialized knowledge from experts.
Chapters
Wie sieht das Training eines Modells aus? Es gibt im Grunde zwei das Prä Training und das Posttraining. Lange Zeit konzentrierten sich KI Anbieter im Grunde darauf, immer mehr Informationen auf der Pre Training Seite des Prozesses zu sammeln. Vor etwa Monaten begannen wir jedoch einen Anstieg der Gewinne zu verzeichnen, da sie im Wesentlichen das gesamte Wissen aus dem Internet aufgesaugt hatten. Daher verlagerten die Labore ihren Fokus nun hauptsächlich auf die Post Trainingseite des Prozesses. Sie erweiterten und verbesserten die Daten, die ihnen in allen für sie relevanten Disziplinen oder Kompetenzbereichen zur Verfügung standen. Bevor das Modell besser wurde, nutzte ein Großteil des Marktes talentierte, internationale und kostengünstigere Arbeitskräfte, um grundlegende allgemeine Aufgaben zu erledigen. Inzwischen sind die Modelle jedoch so gut geworden, dass keine Generalisten mehr benötigt werden. Was sie wirklich brauchen, sind Experten in allen Bereichen, auf die sich die Modelle konzentrieren Wissen, fortgeschrittene MINT Bereiche, fortgeschrittene naturwissenschaftliche und mathematische Bereiche und dann die Art von abgeleiteten Funktionen wie Buchhaltung, Recht, Medizin, Finanzen, bei denen sie die Modelle leistungsfähiger machen wollen.
