Google's Secret AI Weapon? AlphaEvolve Just Changed Everything

Vor ein paar Tagen stellte Google DeepMind Alpha Evolve vor, einen Gemini gestützten Codierungsagenten für die algorithmische Erkennung. Ich glaube, die meisten Leute verstehen die Tragweite dessen nicht wirklich, denn es ist eines der ersten Male, dass wir KI in einem realen Anwendungsfall etwas tun sehen, das tatsächlich dazu verwendet wird, den Feedback Zyklus der KI Entwicklung zu beschleunigen. Mittlerweile hat diese Technologie die Welt im Sturm erobert und in diesem Video erkläre ich euch alles, was ihr wissen müsst und warum das ein so unglaublicher Durchbruch ist. Im Grunde handelt es sich dabei um ein agentenbasiertes System, das schnellere Algorithmen für die Matrixmultiplikation entwickeln, neue Lösungen für offene mathematische Probleme finden und Rechenzentren, Chip Design und Key Training bei Google effizienter gestalten konnte. Ich zeige euch jetzt, wie das alles funktioniert. Es ist zwar gut zu wissen, was es tut, aber wie tut es das? Wir können uns unter anderem einen kurzen Überblick über Alpha Evolve ansehen. Hier haben wir also den Menschen, der im Wesentlichen definiert, was wir messen wollen. Was ist das Ziel? Hier versucht man im Wesentlichen zu messen, ob etwas gut ist. Man gibt also im Wesentlichen einen Startcode oder Hintergrundinformationen vor. Und nun ist es die Aufgabe des Roboters herauszufinden, wie man diesen Code verbessern kann. So funktioniert das System. Wir haben die Programmdatenbank, in der alle ausprobierten Code-Versionen und deren Leistung. Gespeichert sind. Im Grunde ist es wie ein großer Code Speicher. Wir haben den Prompt Sampler, der den alten Code und die Ideen aus der Datenbank holt und sie dann in eine Nachricht umwandelt, die an die Key gesendet wird. Dann haben wir den LM und das Sample, das im Wesentlichen die Eingabeaufforderung liest und neue, verbesserte Versionen des Codes schreibt. Und hier haben wir den Evaluatoren Pool, in dem der neue Code ausgeführt wird, bewertet und beurteilt wird. Ist er besser, schneller oder billiger. Das ist der gesamte Kreislauf. Bei Verbesserung Rücklauf der neuen Version in die Datenbank, Kreislauf fortgesetzt. Insgesamt erhalten Sie mit Alpha Evolve also am Ende eine bessere Version Ihres Codes, die durch wiederholtes Ausprobieren, Testen und Verbessern entwickelt wurde. Und diese Schleife verbessert Ihren Code im Laufe der Zeit buchstäblich kontinuierlich. Das Verrückteste an der ganzen Sache ist nun, dass es sich hierbei nicht nur um eine schicke Demo oder etwas handelt, mit dem Google sein Ranking in der Welt der künstlichen Intelligenz verbessern wollte. Google hat dies tatsächlich in sein Kernsystem implementiert und verwendet Alpha Evolve nun, um Google in allen Bereichen zu verbessern. Sie verbessern eine Rechenzentrumsoptimierung mit Hilfe des Borg Scheduling Problems, bei dem Google Aufträge auf seinen riesigen Serverfarmen plant und dabei manchmal Ressourcen wie Arbeitsspeicher oder CPUs verschwendet. Und Alpha Evolve hat tatsächlich eine Lösung dafür gefunden. Das Unternehmen hat eine einfache neue Heuristik für die Auftragsplanung entdeckt, mit deren Ergebnis 0,7 Prozent der Rechenressourcen der gesamten Google Flotte wiederhergestellt werden konnten. Das Whitepaper beschreibt die IGE durchschnittliche Wiederherstellung von Googles Rechenressourcen durch diese heuristische Funktion. Nach der Bereitstellung bei der TPU Schaltungsoptimierung gab es ein Problem. Die für KI Training eingesetzte TPU Hardware erfordert optimierte Schaltungen für Leistung und Energieeffizienz. Alpha Evolve fand eine Lösung. Es hat Verilog, die Hardware Designsprache, modifiziert, um unnötige Bits zu entfernen, und das Ergebnis bedeutete, dass der Stromverbrauch und die Fehlerauslastung in der missionskritischen TPU Recheneinheit reduziert wurden. Darauf wurde in dem Paper verwiesen. Alpha Evolve fand eine einfache, von Ingenieuren verifizierte Neufassung. Diese wurde in eine zukünftige TPU integriert. Außerdem wurde die Software optimiert. Es gab ein Gemini Trainingsproblem. Der Trainingsprozess von Googles Gemini verlangte immense Rechenleistung. Alpha Evolved fand die Lösung. Die Kernebene wurde optimiert. Das beeinflusst die Matrix Multiplikation. Das Ergebnis war eine Beschleunigung von 23 Prozent bei kritischen Kerneln und eine Verkürzung der gesamten Trainingszeit von Gemini um ein Prozent. In dem Paper Bezug heißt es, dass die von Alpha Evolve entdeckte Tilling Heuristik in der Produktion eingesetzt wurde, um die Trainingseffizienz von Gemini zu verbessern. Insgesamt können wir hier sehen, dass es drei Schlüsselbereiche gab, in denen Alpha Evolve die Gesamteffizienz von Google verbessern konnte. Was passiert, wenn effiziente KI sich selbst verbessert und noch effizientere KI erzeugt? Wir können absehen, wie sich die Dinge in Zukunft noch weiter beschleunigen könnten. Eines der verrücktesten Dinge über die die Leute reden, ist die Tatsache, dass es einen großen Durchbruch bei der Matrizenmultiplikation geschafft hat. Matrizenmultiplikation ist fundamental in Informatik und KI. Anwendung findet sie in neuronalen Netzen, Grafikrendering, Physiksimulationen und Suchalgorithmen. Das Ziel besteht darin, zwei Matrizen so effizient wie möglich zu multiplizieren. Der Clou dabei ist, dass bereits 1969 ein Mann namens Vulcanstrassen einen Weg fand, 2 mal 2 Matrizen mit 7 Multiplikationen anstelle der üblichen 8 zu multiplizieren. Und das war enorm, denn kleinere Multiplikationen bedeuteten schnellere Rechenleistungen. Und durch das Stapeln von Strassens Methode konnte man vier mal vier Matrizen in 49 Multiplikationen multiplizieren. Und 56 Jahre lang fand niemand einen Weg, diese Zahl zu übertreffen. Aber Alpha Evolve fand einen neuen Weg, 4 mal 4 Matrizen mit nur 48 Multiplikationen zu multiplizieren und brach damit erstmals den Rekord von 1969. Und das gelang dem Unternehmen, indem es den Code weiterentwickelte, die Ergebnisse testete und nur Verbesserungen ohne menschliche mathematische Beweise im Vorfeld beibehielt. Es entwarf einen Suchalgorithmus, der den eigentlichen Algorithmus entdeckte, eine Art KI gestützte Metainnovation. Und das ist nicht nur eine mathematische Spielerei. Modelle wie Gemini, GPT und Claude rechnen beim Training Milliarden Matrixmultiplikationen, und selbst eine einzige Matrixmultiplikation pro Operation bedeutet enorme Einsparungen bei der Rechenleistung im großen Maßstab. Diese Entdeckung beschleunigt also direkt die Matrixmultiplikationskerne, die in der KI-Infrastruktur von Google verwendet. Werden, und insgesamt führte dies tatsächlich zu einer Beschleunigung der Trainingszeit von Gemini um ein Prozent. Wir können also tatsächlich hören, was einige der Autoren dieses Dokuments zu sagen haben. Zusammenhängend ist kurz erwähnt sei Alpha Evolutions Möglichkeit, die wir noch nicht genutzt haben, ein zukunftsorientiertes System zur Erweiterung des Basismodells. Die Leistungsfähigkeit des Basismodells ist bereits vorhanden, aber dieses System verbessert sie durch die Orchestrierung dieser Testzeit Berechnungspipeline sogar noch, und zwar so sehr, dass man damit neue wissenschaftliche Entdeckungen machen kann. Das wirft natürlich die Frage Können wir diese verbesserte Leistungsfähigkeit irgendwie wieder in das Basis Basismodell zurückführen. Das wäre etwas, das man erhalten würde, wenn man den Regelkreis des bestärkenden Lernens schließen würde. Das haben wir mit Alpha Evolve nicht getan, aber diese Möglichkeit steht eindeutig auf dem Tisch. In einem anderen Teil des Machine Learning Street Talks sprechen Sie darüber, dass dies, wie ich bereits erwähnt habe, das Basismodell von Gemini verbessern und möglicherweise diesen sich selbst verbessernden Regelkreis in Gang. Setzen könnte. Natürlich wird nicht eine Key, die sich irgendwo in einer Fabrik von selbst verbessert, einfach super intelligent, sondern vielmehr jeder Teil dieses Prozesses verbessert. Letztendlich wird der gesamte Prozess schneller und man kann im Wesentlichen schneller iterieren, um KI Systeme zu entwickeln, die insgesamt intelligenter sind, sich weiterentwickelt und die Basismodelle selbst verbessern. Sie haben es also endlich geschafft, den Kreislauf der rekursiven Selbstverbesserung zu schließen. Ich weiß nicht, ob das bei manchen Leuten auffällt. Gibt es dazu irgendwelche Gedanken? Was würde Schmidt Huber sagen? An dieser Stelle möchten wir ganz genau sagen, was wir getan haben. Wir haben einen Weg gefunden, das Training der nächsten Version von Gemini um ein Prozent zu beschleunigen und wir konnten Ressourcen im Rechenzentrum B freisetzen. Wenn man also über die Feedbackschleife nachdenkt, dauert es derzeit vielleicht Monate. Richtig. Wenn man also das Training der nächsten Version von Gemini beschleunigt, wird es einige Zeit dauern, bis sie tatsächlich ankommt. Aber tatsächlich sehen wir die Schritte in die Richtung, die du beschrieben hast, Alex? Irgendwelche Gedanken zur rekursiven Selbstverbesserung von Alpha Evolve? Ja, ich glaube, ich muss nichts hinzufügen. Wie Kumpel schon sagte, ist es interessant zu sehen, wie sich das entwickelt. Wir sehen einige Anzeichen dafür, dass es dem Gemini Trainingsgelände hilft. Ja, das ist aufregend. Und hier bei Machine Learning Street Talk erhalten wir tatsächlich einige Informationen darüber, wie es mit Alpha Evolve weitergeht. Denn ich war tatsächlich ziemlich fasziniert davon, wie es oft bei diesen wirklich tollen Ankündigungen, Demos und Informationen über Dinge zugeht, die im Grunde bahnbrechend sind. Aber wie geht es mit diesen Innovationen, die Google entwickelt hat, weiter? Und ich frage mich nur, wie der nächste Schritt in Sachen Autonomie aussehen würde. Vielleicht könnten wir das Ding tatsächlich dazu bringen, sich vorzustellen, was seine eigene Bewertungsfunktion ist und Vielleicht könnte es noch ein paar Schritte weitergehen. Wie würde das aussehen? Ehrlich gesagt, aus meiner Sicht ist es cool und aufregend, manche Dinge zu automatisieren. Gleichzeitig würde ich sogar zu etwas weniger Automatisierung tendieren. Ich denke, was Alpha Evolve so cool und leistungsstark macht, ist diese Art von Hin und Her zwischen Mensch und Maschine. Die Menschen stellen Fragen, das System gibt dir eine Art Antwort und dann verbesserst du deine Intuition. Du verbesserst deine Fähigkeit, Fragen zu beantworten und stellst mehr Fragen. Wir denken also viel darüber nach, Akademikern als vertrauenswürdige Tester Zugang zu Alpha Evolve zu gewähren, um zu sehen, was sie damit machen können. Und während wir versuchten, das zu entwickeln und die Benutzeroberfläche zu erstellen und haben wir viel darüber nachgedacht, nicht nur das zu implementieren, was wir als Website haben, sondern auch, wie die nächste Stufe der Interaktion zwischen Mensch und KI aussehen könnte. Was können Menschen tun, um in den Prozess einzugreifen? Wollen sie den Prozess vielleicht überwachen, Ideen kommentieren und weitere Ideen einbringen? Das erforschen wir gerade sehr intensiv und ich finde es sehr spannend zu sehen, was in dieser Art von Symbiose alles möglich ist.

Google hat auch erwähnt, dass Demi in einem Artikel in der Financial Times ein paar Dinge für die Zukunft erwähnt hat. Er erwartet, dass Menschen immer komplexere Aufgaben selbstständig ausführen können. Laut Prognose gibt es in wenigen Jahren einen KI Agenten zur sinnvollen Automatisierung der KI Forschung. Das bringt mich zurück zu etwas, das wir alle sehr gut kennen. Wenn Sie sich an die situationswahrnehmung des ehemaligen OpenAI Mitarbeiters erinnern, der im Wesentlichen aus mehreren, durchaus umstrittenen Gründen gefeuert wurde, dann denken Sie daran, dass er Wir müssen nicht alles automatisieren, nur die KI Forschung. Aus diesem Grund wird die Explosion der Intelligenz so heftig diskutiert, denn wir müssen nur in der Lage sein, diese eine Feedbackschleife erfolgreich aufzubauen, damit die Auswirkungen nachgelagert spürbar werden. Denn wenn wir das schaffen, werden wir im Wesentlichen das Wissen von einem Jahrzehnt oder 100 Jahren auf nur wenige Monate komprimieren. Und wenn das geschieht, führt das natürlich zu mehr Feedbackschleifen, die wiederum zu noch mehr Durchbrüchen führen. Insgesamt können wir hier also sehen, warum wir nicht viele Dinge brauchen, damit KI die Forschung automatisieren kann. Die Arbeit von KI-Forschern und Ingenieuren in führenden Laboren, kann vollständig virtuell erledigt werden und stößt nicht wie andere Bereiche auf Engpässe in der realen Welt. Lesen Sie maschinelle Lernliteratur. Entwickeln Sie neue Fragen oder Ideen, testen Sie diese experimentell, interpretieren Sie die Ergebnisse und wiederholen Sie den Prozess. Sobald dieses System aufgebaut ist, wird es richtig losgehen. Das Verrückte an dem, was in dem Paper angesprochen wird, ist, dass einige der größten Durchbrüche nicht ganz trivial waren, wie etwa die Behebung eines Implementierungsfehlers bei den Chinchilla Skalierungsgesetzen und das Hinzufügen einiger Normalisierungen. KI Forschung kann also automatisiert werden, und bei der Automatisierung von KI Forschung geht es darum, Dinge zu beschleunigen. Genau das ist nötig, um außergewöhnliche Feedbackschleifen in Gang zu setzen, wie wir es zu Beginn dieses Videos gesehen haben. Das Verrückte daran ist, dass wir im Grunde genommen auf dem richtigen Weg sind, denn jetzt schreiben wir das Jahr 2025. Wenn wir in die Zukunft blicken, ist das wahrscheinlich noch etwa drei Jahre entfernt, denn wir hatten gerade diesen riesigen Durchbruch, bei dem ein KI-System bestimmte mathematische Probleme lösen oder bahnbrechende Ergebnisse erzielen konnte. Wer sagt uns, dass wir in drei Jahren nicht einen automatisierten KI Forscher haben werden, der bahnbrechende Ergebnisse erzielen kann, die eine sinnvolle Implementierung in aktuelle KI Systeme ermöglichen? Ich meine, es ist ziemlich wahrscheinlich, dass diese Feedbackschleifen viel aggressiver sein werden, was möglicherweise bis 2030 zu Superintelligenz führen. Wird. Ich weiß, es klingt wie Fiktion, aber mit jedem einzelnen Tag und all den Nachrichten, die ich lese, scheint es immer wahrscheinlicher, dass dies der Fall ist.