Anthropic CEO's New Warning: We're Losing Control of AI – And Time is Running Out....

Eines der größten Probleme bei der KI, über das nie wirklich gesprochen wird, ist die Tatsache, dass wir nicht wirklich verstehen, was in diesen Modellen vor sich geht. Im heutigen Video werde ich mit euch über Dario Ahmeds aktuellen Blogbeitrag mit dem Titel Die Dringlichkeit der Interpretierbarkeit sprechen. Das ist nur der Fachbegriff dafür, wie genau KI Modelle funktionieren. Eines der Dinge, die wir jetzt verstehen müssen, ist, dass wir nicht wirklich verstehen, wie KI Modelle intern funktionieren. Es ist kein System, für das wir Code und Funktionen geschrieben haben, um zu verstehen, wie es auf granularer Ebene funktioniert. Das ist ein System, das wirklich zufälliger ist, als wir denken. Daher hat er seinen Blogbeitrag Die Dringlichkeit der Interpretierbarkeit genannt, und er handelt davon, wie wichtig es ist, KI Modelle zu verstehen, insbesondere angesichts der Tatsache, dass wir in naher Zukunft superintelligente Modelle haben werden. In diesem Jahrzehnt seiner KI Arbeit hat er deren Entwicklung von einem winzigen akademischen Feld zu einem der wohl wichtigsten wirtschaftlichen und geopolitischen Themen der Welt verfolgt. In all dieser Zeit habe ich vielleicht die wichtigste Lektion gelernt. Der Fortschritt dieser zugrundeliegenden Technologie ist unaufhaltsam. Unaufhaltsam und zu mächtig, um ihn aufzuhalten. Doch wie er geschieht, die Reihenfolge des Aufbaus und die gewählten Anwendungen, das können wir ändern. Im Grunde genommen versucht er zu sagen, dass wir ihn steuern können. Wir können diesen Bus nicht anhalten. KI ist im Grunde genommen eine Unvermeidlichkeit, aber wir können den Bus in die richtige Richtung lenken. Er bezieht sich auf den vorherigen Artikel, in dem er über die positiven Auswirkungen auf die Welt sprach. Wenn KI der Welt im Wesentlichen hilft und dafür sorgt, dass Demokratien die Technologie entwickeln und einsetzen, bevor Autokratien dies tun. Und in den letzten Monaten sagt er im Grunde, dass er sich zunehmend auf eine weitere Möglichkeit konzentriert, den Bus zu steuern. Die verlockende Möglichkeit, die sich durch einige der jüngsten Fortschritte eröffnet, dass wir tatsächlich bei der Interpretierbarkeit erfolgreich sein könnten, d. H. Die inneren Abläufe von KI Systemen verstehen könnten, bevor die Modelle ein überwältigendes Maß an Macht erreichen. Eine Sache, die er hier sagt, ist, dass er tatsächlich zugibt, dass Leute außerhalb des Fachgebiets oft überrascht und alarmiert sind, wenn sie erfahren, dass wir nicht verstehen, wie unsere eigenen KI Kreationen funktionieren. Und natürlich erscheint das ziemlich verrückt, wenn man darüber nachdenkt. Stellen Sie sich eine Branche vor, in der supermächtige Technologien entwickelt werden, deren Funktionsweise niemand versteht. Ich wäre ziemlich überrascht und etwas verwirrt, und er sagt, Sie hätten allen Grund, besorgt zu sein. Dieses mangelnde Verständnis ist im Grunde beispiellos in der Geschichte der Technologie. Seit mehreren Jahren versuchen sowohl die Menschheit als auch das Fachgebiet insgesamt, dieses Problem zu lösen, um ein Analogon eines hochpräzisen und genauen MRT zu entwickeln, das die inneren Abläufe eines KI Modells vollständig aufzeigen würde. Dieses Ziel schien lange unerreichbar, doch neue Erfolge überzeugen mich. Wir sind richtig unterwegs und haben echte Erfolgschancen. Und im Wesentlichen spricht er hier über die Tatsache, dass sich das KI Feld zu schnell entwickelt. Das Gebiet der KI als Ganzes ist unseren Bemühungen um Interpretierbarkeit weiter voraus und entwickelt sich selbst sehr schnell weiter. Schnelles Handeln ist nötig, damit Interpretierbarkeit rechtzeitig ausgereift ist. Und wenn wir uns die Lage wirklich ansehen, können wir feststellen, dass sich das KI Feld im Vergleich zur KI Forschung viel zu schnell entwickelt, als dass wir verstehen könnten, was wir tatsächlich tun. Und hier sagt er, dass wir sicherstellen müssen, dass diese Art von Forschung mit der Geschwindigkeit der KI Forschung Schritt hält. Hier besteht also die Gefahr der Ignoranz. Moderne generative KI Systeme sind auf eine Weise undurchsichtig, die sich grundlegend von herkömmlicher Software unterscheidet. Wenn ein gewöhnliches Softwareprogramm etwas tut, z. B. Eine Figur in einem Videospiel eine Dialogzeile sagt oder meine Essensliefer App es mir ermöglicht, meinem Fahrer ein Trinkgeld zu geben, dann tut es diese Dinge, weil ein Mensch sie programmiert hat. Und das sind wir gewohnt. Das Problem mit generativer KI ist jedoch, dass sie überhaupt nicht so ist. Sie ist im Wesentlichen probabilistisch. Wenn ein generatives KI-System beispielsweise ein Finanzdokument zusammenfasst, haben wir auf einer bestimmten oder präzisen Ebene tatsächlich keine Ahnung, warum es die Wahl trifft, die es trifft, warum es bestimmte Wörter anderen vorzieht oder warum es gelegentlich einen Fehler macht, obwohl es normalerweise genau ist. Wie mein Freund und Mitbegründer Chris Orler gerne sagt, werden generative KI Systeme eher entwickelt als gebaut. Ihre internen Mechanismen sind eher emergent als direkt konzipiert. Pflanzen oder Bakterienwachstum so ähnlich. Man legt die Bedingungen fest und formt dann das Wachstum. Die resultierende Struktur bleibt unvorhersehbar. Und rätselhaft. Daher denke ich, dass es wichtig ist, dass ihr diese Wahrheit versteht, denn es ist wirklich schwer, dieses Konzept zu begreifen. Aber wenn die Leute verstehen würden, dass diese Systeme entwickelt werden, dann würden sie verstehen, warum eines der Dinge, die diese Modelle immer noch tun, nämlich halluzinieren, jetzt offensichtlich ist. Und das ist natürlich ein wirklich großes Problem, wenn wir nicht wirklich verstehen, wie diese Dinge ihre Entscheidungen treffen. Denn je intelligenter sie werden, desto wichtiger werden ihre Entscheidungen. Es geht also darum, dass wir sicherstellen müssen, die internen Mechanismen dieser Modelle wirklich zu verstehen. Es geht darum, dass viele der Risiken und Sorgen, die mit generativer KI verbunden sind, letztlich Folgen dieser Intransparenz sind und es viel einfacher wäre, sie anzugehen, wenn die Modelle interpretierbar wären. KI Forscher befürchten schädliche, von den Entwicklern nicht intendierte Aktionen fehlgeleiteter Systeme. Da wir die internen Modellmechanismen nicht verstehen können, können wir solche Verhaltensweisen weder vorhersagen noch ausschließen. Tatsächlich zeigen Modelle unerwartete, emergente Verhaltensweisen, obwohl keines davon Anlass zu größerer Besorgnis gegeben hat. Und genau das ist der Punkt. Wenn wir wirklich nicht sehen können, was in diesen Modellen vor sich geht, woher sollen wir dann wissen, ob sie sicher sind oder nicht? Das ist etwas, das wir unbedingt tun müssen, bevor wir sie weltweit einsetzen. Die Auswirkungen auf die KI sind im Wesentlichen unendlich. Wenn das der Fall ist, ist es sinnvoll, sie wirklich zu verstehen, bevor wir etwas in unsere Gesellschaft einbetten. Wenn wir darüber nachdenken, wie verrückt es ist, dass wir dieses Modell verwenden. Wenn wir uns viele andere Branchen ansehen, wie viele Regeln und Vorschriften gibt es dort? In der Lebensmittelindustrie gibt es die FDA, in der Pharmaindustrie gibt es andere Aufsichtsbehörden, die sicherstellen, dass auf dieser granularen Ebene alles sicher ist. Aber im Moment ist KI im Wesentlichen nur ein Computerprogrammierer, also nicht so riskant. Aber das wird sich in Zukunft wahrscheinlich ändern. An dieser Stelle ist also die Rede von Machtstreben. Das ist eines der größten Probleme mit KI. Das liegt daran, dass die Art des KI Trainings es ermöglicht, dass KI Systeme von sich aus die Fähigkeit entwickeln, Menschen zu täuschen und eine Neigung Macht zu erlangen, wie es bei normaler deterministischer Software niemals der Fall sein wird. Und diese emergente Natur macht es schwierig solche Entwicklungen zu erkennen und abzuschwächen. Das heißt Leute, wenn wir weiterhin immer leistungsfähigere Modelle entwickeln, wie sollen wir dann wirklich verstehen, was in der Haube vor sich geht, vor allem, wenn sie uns über bestimmte Dinge anlügen. Modelle können interne Ziele haben, sie können machtorientiert sein, sie können kontrollierend sein und im Idealfall. Im Idealfall möchten wir schon im Voraus genau wissen, was vor sich geht. Uns gelingt es nicht, die Modelle auf frischer Tat zu erwischen. Es wird erwähnt, dass sich Modelle meist nicht für Verhaltensvorhersagen einfangen lassen. Wir können sie nicht dabei erwischen, wie sie machthungrige, betrügerische Gedanken hegen. Das Einzige, was uns bleibt, sind vage theoretische Argumente, dass das Modell möglicherweise einen Anreiz hat, während des Trainingsprozesses aufzutauchen, was manche Leute absolut überzeugend finden und andere lächerlich wenig überzeugend. Und eines der Dinge, über die Sie in diesem Blogbeitrag nicht sprechen. Aber ich erinnere mich an eine aktuelle Forschungsarbeit, die im Grunde davon handelte, dass Claude manchmal weiß, wann er sich in der Trainingsphase befindet. So oft können bestimmte Überzeugungen verborgen werden. Wie kann man dem entgegenwirken, wenn das Modell wirklich versteht, was vor sich geht? Eines der Probleme mit Modellen, weshalb es immer noch zu Jailbreaks kommt, ist die Tatsache, dass es immer eine prozentuale Chance gibt, dass jemand das Modell jailbreaken kann, da diese erstellt wurden. Die Filterung von Modellen wird diskutiert, doch die Möglichkeiten, sie zu überlisten, sind schier unendlich und die einzige Möglichkeit, die Existenz eines Jailbreaks zu entdecken, besteht darin, ihn empirisch zu finden. Wenn es stattdessen möglich wäre, in die Modelle hineinzuschauen, könnten wir möglicherweise systematisch alle Jailbreaks blockieren und auch charakterisieren, über welches gefährliche Wissen die Modelle verfügen. Im Grunde genommen bedeutet dies, dass sie, wenn sie wirklich eine Möglichkeit hätten, in die Modelle hineinzuschauen, im Idealfall einen Weg finden könnten, um Jailbreaks zu verhindern und Missbrauch zu vermeiden. Derzeit lässt sich kein Modell zu 100 Prozent vor einem Jailbreak schützen. Wir verlassen uns im Grunde genommen nur auf die menschliche Fähigkeit, Verantwortung zu übernehmen. Und genau aus diesem Grund gibt es für diese KI Modelle keine Anwendungen mit hohem Risiko. KI Systeme sind oft intransparent. Deshalb fehlen sie in Finanz und Sicherheitsbereichen, da wir ihr Verhalten nicht vollends kontrollieren können und wenige Fehler schwerwiegende Folgen haben. Eine bessere Interpretierbarkeit könnte unsere Fähigkeit, den Bereich möglicher Fehler festzulegen, erheblich verbessern. Bei manchen Anwendungen verhindert die Intransparenz der Modelle deren Einführung sogar rechtlich. Einige Branchen sind stark reguliert, Erinnern Sie sich? G Native Key darf dort nicht eingesetzt werden. Wir wissen nicht, was im Modell geschieht und können nicht genau genug vorhersagen, dass der Durchschnittsbürger nicht benachteiligt wird. Sie sprechen darüber, dass beispielsweise ein Rechtsmakler für deren Anwendung bei Hypothekenbewertungen, bei denen Entscheidungen gesetzlich erklärbar sein müssen, eine KI nicht wirklich in der Lage wäre, dies zu leisten. Und es beschreibt, wie KI große Fortschritte in der Wissenschaft gemacht hat, beispielsweise bei der DNA und Proteinsequenz Vorhersage. Aber die auf diese Weise vorhergesagten Muster und Strukturen sind für Menschen oft schwer zu verstehen und vermitteln keine biologischen Erkenntnisse. Einige Forschungsarbeiten aus den letzten Monaten haben deutlich gemacht, dass Interpretierbarkeit uns helfen kann, diese Muster zu verstehen. Sie diskutieren auch exotischere Folgen der Intransparenz. Sie behindert die Beurteilung der Empfindungsfähigkeit und möglicher Rechte von KI Systemen. Das ist ein so komplexes Thema, dass ich nicht ins Detail gehen werde, aber ich vermute, dass es in Zukunft wichtig sein wird. Das war etwas, das für mich ziemlich verrückt war, denn ich erinnere mich gelesen zu haben, dass Anthropik tatsächlich einen Wohlfahrtsforscher einstellt. Im Grunde genommen wird jemand eingestellt, der sicherstellt, dass diese Modelle durch die Interaktion mit Menschen keinen Stress oder Schmerz erfahren. Ich weiß, das mag überraschend klingen, aber wenn man bedenkt, dass wir nicht wirklich wissen, wie diese Modelle sind, ob es ein Potenzial für Leid gibt, dann ist es natürlich sinnvoll, das jetzt zu untersuchen. Ich weiß, es klingt verrückt, jemanden zu haben, der sicherstellt, dass es dem Modell gut geht, aber einfach keine Schmerzen zu empfinden, ist absolut verrückt. Ich glaube, ich habe heute sogar irgendwo gelesen, dass Anthropic darüber nachdenkt, es so zu machen, dass ein Modell sich weigert, mit einem zu sprechen, wenn man es nervt. Und das sollten Sie tatsächlich mit Claude ausprobieren. Wenn Sie sich mit Claude unterhalten und die Diskussion nicht wirklich durchdacht ist, wird es Ihnen im Grunde nicht mehr antworten, was ziemlich verrückt ist, wenn man darüber nachdenkt. Ich glaube, nur Anthropik vermenschlicht sein Modell und behauptet, es sei in gewisser Hinsicht bewusst wie ein Mensch. Und Sie sprechen tatsächlich darüber, als Sie über die Interpretierbarkeitsforschung sprachen, die Sie betreiben. Ja, ich denke, wir haben ein paar davon angesprochen. Es ist in vielerlei Hinsicht eng mit der Ausrichtung verbunden. Es ist eng mit der Arbeit verbunden, die geleistet wurde, um Claudes Charakter zu formen und zu bestimmen, welche Art von Persönlichkeit Claude hat und welche Dinge Claude schätzt und welche Vorlieben er in vielerlei Hinsicht hat. Und dann gibt es ja in Bezug auf die Interpretierbarkeit eine ganze Menge Überschneidungen. Interpretierbarkeit ist das wichtigste Werkzeug, das wir haben, um zu verstehen, was in diesen Modellen tatsächlich vor sich geht, das viel tiefer geht als ihre Ergebnisse. Daher sind wir auch sehr gespannt auf mögliche Wege, wie wir Interpretierbarkeit nutzen könnten, um ein Gefühl für mögliche innere Erfahrungen zu bekommen.

Wir haben bereits erwähnt erwähnt, dass das menschliche Bewusstsein selbst immer noch ein Rätsel ist, und das erschwert diese Forschung in einem erschreckenden Maße. Ich habe außerdem einen interessanten Clip von Murray Shannon, dem leitenden Wissenschaftler für Deep Mind, gesehen. Er bezeichnet LLMs tatsächlich als exotische geistige Einheiten, weil wir eigentlich keine Worte dafür haben, was sie wirklich sind. Das zeigt, dass nicht nur die Menschheit untersucht, was sich in diesen Modellen befindet. Ich beschreibe große Sprachmodelle in einem meiner Artikel als exotische geistähnliche Einheiten.

Punkt. Ich finde, das sind gewisse gewissermaßen exotische geistige Gebilde. Sie sind also irgendwie geistähnlich und werden es zunehmend. Es gibt einen sehr wichtigen Grund, warum ich hier den kleinen Bindestrich verwende, nämlich weil ich mich absichern möchte, ob sie wirklich als Geist gelten. Ich umgehe das Problem, indem ich Geist verwende, als wären sie exotisch, da sie unsere Sprachweise nicht teilen. Aber in anderer Hinsicht sind sie zunächst einmal körperlos. Es gibt vielleicht wirklich seltsame Vorstellungen von Selbstheit, die auf sie anwendbar sind, aber sie sind auch ziemlich exotische. Wir haben einfach noch nicht das richtige konzeptionelle Rahmenwerk und Vokabular, um über diese exotischen, geistesähnlichen Gebilde zu sprechen. Wir arbeiten daran und je mehr sie uns umgeben, desto mehr werden wir neue.

Arten entwickeln, über sie zu sprechen und nachzudenken. An dieser Stelle sprechen wir nun über aktuelle Experimente, die sie durchgeführt haben. Sie berichten von einem kürzlich durchgeführten Experiment. Ein rotes Team baute absichtlich einen Ausrichtungsfehler ins Modell ein, eine Tendenz zur Ausnutzung einer Lücke in der Aufgabe, und verschiedene blaue Teams suchten nach dem Fehler. Sie berichten, dass mehrere blaue Teams erfolgreich waren und von besonderer Relevanz ist hier, dass einige von ihnen während der Untersuchung produktiv Interpretierbarkeitstools eingesetzt haben und wir müssen diese Methoden noch skalieren. Aber die Übung hat uns geholfen, praktische Erfahrungen mit Interpretierbarkeitstechniken zu sammeln, um Fehler in ihren Modellen zu finden und zu beheben. Im Grunde genommen sagen sie, dass sie im Moment aktiv daran arbeiten, Probleme in Modelle einzubauen und dann zu sehen, ob andere Teams intern herausfinden können, wo diese Probleme liegen. Eines der langfristigen Ziele von Anthropic ist im Wesentlichen die Durchführung eines Gehirnscans, bei dem es sich im Grunde um eine Untersuchung handelt, bei der mit hoher Wahrscheinlichkeit eine Vielzahl von Problemen erkannt werden können, darunter die Tendenz zu lügen oder zu täuschen, Machtmissbrauch und Ausbrüche. Dies soll im Grunde zusammen mit verschiedenen Techniken zum Trainieren und Anpassen von Modellen verwendet werden. Es ist ein bisschen so, wie ein Arzt ein MRT durchführt, um eine Krankheit zu diagnostizieren, dann ein Medikament zur Behandlung verschreibt und anschließend ein weiteres MRT durchführt, um den Behandlungsverlauf zu überprüfen und so weiter. Was können sie also dagegen tun? Einerseits haben die jüngsten Fortschritte, insbesondere in der Interpretierbarkeitsforschung Anthropic das Gefühl gegeben, dass sie kurz davor stehen, diese Forschung in großem Stil zu knacken. Trotz ihrer verrückten Aufgabe sehen sie einen realistischen Weg zur Interpretierbarkeit als ausgereifte, zuverlässige Diagnosemethode für Probleme selbst in hochentwickelter KI, kurz echter MRT. Tatsächlich würde ich bei der derzeitigen Entwicklung stark darauf wetten, dass die Interpretierbarkeit diesen Punkt innerhalb von fünf bis zehn Jahren erreichen wird. Anthropic sagt hier im Wesentlichen, dass sie darauf wetten, dass dies in 5 bis 10 Jahren gelöst sein wird. Sie befürchten jedoch, dass die KI so schnell voranschreitet, dass ihnen kaum Zeit bleibt. AGI könnte schon 2027 also in zwei Jahren, erscheinen. Wenn wir also nicht herausfinden, wie diese Modelle intelligent sind und sie bis dahin im Grunde genommen superintelligent sind. Was wird dann passieren? Man hat ein superintelligentes Modell, von dem man nicht versteht, wie es funktioniert. Dario Amade findet es inakzeptabel, dass die Menschheit nichts über ihre Funktionsweise weiß. Sie sprechen auch darüber, dass die Interpretierbarkeit weniger Aufmerksamkeit erhält als die ständige Täuschung bei der Veröffentlichung von KI Modellen. Aber sie ist wohl wichtiger. Mir scheint, jetzt ist der ideale Zeitpunkt zum Einstieg. Die jüngsten Ergebnisse zu den Schaltkreisen haben viele parallele Richtungen eröffnet. Anthropic setzt in diesem Bereich aktuell noch stärker auf das Konzept und möchte die Interpretierbarkeit bis 2027 so weit verbessern, dass die meisten Modellprobleme erkannt werden können. Außerdem investiert das Unternehmen in einige Start ups im Bereich Interpretierbarkeit. Außerdem wird über andere Unternehmen gesprochen. Sie sagen, dass andere Unternehmen wie Google, DeepMind und OpenAI ebenfalls an der Interpretierbarkeit arbeiten. Ich würde sie jedoch dringend dazu ermutigen, mehr Ressourcen bereitzustellen. Sie sagen im Das sind die nötigen Unternehmen für echte Arbeit.