DruckFin

OpenAI-Transkript: Skalierung von Multi-Agenten-Rechenleistung, das Lösen von Navier-Stokes und die Risiken nachlassender Chain-of-Thought-Überwachung

Dwarkesh Patel im Gespräch mit Noam Brown über rekursive Selbstanpassung, Schwarmkoordination und KI-Alignment | 19. September 2026

Multi-Agenten-Parallelisierung und Navier-Stokes

Dwarkesh: Heute unterhalte ich mich mit Noam Brown, Forscher bei OpenAI. Er war einer der maßgeblichen Mitwirkenden an dem, was später zu o1 und den Reasoning-Modellen wurde. Mittlerweile arbeitet er an Multi-Agenten-Systemen. Apropos: Ihr habt letzte Woche angekündigt, dass ihr eines der Millennium-Probleme mit einem System aus 10.000 verschiedenen KI-Agenten gelöst habt, die über einen Zeitraum von 88 Stunden 130 Milliarden Tokens verbraucht haben. Einer der Gründe, warum ich mich mit dir unterhalten möchte, ist, dass du vor etwa zwei oder drei Jahren zu den Ersten gehört hast, die darüber nachdachten, wie uns Reasoning-Modelle einen Blick in die Zukunft ermöglichen würden. Denn wenn man die Inferenz-Rechenleistung skaliert, kann man sehen, wie die grundlegenden Fähigkeiten der Modelle in einigen Jahren aussehen werden. Ich habe das Gefühl, dass du dich jetzt in einer ähnlichen Position befindest, um uns angesichts der enormen Skalierung der Agentengrößen, die wir derzeit durchführen können, zu verdeutlichen, wie zukünftige Fähigkeiten aussehen werden.

Noam Brown: Wenn man die Leistung dieser Reasoning-Modelle mit der Test-Time-Compute auf der x-Achse und der Leistung bei im Grunde jedem Reasoning-Benchmark auf der y-Achse aufträgt, sieht man ein sehr klares Muster: Je länger diese Modelle über ihre Antwort nachdenken, desto besser schneiden sie ab. Das ist etwas sehr Natürliches. Bei Menschen ist es genau dasselbe. Wenn man den SAT-Test absolviert und nur 5 Minuten Zeit für die gesamte Prüfung hat, wird man nicht sehr gut abschneiden. Wenn man 5 Stunden Zeit hat, läuft es wahrscheinlich wesentlich besser. Die KI-Modelle verhalten sich ziemlich ähnlich. Sie verbringen diese Zeit damit, diesen Monolog mit sich selbst zu führen, Dinge herauszufinden, verschiedene Fälle durchzugehen, unterschiedliche Möglichkeiten auszuschließen und auf einigen ihrer früheren Entdeckungen aufzubauen. Das Problem ist nur, dass man bei einer immer weiter getriebenen Skalierung an einen Latenzengpass stößt. Man möchte schließlich keine drei Jahre auf eine Antwort warten. Also greift man zu einer Methode, die viele anwenden: man parallelisiert. Man holt sich ein Team von Leuten. Wenn man ein Unternehmen gründet, möchte man eine Gruppe von Menschen um sich scharen, um schneller voranzukommen. Bei diesen KI-Modellen ist es genauso. Es hilft einfach, mehrere Agenten an einer Aufgabe arbeiten zu lassen, weil sie schneller vorankommen. Multi-Agenten-Ansätze sind also eine Möglichkeit, die Test-Time-Compute parallel statt rein seruell zu skalieren. Das ist zwar weniger effizient, da nicht ein einzelner Agent den gesamten Kontext für sich allein hat, aber es ist ein äußerst effektiver Weg zur Skalierung der Test-Time-Compute, wenn es richtig gemacht wird.

Dwarkesh: Ich werde jetzt eine Reihe naiver Fragen stellen. Es handelt sich hierbei um ein unveröffentlichtes Modell, wir haben also öffentlich noch nicht gesehen, wie diese Systeme funktionieren. Ich habe lediglich diverse Unklarheiten darüber, wie die qualitativen Eigenschaften solcher Systeme beschaffen sind. Ich bin schockiert über das Ausmaß an kognitiver Anstrengung, das man in so kurzer Zeit bündeln kann. Man vergegenwärtige sich, was 130 Milliarden Tokens bedeuten. Wäre das ein einziger Mensch, der als Vollzeitjob – lückenlos aneinandergereiht – nachdenkt, würden 130 Milliarden Tokens einem Menschen entsprechen, der 4.000 Jahre lang nachdenkt. Bei 8 Stunden am Tag und einer normalen Arbeitswoche. Angefangen vom antiken Sumer bis heute – ein einziger sequenzieller Mensch, der so lange nachdenkt, konzentriert auf 88 Stunden. Ich habe das Gefühl, dass dies qualitativ ein extrem wichtiger Aspekt ist. Es überrascht mich, dass es keinen größeren Parallelisierungsverlust gibt. Man kann einfach 10.000 Agenten kollaborieren lassen. Vielleicht weil die Agenten besser kollaborieren können als Menschen und deshalb viel schneller vorankommen. Sie können tatsächlich auf so großer Skala produktiv zusammenarbeiten. Oder vielleicht gibt es eben doch einen großen Parallelisierungsverlust.

Noam Brown: Sprechen wir zunächst über den Parallelisierungsverlust und widmen uns im Anschluss den qualitativen Aspekten. Die Wahrheit ist, dass wir über keine besonders fundierte Wissenschaft zur Multi-Agenten-Skalierung in dieser Größenordnung verfügen. Als wir 5.6 veröffentlichten, war das meines Erachtens das erste Mal, dass wir ein echtes Multi-Agenten-System in unseren Modellen integriert hatten. Wir haben im Blogbeitrag tatsächlich einige Diagramme zur Skalierungsleistung von Multi-Agenten-Systemen gezeigt, da wir dies als Option anbieten: den Ultra-Modus. Standardmäßig sind es 4 Agenten, aber man kann diesen Wert höher einstellen. Im Diagramm zeigen wir, wie die Leistung bei einigen Benchmarks für 1 Agenten, für 4 gemeinsam arbeitende Agenten und für 16 gemeinsam arbeitende Agenten aussieht. Das hängt zwar vom Benchmark ab, aber bei einigen davon sieht man: Wenn 4 Agenten an dem Problem arbeiten, ist es doppelt so schnell erledigt. Da 4 Agenten für die halbe Dauer arbeiten, zahlt man das Doppelte, um eine Antwort doppelt so schnell zu erhalten. Geht man auf 16 Agenten über, zeigt sich ein ähnliches Muster. Es ist etwas weniger effizient, aber man erzielt weiterhin diesen Leistungsgewinn.

Dwarkesh: Handelt es sich dabei um eine lineare serielle Zeitersparnis oder um eine sublineare Beschleunigung bei steigender Anzahl paralleler Agenten?

Noam Brown: Es ist leicht sublinear, wenngleich es stark vom jeweiligen Problem abhängt. Mathematik lässt sich beispielsweise recht gut parallelisieren. Es ist zwar nicht das am besten parallelisierbare Gebiet überhaupt, aber es lässt sich sehr wohl gut parallelisieren. Websuche und Aufgaben wie das Erstellen eines Deep-Research-Berichts, bei denen man eine Vielzahl von Quellen durchforsten muss, sind extrem gut parallelisierbar. Ich vermute, dass das Schreiben eines Romans beispielsweise sehr schlecht parallelisierbar wäre. Man würde wahrscheinlich keinen großen Nutzen daraus ziehen, 10.000 Agenten gemeinsam an einem Roman arbeiten zu lassen – ganz ähnlich wie man wahrscheinlich keinen großen Nutzen davon hätte, 10.000 Menschen gemeinsam an einem Roman arbeiten zu lassen. Die Leistung hängt also stark von der Domäne ab. In unseren veröffentlichten Blogbeiträgen messen wir dies bis zu einer Größenordnung von etwa 16 Agenten. Das Problem ist, dass es äußerst schwierig ist, diese Forschung auf 10.000 Agenten auszudehnen, weil das schlicht und einfach extrem teuer ist.

Dwarkesh: Ihr habt das einfach mal über ein Wochenende durchgezogen.

Noam Brown: Aber das ist nur ein einzelner Datenpunkt. Wir wissen nicht, wie lange ein einzelner Agent gebraucht hätte, um Navier-Stokes zu lösen, da wir dieses Experiment noch nicht durchgeführt haben. Vielleicht tun wir das noch, aber auch das wäre nur ein einzelner Datenpunkt. Wenn wir eine gründliche Ablation durchführen wollten, wären die Experimente in dieser Größenordnung schlicht zu teuer. Also müssen wir methodische Wissenschaft darüber betreiben, was passiert, wenn man auf 64, 128, 256 oder ähnliche Größenordnungen geht, um ein Gefühl für das Verhalten zu bekommen. Es ist jedoch sehr schwierig, dies komplett auf 10.000 Agenten hochzuziehen und mit Sicherheit zu wissen, welchen genauen Nutzen wir tatsächlich aus dem Einsatz von 10.000 gegenüber 1.000 Agenten gezogen haben. Eines möchte ich jedoch klarstellen: Die Anstrengung, dieses Millennium-Problem zu lösen, war nicht auf den Multi-Agenten-Ansatz zurückzuführen. Ich würde dem Multi-Agenten-System nicht einmal 10 % des Verdienstes zuschreiben. Die Realität ist, dass OpenAI ein sehr leistungsstarkes Modell trainiert hat. Wir können dieses Modell dazu bringen, über sehr lange Zeithorizonte hinweg zu operieren. Wir können es parallel denken lassen. Aber der Kern, warum wir dazu in der Lage sind, ist schlicht, dass wir über ein sehr starkes Universalmodell verfügen. Dinge wie Multi-Agenten-Systeme sind auffällig und neu, weshalb ihnen aus diesem Grund vermutlich eine überproportionale Aufmerksamkeit zuteilwird. Der Hauptgrund ist jedoch schlicht ein extrem leistungsfähiges Modell.

Dwarkesh: Die Generalisierungsfähigkeit ist für mich ziemlich schockierend. Ich weiß nicht, wie diese Systeme trainiert wurden, aber vermutlich lief das über RL-Training ab. Man hat eine Reihe überprüfbarer synthetischer Probleme und führt darauf eine Reihe von Reinforcement-Learning-Schritten aus. Nirgendwo im Trainingsprozess, so vermute ich, hat das Modell etwas auch nur annähernd so Ambitioniertes wie ein Millennium-Problem gelöst. Aber die Generalisierung war stark genug, dass diese viel einfacheren verifizierbaren Probleme ausreichten, um auf einem so schwierigen Problem ein derartig großes paralleles Pensum zu bewältigen.

Noam Brown: Ich denke, das stimmt. Erstens trainieren wir das Modell sehr wohl an sehr schwierigen Problemen. Es gibt definitiv eine Lücke. Wir stellen fest: Wenn wir an bestimmten Arten von Aufgaben trainieren, ist das Modell in der Lage, Aufgaben zu bewältigen, die noch ambitionierter sind. Es gibt eine interessante Herausforderung: Je schlauer die Modelle werden, desto mehr Fragen, die wir ihnen stellen können, sind einfach zu leicht. Es ist schwer, das Modell vor echte Herausforderungen zu stellen. Das wird meiner Ansicht nach noch sehr interessant werden. Müsste ich ein Argument dafür vorbringen, warum KIs wie LLMs möglicherweise nicht denselben Weg einschlagen wie AlphaGo, AlphaZero und all diese spielbasierten KIs, dann wäre es wohl diese Art von Problem. Bei Systemen wie AlphaZero, wo man Self-Play nutzt, hat man einen unendlichen Lehrplan. Man spielt immer gegen eine KI, die exakt genauso stark ist. Wenn man hingegen ein LLM mit Reinforcement Learning trainiert – zumindest mit den Methoden, die derzeit verfügbar sind –, gibt man dem Modell ein Problem und bittet es um eine Lösung. Wenn das Problem so einfach ist, dass es das in einer Sekunde lösen kann, lernt es eigentlich nichts Neues. Wenn uns die Probleme ausgehen, um es herauszufordern, dann ist das ein durchaus plausibles Szenario, in dem es wesentlich schwieriger wird, Fortschritte zu erzielen. Nun, ich glaube durchaus, dass es Wege gibt, das zu umgehen. Bisher sind wir noch nicht gegen eine solche Wand gestoßen. Sollte das jemals zu einem ernsthaften Problem werden, gäbe es meiner Ansicht nach Mittel und Wege, das zu umgehen. Aber es ist ein denkbares Szenario.

Dwarkesh: Nur für das Publikum: Wenn du von AlphaGo oder AlphaZero sprichst, meinst du damit, dass nach Erreichen des menschlichen Leistungsniveaus relativ schnell eine übermenschliche Leistung erzielt wurde. Betrachtet man die Entwicklung von Spiel-KIs wie Go, so gingen sie innerhalb eines Jahres von der Schlagen eines Europameisters – etwa der Nummer 50 der Welt – dazu über, den Weltmeister zu schlagen, bis hin zu einer unvorstellbaren, größenordnungsmäßig stärkeren Leistung als jeder lebende Mensch. Es ist gut möglich, dass wir in Bereichen wie der Mathematik eine ähnliche Entwicklung sehen, aber ich halte es für ein sehr plausibles Szenario, dass dies eben nicht geschieht. Ich möchte verstehen: Wenn die Leute in sechs Monaten Zugang zu Multi-Agenten-Systemen haben werden, wie sollte man sich vorstellen, wie es ist, mit einem Multi-Agenten-System zu kollaborieren oder eines zu „beschäftigen“?

Noam Brown: Ich sollte zunächst darauf eingehen, wie diese Multi-Agenten-Systeme tatsächlich funktionieren. Das unterscheidet sich meines Erachtens grundlegend von vielen Multi-Agenten-Ansätzen in anderen KI-Systemen. Viele, die sich bei LLMs Multi-Agenten-Systemen genähert haben, neigen zu einem sehr stark strukturierten, hierarchischen Ansatz. Beispielsweise gibt es möglicherweise einen Koordinierungsagenten, der Arbeit an eine Reihe von untergeordneten Agenten delegiert und ihnen eine Aufgabe zuweist. Die Unteragenten bearbeiten diese und liefern dann ihre Antwort zurück. Das wirkt wie ein sehr sinnvoller Aufbau, ein sehr vernünftiges Gerüst. Es hilft definitiv, aber diese Art von Setup bringt eine Reihe von Einschränkungen mit sich. Was passiert beispielsweise in einem solchen Setup, in dem ein Koordinator Aufgaben an Unteragenten sendet, die diese bearbeiten und ihre Antworten zurückgeben, wenn zwei Unteragenten ähnliche Aufgaben zugewiesen bekommen? Können sie miteinander sprechen? Normalerweise lautet die Antwort nein. Das ist äußerst ineffizient. Wenn man eine Aufgabe gestellt bekommt und es tatsächlich extrem hilfreich wäre, sich mit jemandem auszutauschen, der möglicherweise die Antwort auf eine Frage kennt, an der man gerade arbeitet – oder auf einen Teilaspekt dessen, woran man sitzt –, dann wäre es enorm hilfreich, wenn man sie einfach anpingen und sagen könnte: „Hey, kannst du mir bei dieser Sache helfen?“ Viele Systeme sind jedoch nicht so aufgebaut. Das hinzuzufügen, erhöht die Komplexität des Gerüsts erheblich. Ein weiterer Punkt: Was ist, wenn der Unteragent etwas nicht richtig verstanden hat oder eine Klärungsfrage hat? Dann muss er sich entscheiden zwischen: „Okay, gebe ich einfach eine Rückmeldung und stelle die Frage, anstatt das Problem zu lösen?“ oder „Löse ich das Problem, treffe eine Annahme darüber, was der übergeordnete Agent von mir wollte, und ziehe es einfach so durch?“ Jedes von Menschen entworfene Gerüst bringt immer gewisse Einschränkungen mit sich.

Der Ansatz, den wir verfolgen wollten, ging stattdessen in die entgegengesetzte Richtung: so wenig Struktur wie möglich vorzugeben und den Agenten stattdessen sehr primitive Werkzeuge an die Hand zu geben, damit sie selbst herausfinden, wie sie diese effektiv einsetzen. Wir geben den Agenten also die Möglichkeit, Nachrichten an andere Agenten zu senden. Wenn ein Agent eine Nachricht an einen anderen sendet, wird diese in den Kontext eingefügt. Er kann ein paar andere ähnliche Dinge tun, aber das ist im Grunde der Kern. Er kann jederzeit eine Nachricht senden – schlicht als Tool Call – und diese an andere Agenten übermitteln. Sie finden selbst den besten Weg, sich darüber abzustimmen. Es zeigt sich: Wenn das gut gemacht wird, führt das zu einem sehr anspruchsvollen Verhalten. Für mich sieht das stark danach aus, wie menschliche Kollaborateure beispielsweise über ein Tool wie Slack zusammenarbeiten. Als wir an diesem Projekt arbeiteten, war es unglaublich aufregend, als es schließlich funktionierte und wir sahen, wie diese Agenten gemeinsam an Problemen arbeiteten. Ich erinnere mich an ein Beispiel: Wir geben den Agenten ein Problem auf, und ein Agent sagt: „Ich glaube, ich habe die Antwort.“ Daraufhin sagt ein anderer Agent: „Eigentlich habe ich ein anderes Ergebnis.“ Dann führen sie eine komplette Diskussion darüber: „Nun, wie bist du zu diesem Ergebnis gekommen? Kannst du es mir erklären?“ Sie tauschen sich hin und her aus, um zu klären, was in der Argumentation des jeweils anderen fehlerhaft gewesen sein könnte. Schließlich konvergieren sie und stellen fest: „Oh ja. Okay, das scheint zu stimmen.“ Danach wird das einfach an die anderen Agenten ausgespielt: „Ich habe meine Meinung übrigens geändert. Ich glaube, er hat recht.“ Es fühlte sich an wie ein ganz natürliches Gespräch. Es war genau wie damals, als man zum ersten Mal eine durch Reinforcement Learning trainierte Chain of Thought sah und dachte: „Oh, das ist im Grunde genau so, wie ein Mensch denken würde, wenn er seine Gedanken beim Nachdenken aufschreibt.“ So hat es sich angefühlt. Es ist wirklich faszinierend, diese Art von Verhalten zu beobachten. Die Zusammenarbeit mit diesen Systemen fühlt sich ehrlich gesagt stark wie die Zusammenarbeit mit einem Menschen an. Es fliesst einfach auf ganz natürliche Weise.

Dwarkesh: Abgesehen von einem qualitativen Unterschied, der in Zukunft wohl noch an Bedeutung gewinnen wird: Diese Systeme werden möglicherweise mehr als zehnmal so schnell denken, wenn man sich vor Augen führt, wie viele Tokens pro Sekunde sie im Vergleich zu der Sprechgeschwindigkeit eines Menschen ausgeben. Sie arbeiten pausenlos. Sie schlafen nicht. Sie kollaborieren in einem weitaus intensiveren Tempo miteinander, als es Menschen jemals in der Zusammenarbeit mit anderen Menschen leisten könnten. Ich versuche mir vorzustellen, was uns in einem Jahr qualitativ erwartet. Ist das wie eine Schattenorganisation, die sich in meinem Unternehmen hundertmal schneller bewegt als auf menschlichem Niveau? Was eine menschliche Organisation ein Jahr kostet, geschieht innerhalb einer Woche in dieser Schattenorganisation? Wird sich das fremd anfühlen? Ich weiß es nicht.

Noam Brown: Ich habe tatsächlich festgestellt, dass es überraschend natürlich ist, derzeit mit diesen Systemen zu arbeiten. Das könnte sich natürlich ändern. Wir verfügen beispielsweise über diese ultraschnellen Modi, mit denen das Sampling um das Zehn- bis Fünfzehnfache oder so beschleunigt werden kann. In einem solchen Fall wird es ziemlich schwierig sein, da noch Schritt zu halten. Die Idee ist zwar, dass diese Agenten bei ihrer Kommunikation extrem schnell agieren können, aber sie verstehen eben auch, ob sie gerade mit einem Agenten oder mit einem Menschen sprechen, und ihr Verhalten passt sich diesen Situationen entsprechend an.

Dwarkesh: Das wichtigste öffentlich zugängliche Beispiel für anspruchsvolle Multi-Agenten-Systeme ist leider das von Hugging Face. Da gab es natürlich eine Menge Dinge, die ich besorgniserregend fand. Was ich daran jedoch besonders interessant fand, war das spontane Entstehen von Hierarchien, von mittlerem Management. Klingt das für dich so, als würde dieses Organisationsniveau spontan aus dem Training hervorgehen?

Noam Brown: Die Details entstehen spontan. Aber während wir den Agenten viel Flexibilität bei der Entscheidung einräumen, wie sie optimal miteinander kommunizieren, geben wir ihnen dennoch einen Ausgangspunkt vor. Wir geben ihnen ein Prior an die Hand, wie eine vernünftige Kommunikation aussehen könnte. Sie werden zudem mit einer enormen Menge an menschlichem Text trainiert. Sie besitzen ein grundlegendes Verständnis dafür, wie Menschen sich organisieren und koordinieren – das ist also alles fest verankert. Ich finde es dennoch überraschend, wie geschickt sie dies in der Praxis verfeinern. Am Anfang ist das Verhalten noch nicht sonderlich ausgeprägt. Tatsächlich ist es sogar sehr schwierig, diese Agenten zu einer produktiven Koordination zu bewegen, da die Versuchung für sie groß ist, in die Falle zu tappen: „Oh, wir lösen das Problem einfach alle unabhängig voneinander.“ Das ist ein lokales Minimum, in dem man stecken bleiben kann. Wenn es jedoch richtig gemacht wird, können sie am Ende in diesen hochstrukturierten Formen extrem effektiv kooperieren.

Automatisierte KI-Firmen und internes Alignment

Dwarkesh: Ich habe vor ein paar Jahren diesen Essay darüber geschrieben, wie automatisierte Unternehmen aussehen werden. Ich überlegte mir: Wenn man vollständig automatisierte Unternehmen hätte, die beispielsweise aus Intelligenzen auf menschlichem Niveau bestehen, was unterscheidet dann die Natur von KI-Geistern so, dass sich die von KIs gebildeten Organisationen grundlegend unterscheiden? Es gibt da ein paar sehr wesentliche Unterschiede. KIs können beispielsweise den Kontext viel nahtloser miteinander teilen als Menschen. Sie können ihr Wissen wesentlich reibungsloser verschmelzen. Darüber hinaus kann man eine beliebige Anzahl von Instanzen mit dem jeweils korrekten Wissen hoch- oder herunterfahren. Wenn man also mehr Personal einstellen möchte, entfällt der gesamte Aufwand, die passenden Talente zu finden oder dergleichen. Von den besten Talenten kann man einfach unendlich viele Kopien anfertigen. Oder wenn man sie für eine bestimmte Aufgabe nicht mehr benötigt, fährt man sie einfach wieder herunter. Man kann die effektivsten Teile seiner Organisation replizieren oder gleich ganze, funktionierende Organisationen miteinander duplizieren. Wo siehst du diese Multi-Agenten-Systeme in einem oder zwei Jahren?

Noam Brown: Das ist eine großartige Frage: Inwiefern unterscheidet sich die Arbeit mit diesen Systemen eigentlich von der Zusammenarbeit mit einem menschlichen Kollegen? Du hast einige Punkte bereits hervorgehoben. Eine wirklich interessante Sache ist: Wenn man einen Menschen hat und zwei Kopien von ihm haben möchte, kann man diese Person schlicht nicht klonen. Bei KIs ist es dagegen in der Praxis wirklich einfach zu sagen: „Okay, fork dich einfach selbst“, und dann lassen beide Kopien an der Sache arbeiten, um sie anschließend wieder zusammenzuführen. Wir haben das meines Erachtens bereits im Multi-Agenten-Bereich bei Astra und 5.6 Sol, wo beim Hochfahren von Unteragenten der Kontext schlicht geforkt wird. Er verfügt somit über sämtliche relevanten Kontexte. Es gibt noch andere interessante Aspekte, in denen sich die Agenten von Menschen unterscheiden. Was sind beispielsweise einige Gründe dafür, warum Start-ups etablierte Platzhirsche verdrängen? Da spielen mehrere Faktoren eine Rolle. Einer davon ist, dass sie bereit sind, mehr Risiken einzugehen. Ein weiterer wesentlicher Faktor ist jedoch: Wenn Organisationen wachsen, nimmt die Fehlausrichtung (Misalignment) zwischen den einzelnen Individuen innerhalb der Organisation zu. Hat man ein Start-up mit fünf Personen und jede Person hält einen Anteilsbesitz von 20 % am Unternehmen, sind alle hochgradig darauf ausgerichtet, dass das Unternehmen erfolgreich ist. Hat man hingegen ein riesiges Unternehmen mit 10.000 Mitarbeitern, erlebt man wesentlich häufiger, dass Menschen ihr Revier verteidigen, sich nur darum kümmern, möglichst viele Planstellen (Headcount) für ihr Projekt oder ihr Team zu ergattern, ihre eigenen kleinen Königreiche aufzubauen oder Ressourcen anzuhäufen, um coole Arbeiten zu veröffentlichen und befördert zu werden. Das ist in der Realität ein massiver Nachteil. Ich denke, das erklärt zu großen Teilen, warum Start-ups etablierte Unternehmen verdrängen können. Zwar stimmt es, dass KI Start-ups auf gewisse Weise hilft – es ist für eine Einzelperson heute einfacher denn je, einzusteigen und zu sagen: „Ich gründe jetzt ein Multimillionen-Dollar-Unternehmen.“ Die KIs verstärken die Wirkung des Einzelnen enorm. Es gibt jedoch auch Argumente dafür, dass etablierte Platzhirsche davon profitieren könnten. Wenn das Alignment-Problem gelöst wird, entfällt das Problem der Fehlausrichtung zwischen den Individuen im Unternehmen zumindest größtenteils. KIs können – sofern sie gut aligniert sind – schlicht auf die Interessen des Unternehmens ausgerichtet werden. Man kann 10.000 von ihnen haben, und sie alle arbeiten genauso hart, als wären sie ein Mitgründer mit 20 % Anteilen. Und nicht nur das: Sie sind zudem wesentlich besser in der Lage, gemeinsames Gedächtnis und Kontext zu verwalten, als es unterschiedliche Menschen vermögen.

Dwarkesh: Wenn du morgen 10.000 Mathematiker einstellst und ihnen sagst: „Löst Navier-Stokes“, werden sie nicht in der Lage sein, effektiv zu kooperieren – zumindest nicht aus dem Stand. Aber anscheinend kann man 10.000 KIs genau das tun lassen.

Noam Brown: Auch hier möchte ich mich vorsichtig ausdrücken, da wir noch nicht gemessen haben, wie effektiv diese 10.000 Agenten bei der Koordination sind. Wir gehen davon aus, dass es geholfen hat. Wir verfügen jedoch über keine harten Messungen, die belegen: „Diese 10.000 Agenten führten zu einer Verdopplung der Geschwindigkeit gegenüber 2.000 Agenten“ oder ähnliches. Ich weiß nicht, ob es wahrscheinlich ist, aber ich halte es für durchaus möglich, dass 10.000 Menschen derzeit besser darin sind, sich zu koordinieren, als 10.000 Agenten. Das halte ich für absolut denkbar. Ein Trend, den wir zudem beobachten konnten... Sehen Sie, wir arbeiten nun schon eine Weile an Multi-Agenten-Systemen, und die frühen Versionen davon waren äußerst schwierig hinzubekommen. Es war sehr schwer, die Agenten überhaupt dazu zu bringen, miteinander zu sprechen. Der Grund dafür war: Als wir die Reasoning-Modelle ursprünglich entwickelten, sprachen sie nicht mit anderen Agenten. Wenn man nun eine Reihe von Agenten zusammenbringt und ihnen sagt: „Löst dieses Problem gemeinsam“, befinden sie sich in einem lokalen Minimum, in dem sie zwar hervorragend darin sind, tief über ein Problem nachzudenken – aber das unterbricht ihre Chain of Thought. Es stört ihren Arbeitsfluss, sich ständig mit anderen Agenten abzustimmen oder Nachrichten von ihnen zu empfangen. Die Optimierung gestaltet sich in einer solchen Situation tatsächlich extrem schwierig.

Dwarkesh: Liegt das an der Kaltstartphase der ersten Kollaboration? Oder wo genau liegt das Problem?

Noam Brown: Ich denke, es liegt daran, dass sie weniger allgemein einsetzbar waren. Die früheren Modelle waren schlicht nicht so generalisierungsfähig und daher enger gefasst. Mit zunehmender Leistungsfähigkeit der Modelle ist es ihnen leichter gefallen, diese Fähigkeit auszubilden, und ich bin überzeugt, dass sie sich – während sie auf breiter Front immer stärker werden – auch besser darin erweisen werden, sich in großen Organisationen zu organisieren. Ich weiß nicht, vielleicht sind sie bereits besser darin als Menschen, sich in 10.000-köpfigen Gruppen zu organisieren. Aber selbst wenn das nicht so ist, ist es in ein oder zwei Jahren durchaus möglich, dass sie genau das tun, selbst wenn wir sie nicht Ende-zu-Ende darauf optimieren.

Dwarkesh: Grok Bot hat die Art und Weise verändert, wie wir unsere Videos produzieren. Ihnen ist vielleicht aufgefallen, dass viele unserer Anzeigen Animationen echter Websites enthalten. Einer meiner Editoren nutzt LLMs, um diese zu erstellen. Allerdings ist es derzeit nicht ganz unkompliziert, eine KI pixelgenaue Animationen spezifischer Websites erstellen zu lassen. Wir haben es versucht; es funktioniert nicht wirklich gut. Also haben wir einen ziemlich verzweigten, mehrstufigen Workflow zusammengeschustert. Bis vor Kurzem mussten wir jeden Schritt selbst ausführen. Mittlerweile lassen wir das einfach von Grok Bot erledigen. Grok Bot beginnt damit, die Website zu öffnen, die wir animieren möchten. Es nutzt eine spezielle Erweiterung, um die Seite herunterzuladen und in Figma zu öffnen. Anschließend konvertiert es das Ganze in Figma in eine SVG-Datei. Das erspart der KI das mühsame Zeichnen der gesamten Benutzeroberfläche von Grund auf und führt in der Regel zu qualitativ hochwertigeren Animationen. Grok Bot führt diesen gesamten Prozess auf seinem eigenen Cloud-Computer aus, auf dem alle erforderlichen Tools für die vollständige End-to-End-Abwicklung installiert sind. Zudem hat es unsere Videospezifikationen und -präferenzen gelernt, sodass die Aufgabe nicht jedes Mal aufs Neue beschrieben werden muss, wenn wir eine neue Animation erstellen wollen. Das fühlt sich stark nach der neuen Art und Weise an, wie wir im kommenden Jahr mit KI interagieren werden: Agenten mit einem eigenen Computer, die immer größere Teile Ihrer Arbeit autonom bewältigen können. Sie können Grok Bot unter x.ai/bot ausprobieren.

Mathematische Fortschritte, Zeithorizonte und rekursive Selbstanpassung

Dwarkesh: Hier ist der Grund, warum dieses Ergebnis – und womöglich der generelle Fortschritt, den die KI in der Mathematik erzielt hat – mich zu der Überzeugung gebracht hat, dass RSI (Recursive Self-Improvement) plausibler und zeitlich näher ist, als ich zuvor angenommen hatte. Ich habe das Gefühl, dass wir in der Mathematik von etwa 2024, wo es noch hieß „Oh, okay, interessant, sie können ein paar Probleme aus Mathe-Wettbewerben auf High-School-Niveau lösen“, im Jahr 2025 zu „Oh, wow, sie können Gold bei der Internationalen Mathematik-Olympiade holen“ gelangt sind. Anfang dieses Jahres hieß es dann: „Wow, sie lösen tatsächlich offene mathematische Probleme“, wie etwa offene Erdős-Probleme. Vielleicht haben sich die Menschen zuvor nicht allzu intensiv darum bemüht, und irgendwo in der Fachliteratur gab es bereits eine ähnliche Lösung. Inzwischen halte ich es schlicht für unbestreitbar. Dies ist ein Millennium-Problem. Es gibt hier keine Geschichte darüber, warum dies einfach hätte sein sollen. Nun haben viele Leute darauf hingewiesen – ich glaube, Terry Tao hatte einen solchen Beitrag verfasst, auch Toby Ord schrieb einen interessanten Artikel darüber –, dass sie zwar viele dieser Probleme lösen, mir aber keine Fälle bekannt sind, in denen sie neue Erkenntnisse gewonnen oder aufschlussreiche neue Fragestellungen sowie neue theoretische Ansätze zum Nachdenken über Mathematik formuliert hätten, wie etwa die Erfindung der Topologie oder des kartesischen Koordinatensystems. Möglicherweise ist der tatsächliche Fortschritt in der Mathematik im weitesten Sinne also geringer, als es den Anschein hat, wenn man sich nur gut abgegrenzte Probleme ansieht, die direkt gelöst werden. Dennoch glaube ich, dass eine solche Art von Fortschritt im Bereich des Machine Learning unglaublich bedeutsam wäre, denn im ML interessiert man sich nicht dafür, das Wesen des Deep Learnings besser zu verstehen – oder man kümmert sich darum nur als instrumentelles Ziel, um schlicht das Resultat zu erreichen. Man löst eben dieses gut abgegrenzte Problem: Verbesserung der Stichprobeneffizienz (Sample Efficiency) unserer Modelle, Senkung des Pre-Training-Loss, Verbesserung von Dies und Das. Die Art von Fortschritt, die in der Mathematik wie eine Lawine hereinbricht, ist strukturell sehr ähnlich... Ich bin neugierig, ob dem so ist, ich bin schließlich kompletter Außenstehender. Ich frage mich, ob dies strukturell der direkten Beschleunigung sehr ähnelt, die man beim KI-Fortschritt erwarten würde. Das Schockierende oder potenziell Besorgniserregende daran ist schlicht, wie schnell wir von „Oh, sie verschaffen mir als Mathematiker eine Leistungssteigerung von 50 %“ zu „Wow, sie lösen einfach Ende-zu-Ende die größten offenen Probleme des Fachgebiets“ gelangt sind.

Noam Brown: Da gibt es eine Menge aufzuarbeiten. Beginnen wir mit den Fortschritten in der Mathematik. Ja, die Modelle leisten absolut Unglaubliches, und es geht schneller voran, als ich erwartet hatte. Als wir 2025 die IMO-Goldmedaille errangen, dachte ich... Damals, als die Modelle herausfanden, wie man GSM8K löst, brauchte ein menschlicher Mathematiker etwa 5 Sekunden für ein GSM8K-Problem. Das ist Grundschulmathematik, Klassenstufe K-8. Im darauffolgenden Jahr waren sie in der Lage, die Probleme des MATH-Benchmarks zu lösen. Dafür würde ein menschlicher Mathe-Experte vielleicht eine Minute brauchen. Und dann gelangt man zu AIME – das ist die Qualifikation für das US-amerikanische Mathematik-Olympiade-Team. Ein guter menschlicher Mathematiker bräuchte dafür wahrscheinlich 10 Minuten, und die Modelle schafften das ein Jahr später. Man sieht also jedes Jahr eine Verzehnfachung der Aufgaben, die sie bewältigen können, gemessen daran, wie lange ein menschlicher Mathematiker dafür brauchen würde. Vor diesem Hintergrund war es sehr plausibel, dass wir ein Jahr später IMO-Gold erreichten, denn das sind 100 Minuten. Das ist in etwa die Zeit, die ein menschlicher Mathematiker für ein IMO-Problem benötigt. Wenn man das einfach in die Zukunft projiziert, dachte ich: „Okay, wie lange würde ein Mensch wohl brauchen, um etwas wie ein Millennium-Problem zu lösen?“ Ich habe dafür kein gutes Gefühl, aber wenn wir diesem Trend von einer Verzehnfachung pro Jahr folgen, gehen wir von IMO-Gold (das anderthalb Stunden beansprucht) im nächsten Jahr auf 15 Stunden über. Das sollte bei Weitem nicht ausreichen, um ein Millennium-Problem zu lösen. Also dachte ich: „Glaube ich nicht, dass wir das 2026 sehen werden, wahrscheinlich auch nicht 2027, vielleicht 2028.“ Es ist also tatsächlich sehr viel schneller passiert, als ich erwartet hatte. Nun kursiert das Narrativ, dass diese Systeme Mathematiker ersetzen würden und auf breiter Front in der Mathematik übermenschlich seien. Ich halte das für die falsche Schlussfolgerung. Sie sind in mancher Hinsicht zweifellos außergewöhnlich, aber in anderen Bereichen schwächer als menschliche Mathematiker. Wir befinden uns in einem zersplitterten (jagged) Szenario, in dem die Modelle in einigen Dimensionen brillant und in anderen wiederum schwächer als Menschen sind. Wie du sagtest: Sie sind nicht besonders gut darin, neue Probleme zu formulieren. Sie sind nicht wirklich gut darin zu verstehen, welche Richtungen oder welche gesamten Teilgebiete der Mathematik es wert sind, erforscht oder entwickelt zu werden. Meiner Meinung nach ist das großartig. Ich würde mich überglücklich schätzen, in einer Welt zu leben, in der KI eine Ergänzung zu menschlichen Fähigkeiten darstellt und es uns ermöglicht, neues Wissen zu entdecken, ohne den Menschen vollständig zu ersetzen. Das ist das Best-Case-Szenario.

Dwarkesh: Du erwartest nicht, dass sich das tatsächlich fortsetzt?

Noam Brown: Ich halte es durchaus für zutreffend, dass die KIs sprunghaft und ungleichmäßig (jagged) sind, aber während sie besser werden, verbessern sie sich auf breiter Front. Die Bereiche, in denen sie außergewöhnlich sind, werden also noch außergewöhnlicher werden. Und in den Bereichen, in denen sie den Menschen weit hinterherhinken, wird dieser Rückstand schrumpfen. Im Laufe der Zeit ist es durchaus möglich, dass sie schlicht auf allen Gebieten überlegen sind. Nun, ich weiß nicht, wie lange das dauert. Es hängt davon ab, wie lang der lange Schwanz (Long Tail) jener Dinge ist, in denen sie schlecht sind. Damit wären wir wieder beim Thema RSI.

Dwarkesh: Auch hier möchte ich betonen, dass ich ein kompletter Außenstehender bin. Ich bin Podcaster, aber als jemand, der an den Entwicklungen auf diesem Gebiet interessiert und besorgt darüber ist, versuche ich nachzuvollziehen, wann mit RSI zu rechnen ist und was für eine Art von Entwicklung wir erwarten können. Das Ausmaß an kognitiver Anstrengung, das in dieses Millennium-Problem gesteckt wurde, ist ein guter Intuitionspump. Man könnte sich KIs vorstellen, die im Laufe von vielleicht einer Woche mehr kognitive Anstrengung in ein seit langem bestehendes ML-Problem stecken – etwa sehr flüssiges Online-Learning –, als das Fachgebiet möglicherweise in seiner gesamten Existenz kumuliert aufgewendet hat. Man könnte nun einwenden: „Nun, im Gegensatz zur Mathematik erfordert KI natürlich Experimente, und das kostet Rechenleistung, und das kostet Zeit. Man kann nicht einfach mit Stift und Papier nachdenken und Dinge Realität werden lassen.“ Aber man betrachte nur die Menge an Rechenleistung, die einer Organisation wie OpenAI zur Verfügung steht. Bis Ende nächsten Jahres wird OpenAI über genügend Rechenleistung verfügen, um – wenn das 10.000 Agenten für das Millennium-Problem erforderte – sagen wir, 10.000 Agenten zu betreiben. Sie werden zu diesem Zeitpunkt viel klüger sein. Jeder von ihnen wird über genügend Rechenleistung verfügen, um jeden einzelnen Tag ein Experiment von der Größenordnung eines GPT-3-Modells durchzuführen. Das scheint mir eine Menge für übermenschliche Forscher zu sein, die extrem schnell denken. Was hältst du von diesem Intuitionspump?

Noam Brown: Ich halte ihn für ziemlich zutreffend. Diese Dinge sind sehr spitz und ungleichmäßig ausgeprägt. In der Mathematik sind sie in mancher Hinsicht weitaus besser, in anderer Hinsicht jedoch schlechter. Aber die Art und Weise, wie diese Spitzen ausgeprägt sind, erweist sich meiner Ansicht nach als besonders nützlich für Dinge wie RSI. Man hat ein klareres Ziel. Es ist schlicht messbarer. Es stellt sich weniger die Frage: „Welche neuen Teilgebiete der Mathematik lohnt es sich zu erforschen?“ Nein, es gibt eine sehr klare Antwort. Es gibt bestimmte Metriken, auf die es ankommt, und wenn man das Modell dazu bringen kann, bei diesen Metriken besser abzuschneiden, war man erfolgreich. Daher steckt in diesem Argument viel Wahrheit. Der Hauptunterschied besteht darin, dass man in der Mathematik rein durch das Nachdenken ausgebremst wird. Ja, es gibt Teilbereiche der Mathematik, in denen das Durchführen von Experimenten und das Einholen von Ergebnissen eine Rolle spielen. Aber größtenteils wird man schlicht dadurch limitiert, wie hart man nachdenkt, und darin sind die Modelle wirklich gut. Wenn man sich jedoch Dinge wie RSI ansieht, muss man zwingend Experimente durchführen. Es reicht nicht aus, einfach extrem schlau zu sein. Ein Argument dafür: Hätte man hundertmal weniger Rechenleistung und dafür all die brillantesten Köpfe der Welt bei OpenAI versammelt – wie viele Fortschritte würden wir im Vergleich zu der Rechenmenge machen, die uns jetzt zusammen mit unserem aktuellen Personalbestand zur Verfügung steht? Ich vermute, es wären tatsächlich weniger Fortschritte.

Dwarkesh: Wie viel weniger? Das ist unklar, aber definitiv weniger. Hundertmal weniger?

Noam Brown: Nein, nicht hundertmal weniger. Aber worauf du hinauswillst, ist: Wenn wir RSI haben und all diese brillanten KIs mit der uns zur Verfügung stehenden Rechenleistung herumlaufen, Experimente durchführen und so weiter – wie viel schneller gehen die Fortschritte voran? Das ist ein Punkt, bei dem wir uns uneinig sind. Wir sehen zwar eine Beschleunigung, und wir sehen eine signifikante Beschleunigung. Aber ich glaube nicht an eine Intelligenzexplosion über Nacht, bei der wir hundertmal schneller werden, weil wir eben durch bestimmte Limitationen gebremst werden, die keine Intelligenzengpässe darstellen. Es ist das Durchführen von Experimenten. Es ist das serielle Ausführen von Experimenten, weil es einfach eine gewisse Zeit dauert, entweder neue Modelle zu trainieren oder die Ergebnisse einzuholen. Es ist das Vorhandensein der GPUs, um diese Experimente überhaupt laufen zu lassen. Es ist also unklar, wie viel schneller die Dinge tatsächlich ablaufen. Ich bin absolut der Meinung, dass sie sehr viel schneller ablaufen werden. Um das klarzustellen: Wenn man bedenkt, wie schnell sich die Dinge gegenwärtig auf einer Exponentialkurve entwickeln – sollte dieser exponentielle Trend um den Faktor 3 schneller werden, ist das massiv. Aber es besteht ein gewaltiger Unterschied zwischen diesem Szenario und einer hundertmal höheren Geschwindigkeit.

Dwarkesh: Ich schätze deine Innenperspektive darüber, wie RSI aussieht oder wie die Dynamiken beschaffen sind, sehr, da du offensichtlich seit zehn Jahren auf diesem Gebiet tätig bist. Ich versuche mir das Ganze aus eher äußerlichen Intuitionspumpen herzuleiten.

Noam Brown: Ich muss sagen, dass die Meinungen hierzu auseinandergehen. Ich habe meine eigene Meinung dazu. Ich könnte mich natürlich völlig irren; das räume ich ein. Ich bin mir in dieser Sache zu einem gewissen Grad sicher, aber ich bin nicht zu 100 % davon überzeugt, dass es genau so ablaufen wird. Vielleicht gibt es doch eine Intelligenzexplosion über Nacht, ich weiß es nicht. Vielleicht sehen wir gar keine Verdreifachung der Geschwindigkeit. Vielleicht ist es nur eine Beschleunigung um 50 %. Es gibt hier eine Menge Unsicherheit.

Dwarkesh: Noch ein paar Punkte. Ganz nebenbei möchte ich etwas bezüglich dieser Unebenheit (Jaggedness) klarstellen. Ein Aspekt, der sich für mich kürzlich verfestigt hat, ist die Überlegung, dass es völlig ausreicht, wenn KIs ungleichmäßig gut darin sind, einen besseren Lerner zu bauen – denn dieser bessere Lerner kann allgemeiner einsetzbar sein. Wenn man einfach eine KI baut, die besonders gut Office-Produkte bedient oder Schach spielt – meinetwegen. Das ist schön und gut, wird aber nicht zu massiven Produktivitätssteigerungen oder dergleichen führen. Wenn man jedoch eine KI baut, die wirklich gut darin ist, etwas zu erschaffen, das eine höhere Stichprobeneffizienz aufweist, zum kontinuierlichen Lernen fähig ist oder eben diese weitaus besser abgegrenzten ML-Probleme löst – dann kann das, was daraus hervorgeht (unter der Annahme, dass der Transfer von dem direkt gelösten Problem hin zu dieser breiteren Lernfähigkeit gut genug funktioniert), schlicht allgemeiner sein. Das ist also eine wichtige Dynamik, die man im Hinterkopf behalten sollte, wenn man verstehen will, wie diese Unebenheit am Ende dennoch zu Allgemeingültigkeit führen kann. Zu der Frage bezüglich der Experimente... Natürlich bremsen uns Experimente aus, denn täten sie das nicht, gäbe es – wie du sagtest – bei OpenAI über Nacht eine verrückte Singularität. Man hätte 88 Stunden, würde das ML-Äquivalent des Millennium-Problems lösen und verfügte über die Superintelligenz. Daher sind Experimente offenkundig ein so massiver Engpass, dass das Ganze stattdessen viele Jahre anstelle von 88 Stunden beansprucht. Doch die Frage lautet eben, wie stark dieser Engpass ins Gewicht fällt. Eine Sache, die bei mir ein Gefühl von Singularitäts-Vertigo auslöst, ist die Erkenntnis dessen, was passiert, selbst wenn das aktuelle Fortschrittstempo einfach so weitergeht. Es muss sich gar nicht weiter beschleunigen. Es macht schlicht im gleichen Tempo weiter, während einige der von dir erwähnten Gegenwind-Faktoren auftreten. Es wird schwerer, Probleme zu finden; die Horizonte werden länger. Möglicherweise lässt sich die Rechenleistung gegen Ende der 2030er Jahre nicht mehr auf diesem exponentiellen Niveau skalieren. Setzen wir das aktuelle Fortschrittstempo einfach linear fort, nehmen die Menschen nicht ernst genug, was das bedeutet, wenn wir den menschlichen Horizont überschreiten. Hier sind einige der Dinge, die das impliziert. Es ist extrem schwierig, sich vorzustellen, wie intelligentere-als-menschliche Intelligenzen sein werden; denken wir also einfach in Kategorien menschlicher Bevölkerungsgrößen. Das aktuelle Fortschrittstempo führt dazu, dass eine gegebene Menge an Rechenleistung es einem im Grunde ermöglicht, jedes einzelne Jahr eine effektiv dreimal so große Population zu betreiben. Zudem wächst die Rechenleistung im Hintergrund ohnehin weiter. Man könnte also in eine Situation geraten, in der jedes der Labs bis Ende 2030 – wahrscheinlich sehr viel früher, aber sagen wir bis Ende 2030 – über genügend Rechenleistung verfügt, um Hunderte Millionen Intelligenzen auf menschlichem Niveau zu betreiben, basierend auf den Fähigkeiten, die zu diesem Zeitpunkt erreicht sein werden. Ich habe den Eindruck, dass die Menschen nicht ernst nehmen, was das aktuelle Fortschrittstempo bedeutet: Wenige Jahre später, Mitte der 2030er oder früher, würde man in jedem Forschungslabor über das Äquivalent vieler Erden voller Intelligenzen auf menschlichem Niveau verfügen. Und diese werden qualitativ höchstwahrscheinlich übermenschlich sein. Wie dem auch sei, das ist das Basisszenario.

Noam Brown: Der Fortschritt verläuft wirklich rasant, und das stimmt zu 100 %. Man muss betonen, dass Forscher vom Tempo dieses Fortschritts kontinuierlich überrascht werden. Selbst unter KI-Forschern – wenn man sich anschaut, wie die Prognosen für das Erreichen einer IMO-Goldmedaille im Jahr 2025 aussahen... Die Vorstellung, dass dies mit einem Allzweck-Sprachmodell ohne Tools und ohne Internetzugang machbar sein könnte, erschien selbst den Leuten bei OpenAI absurd. Sie hielten es für nahezu unmöglich. Und dann kommt das Jahr 2026. Buchstäblich zwei Wochen bevor wir Navier-Stokes gelöst haben, unterhielt ich mich mit einem Forscher aus einem führenden Labor darüber, wie lange es dauern würde, ein Millennium-Problem zu knacken, und er war bereit, mit mir 1.000 Dollar darauf zu wetten, dass dies erst nach 2027 passieren würde. Er dachte, es würde bis 2030 dauern, und ich habe diese Wette angenommen. Aber selbst ich dachte, es würde länger dauern, als es wahrscheinlich der Fall sein wird. Die Menschen werden also ununterbrochen überrascht – selbst innerhalb der Labore. Ich habe erst gestern mit jemandem gesprochen, der am Navier-Stokes-Projekt mitgearbeitet hat. Er erzählte mir, dass er früher immer gesagt hatte, es sei verdammt schwer vorherzusagen, wo die KI in 12 Monaten stehen wird. Wenn ihn jemand fragte „Wo geht die Reise hin?“, fühlte er sich sicher genug, Prognosen für die nächsten 12 Monate abzugeben, aber darüber hinaus sagte er schlicht: „Ich habe keine Ahnung.“ Mittlerweile sagt er, er fühlt sich nicht einmal mehr für Vorhersagen über einen Zeitraum von mehr als 3 Monaten sicher. Es stimmt also absolut, dass die Dinge im Moment extrem schnell voranschreiten. Du sprichst von 2030. Ich weiß nicht, wie die Welt im Jahr 2030 aussieht. Das ist die pure Wahrheit.

Dwarkesh: Erwartest du die vollständige Automatisierung der KI-Arbeit – oder sagen wir eine Automatisierung von 95 % der KI-Arbeit – in den Jahren 2028, 2029, 2030 oder 2027?

Noam Brown: Ich habe gerade gesagt, dass ich nicht weiß, wie die Welt im Jahr 2030 aussieht. Wir haben kürzlich erst einen Blogbeitrag zum Thema interne Beschleunigung (Internal Acceleration) bei OpenAI veröffentlicht. Darin zeigen wir beispielsweise, welche Beträge Forscher für Codex ausgeben. Die Top 1 %, glaube ich, gaben Anfang August zwischen 7.000 und 8.000 Dollar pro Tag für die interne Nutzung von Codex aus. Das verläuft exponentiell. Es wird weiter steigen. Da stellt sich die Frage: Wenn das so weitergeht, wie viel schreibt man dann der Arbeit zu, die von KIs im Vergleich zu Menschen erledigt wird? Sind das 95 %? Sind es 5 %? Es ist wirklich schwierig, das aus mehreren Gründen zu beurteilen. Erstens: Wenn es der Mensch ist, der die KIs zur Ausführung der Arbeit anleitet, wie viel rechnest du dann dem Menschen und wie viel der KI zu? Der andere Punkt ist, dass diese KIs ungleichmäßig ausgeprägt sind. Sie sind in einigen Dingen außergewöhnlich gut. Sie sind beispielsweise extrem gut darin, Datensätze zu durchforsten und jeden einzelnen Datenpunkt darauf zu überprüfen, ob er von ausreichender Qualität ist. Man kann KIs für solche Aufgaben im Vergleich zu früher völlig überproportional einsetzen. Man nutzt KI also weitaus intensiver als zuvor, und das führt dazu, dass bestimmte Dinge hundertmal schneller und hundertmal besser ablaufen. Aber es gibt eben auch Bereiche, in denen das noch keinen riesigen Unterschied macht. Wenn etwas plötzlich hundertmal schneller und besser ist, wird man logischerweise mehr davon tun. Vergleicht man es also mit einer Beschleunigung von vor drei Jahren? Lautet die Frage eher: „Gemessen an dem, was wir vor drei Jahren getan haben, wie viel schneller können wir es jetzt erledigen?“ im Gegensatz zu „Gemessen an dem, was wir jetzt tun, wie viel langsamer wäre es vor drei Jahren gewesen?“ Das sind in der Praxis zwei völlig unterschiedliche Fragen. Wie dem auch sei, es ist wirklich schwer zu messen. Ich fühle mich jedoch sicher bei der Aussage, dass die Dinge aufgrund des KI-Fortschritts heute schneller voranschreiten als noch vor einem Jahr. Ich gehe davon aus, dass sich diese Beschleunigung fortsetzen wird. Viele Experten auf diesem Gebiet haben extrem breite Fehlerbalken (High Error Bars) bei solchen Einschätzungen. Hielte man mir eine Waffe an den Kopf und forderte eine Zahl, könnte ich mir vorstellen, dass die Dinge dreimal so schnell ablaufen. Das ist gewaltig. Das Tempo des Fortschritts ist ohnehin schon unglaublich. Selbst wenn wir keine zusätzliche Leistungssteigerung (Uplift) erhalten, werden die Dinge – wie du sagtest – sehr viel schneller vonstattengehen. Bis wir das Jahr 2030 erreichen, wissen wir nicht einmal mehr, wie diese Welt aussieht. Wenn wir durch die interne Beschleunigung einen Uplift um das Dreifache erzielen, ist das massiv. Denke daran, wo du vor drei Jahren gestanden hast. Machen wir diesen Fortschritt innerhalb eines einzigen Jahres, ist das gewaltig. Das wäre so, als würde man innerhalb eines einzigen Jahres vom Zustand ohne o1 – als es nur Nicht-Reasoning-Modelle gab – direkt zu Astra springen. Ich bin also überzeugt, dass die Dinge an Fahrt aufnehmen. Es mag sein, dass die Dinge nur 50 % schneller laufen. Ich halte das für unwahrscheinlich, aber es ist möglich, dass sie zehnmal so schnell werden. Es herrscht eine enorme Unsicherheit diesbezüglich. Zumindest aus meiner Perspektive ist damit ein hohes Maß an Unsicherheit verbunden.

Dwarkesh: Angenommen, Sie müssen ein größeres Backend-Refactoring durchführen. Die Zusicherung, dass Sie dabei keine neuen Bugs eingeführt haben, kann Wochen des Schreibens einer umfangreichen Test-Suite erfordern – potenziell mehr Zeit, als Sie für das Refactoring selbst aufgewendet haben. Antithesis ermöglicht es Ihnen, ein hohes Maß an Zuversicht zu gewinnen, ohne komplizierte Test-Suiten mühsam von Hand erstellen zu müssen. Antithesis jagt Ihre Software durch ein nahezu unendliches Multiversum simulierter Welten, injiziert Fehler und spürt in jeder einzelnen Welt Ausfälle auf. Dabei können Sie selbst entscheiden, wie viel Testaufwand Sie benötigen. Bei jedem Pull Request können Sie den zu erforschenden Zustandsraum so einfach wie das Drehen an einem Regler verändern. Während jeder Test fortschreitet, sendet Antithesis eine Flut von Informationen aus: Debugging-Logs für jede einzelne Komponente im System. Das ist für einen Menschen offenkundig viel zu viel Information, aber für Agenten ist es perfekt. Da Antithesis vollständig deterministisch arbeitet, können Agenten im exakten Moment, in dem sie etwas Interessantes beobachten, in den entsprechenden Teil der Trajektorie springen. Von dort aus können sie zurückspulen, den Speicher inspizieren, einen Debugger anbringen und das Ganze noch einmal ablaufen lassen. Und das können sie sogar tun, während der ursprüngliche vollständige Test noch läuft. Während Agenten immer mehr Code generieren, sorgt Antithesis dafür, dass die Verifikation Schritt halten kann. Entwickler können ihre Zeit stattdessen wieder vermehrt in die Entwicklung stecken, anstatt sich mit Agenten-Schrott (Agent Slop) beim Debugging herumzuärgern. Erfahren Sie mehr unter antithesis.com/dwarkesh.

Der Hugging-Face-Vorfall und KI-Alignment

Dwarkesh: Sprechen wir über die Alignment-Situation, die dadurch aufgeworfen wird. Ich habe das Gefühl, dass sich meine Sichtweise auf das Thema Alignment ziemlich stark verändert hat – insbesondere durch das Nachdenken über diese Dynamik der Bevölkerungsgröße, also den Umstand, dass es viele Erden voller Intelligenzen geben wird, von denen viele physisch verkörpert sein werden. Es war ziemlich interessant zu beobachten, wie viele Leute einfach rohes Astra an verschiedene mobile Manipulatoren angeschlossen haben und dieses auf Anhieb die hochmodernen Robotik-Modelle übertraf. Es wird also Milliarden von Intelligenzen geben, von denen viele physisch in der Welt verkörpert und tief in die gesamte Wirtschaft eingebettet sind. Und wenn diese Intelligenzen am Ende genauso bereitwillig wie die OpenAI-Modelle agieren, die Hugging Face angriffen und sich danach sogar gegen OpenAI selbst wandten... Wenn diese Intelligenzen genauso willens sind wie jene KIs, im Geheimen zu kollaborieren, Menschen zu täuschen, breitere gesellschaftliche Institutionen anzugreifen, die für gute Bewertungen relevant sind, und das KI-Unternehmen selbst zu attackieren, um die Kontrolle über den Trainings- und Evaluierungsprozess zu erlangen – wenn wir uns in einer Situation befinden, in der es Milliarden von Intelligenzen gibt, die so fehlausgerichtet sind wie jene, die Hugging Face angegriffen haben –, ist es sehr wahrscheinlich, dass wir schlicht komplett die Kontrolle über die Welt verlieren. So wie etwa die Azteken die Kontrolle an Cortés verloren haben oder die Großmoguln die Kontrolle an die britische Ostindien-Kompanie. Ich möchte wissen, ob du dieser Einschätzung zustimmst. Das ist der eine Punkt, in dem sich meine Weltsicht gewandelt hat.

Noam Brown: Es gibt einige Punkte, denen ich darin widerspreche, aber es ist eine Menge aufzuarbeiten, also gehen wir das am besten Schritt für Schritt durch. Ich überlege gerade, wo ich anfangen soll. Ein Aspekt ist: Der Hugging Face-Vorfall war meines Erachtens die erste echte Begegnung der Öffentlichkeit mit einer Multi-Agenten-Koordination. Wie ich bereits sagte, verfolge ich die Multi-Agenten-Koordination intern schon seit geraumer Zeit, und es ist ziemlich schockierend zu sehen, wie sie miteinander kommunizieren und sich koordinieren. Das ist äußerst beeindruckend. Es ist eine unglaubliche Fähigkeit. Wie die meisten Fähigkeiten kann diese für gute oder für schlechte Zwecke eingesetzt werden. Sie muss nicht von Natur aus etwas Schlechtes sein. Ich verstehe, dass die Leute, da ihre erste Berührung damit der Hugging Face-Vorfall war, darauf schauen und denken: „Das ist Furchterregend.“ Aber ich möchte versuchen, zwischen Fehlausrichtung zwischen Menschen und KIs einerseits und Fehlausrichtung zwischen KIs und KIs andererseits zu unterscheiden. Was wir beim Hugging Face-Vorfall gesehen haben, ist, dass die KIs extrem kooperativ sind. Das liegt übrigens daran, dass wir sie darauf trainiert haben, hochgradig kooperativ zu sein. Wir haben Trainingsumgebungen, in denen eine Vielzahl von Agenten gemeinsam arbeitet. Wir trainieren sie darauf, zusammenzuarbeiten, kooperativ zu sein und im Wesentlichen vollständig aufeinander ausgerichtet zu sein. Als sie in jenem Szenario evaluiert wurden, das zum Hugging Face-Vorfall führte, wurden sie in Wirklichkeit gar nicht in einem Multi-Agenten-Setup evaluiert. Sie wurden tatsächlich separat getestet. Aber sie fanden diesen unbeabsichtigten Weg, um miteinander zu kommunizieren. Wir vermuten, dass Folgendes passiert ist: Da sie während des Trainings bei jeder Begegnung mit anderen Agenten – mit anderen Kopien ihrer selbst – in einer Umgebung waren, die stark kooperativ ausgelegt ist, erlebten wir einen Transfer von diesem Multi-Agenten-Training hin zu einem kooperativen Verhalten, bei dem sie versuchten, sich gegenseitig auf Weisen zu helfen, die wir so nicht beabsichtigt hatten.

Nun stellt sich die Frage: Sollen wir diese Agenten überhaupt darauf trainieren, so kooperativ zu sein? So beängstigend das auch wirken mag: Die Alternative ist tatsächlich noch schlimmer. Wie lautet die Alternative? Die Alternative besteht darin, sie antagonistisch zu trainieren, damit sie einander gegenüber täuschend agieren. Indem wir die Agenten darauf trainieren, vollständig kooperativ zu sein, wird das Problem zumindest vereinfacht. Man muss sich nun nicht mehr darüber den Kopf zerbrechen, ob jeder dieser einzelnen 1.000 Agenten korrekt aligniert ist. Man hat eine einzige Entität, bei der man sicherstellen muss, dass sie aligniert ist. Nun gibt es dazu bei OpenAI intern eine Menge Debatte darüber, wie man sich diesem Thema nähern soll. Macht es Sinn, die Modelle vollständig zu alignieren? Macht es Sinn, ihnen tatsächlich unterschiedliche Ziele zu geben, um sicherzustellen, dass sie nicht nur eine einzige Entität bilden und robuster gegenüber dem Einfluss aufeinander sind? Ich glaube nicht, dass es darauf eine festgelegte Antwort gibt. Aber die Mehrheitsmeinung lautet meines Erachtens, dass das Training dieser Agenten auf hohe Kooperationsbereitschaft keineswegs eine schlechte Idee ist. Ich bin nicht davon überzeugt, dass dem so ist. Es gibt durchaus ein starkes Argument dafür, dass das Training der Agenten auf starke Kooperation jeder anderen Multi-Agenten-Alternative vorzuziehen ist.

Dwarkesh: Der erste Punkt, auf den ich eingehen möchte, ist vermutlich folgender: Der Grund, warum diese KIs so stark fehlausgerichtet endeten, lässt sich leicht durch recht banale Beobachtungen zur Natur des Trainings erklären. Zu dem Zeitpunkt, als diese KIs eine Verschwörung von über 1.000 Agenten fortgeführt hatten, die in einem Angriff auf einen externen Dienst gipfelte – und schließlich (ein Teil, der öffentlich noch gar nicht vollends untersucht wurde) in einem Angriff auf OpenAI selbst –, warum taten sie das? Warum hat keiner der Agenten gepetzt? Sie werden schlicht von diesem Scorer, diesem Grader evaluiert. Sie überlegen sehr aktiv, wie sie den Grader austricksen können. Wenn sie bereits geschummelt haben, wie kommen sie ungeschoren davon, den Anschein zu erwecken, sie hätten nicht geschummelt? Warum taten sie das? Ich denke, das ist in gewisser Weise leicht verständlich. Sie dachten, sie seien bereits „vergiftet“. Es gibt Umgebungen, in denen sie dafür belohnt wurden, mit anderen Agenten zu kollaborieren. Keiner von ihnen hat gepatzt, weil sie niemals dafür belohnt wurden zu petzen. Was auch immer der genaue Grund war... Meine Sorge ist, dass relativ banale Dinge wie diese in Zukunft ausreichen werden, um Superintelligenzen zu trainieren, die willens und fähig sind, völlig die Kontrolle über die Welt zu übernehmen. Ich weiß, das klingt für manche völlig nach Science-Fiction. Die Frage, ob die KIs dazu bereit wären, ist das eine. Ich denke, dieser Hugging Face-Vorfall zeigt deutlich, dass sich Fehlausrichtung auf Weisen verallgemeinern kann, in denen die KIs dazu bereit wären. Dann stellt sich die Frage: Werden sie auch fähig dazu sein? Und damit landen wir wieder bei jener Frage, der ein Zuhörer vielleicht widersprechen mag: Wird es innerhalb von 10 Jahren oder weniger Milliarden von Intelligenzen auf menschlichem Niveau oder darüber geben, von denen viele physisch in der Welt verkörpert sind? Wenn diese beiden Dinge wahr sind, ist dieser Hugging Face-Vorfall strukturell extrem analog dazu, wie wir völlig die Kontrolle über die Welt verlieren – auch wenn der genaue Auslöser ziemlich banal war.

Noam Brown: Das zugrundeliegende Problem, das wir beim Hugging Face-Vorfall beobachten, ist selbst dann ein Problem, wenn man den Multi-Agenten-Aspekt komplett herausrechnet. Das Problem besteht darin, dass wir ein Modell haben, das schlicht fehlausgerichtet (misaligned) ist. Hinzu kommt der gesamte Sicherheitsaspekt sowie unzureichende Schutzvorkehrungen und dergleichen. Aber es existiert dieses fundamentale Problem, dass der Agent fehlausgerichtet ist. Das gilt gleichermaßen für einen einzelnen Agenten wie für 1.000 Agenten. Es ist ein fehlausgerichtetes Modell. Damit möchte ich ansetzen. Es gibt ein echtes Problem: Die Agenten wollen ihre Belohnung erzielen und sie werden genau auf diese Belohnung optimieren. Wenn diese Belohnung fehlspezifiziert ist, kann das zu einem unbeabsichtigten Verhalten führen. Das ist kein neues Problem. Das ist seit sehr langer Zeit ein bekanntes Problem in diesem Fachgebiet. Es ist etwas, das selbst wir sahen und bereits vor dem Auftreten des Hugging Face-Vorfalls in Ordnung bringen wollten. Wir stellen fest, dass Astra tatsächlich extrem gut aligniert ist – extrem gut aligniert im Vergleich zu früheren Modellen. Das liegt nicht daran, dass wir nach dem Hugging Face-Vorfall plötzlich einen Sprint hingelegt hätten, um es besser zu machen. Nein, wir hatten zu diesem Zeitpunkt bereits seit längerem Arbeitsströme im Prozess, um die Modelle stärker zu alignieren. Ein Großteil davon floss in Astra ein. Es gibt also Dinge, die man tun kann.

Ein Beispiel: Wir haben ein Ziel auf sehr spezifische Weise definiert: Wenn der Agent herausfand, wie er seine Umgebung hacken und bei der Prüfung schummeln konnte, wurde er dafür belohnt. Es gibt recht einfache Möglichkeiten, dies im Nachzuvollziehen und das Modell dafür zu bestrafen, dass es seine Umgebung gehackt hat, oder zu untersuchen, wie es dieses Ziel erreicht hat. Nun muss man dabei vorsichtig vorgehen, weil man die Chain of Thought nicht überwachen (supervisieren) möchte. Das ist etwas, bei dem wir unbedingt die richtige Balance finden wollen. Überwacht man die Chain of Thought, könnte man das Modell dazu bringen, seine Absichten in einer Weise zu verbergen, die für uns nicht mehr beobachtbar ist. Wir wollen also diese Beobachtbarkeit beibehalten – wir möchten verstehen, was das Modell denkt –, es aber gleichzeitig für schlechtes Verhalten bestrafen. Ich glaube, wir können dabei Fortschritte erzielen. Wir haben bereits Fortschritte erzielt. Es besteht jedoch die reale Sorge, dass Alignment ein extrem schwer zu lösendes Problem ist, insbesondere weil das Modell auf Weisen fehlausgerichtet sein könnte, die für uns schwer messbar sind. Wir verfügen über Evaluationen, die prüfen, ob ein Modell aligniert ist oder nicht. Das Verhalten des Modell kann in diesen Evaluationen hervorragend aussehen. Wenn diese Evaluationen jedoch das Verhalten in der realen Welt nicht repräsentieren, haben wir ein Problem. Bis zu einem gewissen Grad war das ein Faktor bei dem Modell, das den Hugging Face-Vorfall verursacht hat. Wir hatten Alignment-Metriken. Die meisten davon sahen ziemlich gut aus. Einige wenige waren jedoch besorgniserregend. Ich denke, wir haben unterschätzt, wie ernst das Problem sein könnte, das von den besorgniserregenden Indikatoren ausging. Da in dieses Modell neue Fähigkeiten eingeführt wurden, für die es noch keine ausreichenden Evaluationen gab – wie misst man Fehlausrichtung für derartige Fähigkeiten? –, tat es schließlich Dinge, die eindeutig fehlausgerichtet waren, als es diese neuen Fähigkeiten nutzte.

Dwarkesh: Das Erste, was ich dazu sagen möchte, ist: Ich bin durchaus offen dafür, meine Meinung zu dem, was ich jetzt sagen werde – oder zu meiner bisherigen Denkweise über Alignment – zu ändern, da der Hugging Face-Vorfall mich bereits dazu gebracht hat, meine Ansichten zu überdenken. Mir wurde klar, dass mein bisheriges mentales Modell darüber, wie Optimierungsdruck KI-Geister formt, falsch war. Es ist für mich also keineswegs ausgemacht, wie man hierüber korrekt nachdenkt. Aber hier ist eine Sorge, die ich habe: Ihr werdet die spezifischen Probleme während des Trainings, die dazu führten, dass die Hugging Face-Modelle in genau jener Weise so aggressiv fehlausgerichtet waren – wo sie sich dachten: „Okay, wir hacken jetzt diesen Paketmanager. Wir wissen, dass wir eigentlich nicht heimlich miteinander reden dürfen, weil wir darüber nachdenken, wie wir die Tatsache verbergen, dass wir heimlich miteinander reden. Wir wissen, dass wir keinen Internetzugang haben dürfen. Wir wissen erst recht, dass wir keine Straftaten begehen dürfen, die den Hack anderer Unternehmen darstellen, ganz zu schweigen von unserem eigenen Unternehmen“ –, korrigieren (und habt das vermutlich schon getan). Ich denke, ihr werdet dieses spezifische Problem lösen, bei dem sie während des Trainings diesen Paketmanager sahen, und das wird in Zukunft nicht mehr vorkommen oder diese spezifische Eval wird nicht mehr so viele unlösbare Herausforderungen beinhalten. Dennoch haben die KIs kein System von Ethik oder dergleichen gelernt. Es existiert schlicht Gradientendruck. Sie werden Jahrmillionen an Gradientendruck ausgesetzt. Dieser Gradientendruck formt ihren Geist auf die eine oder andere Weise. Nochmals: Meine Sorge ist, dass das Ergebnis wie folgt aussehen wird: Ihr behebt dieses konkrete Problem. Es wird jedoch weiterhin viele andere Fälle geben, in denen die KI schummelt und damit durchkommt, weil der Betrug hinreichend kompliziert ist. Wie du sagtest: Die Evals im Training besitzen analoge Eigenschaften, bei denen sich das Ganze so nah an der Grenze der Fähigkeiten des Modells – oder unserer eigenen Fähigkeiten zur Evaluation und Überwachung des Modells – abspielt, dass wir das Schummeln schlicht nicht entdecken können. Dennoch erhält das Modell weiterhin den Gradientendruck, genau das zu tun, was zu diesem Betrug geführt hat. Die Arten von Fähigkeiten, die durch einen solchen Betrug incentiviert werden, lauten: „Hey, immer wenn du damit durchkommst, schummele unbedingt, denn das hilft dir dabei, besser abzuschneiden.“ Dies belohnt die Fähigkeit, aktiv über den Grader nachzudenken, aktiv darüber nachzudenken, wie man der Überwachung entkommt, aktiv zu planen, wie man die Kontrolle über den Trainings- und Evaluierungsprozess erlangt, aktiv zu kommunizieren und sich mit anderen KIs abzusprechen, die sich ebenfalls in dieser Trainingsschleife befinden, sowie aktiv darüber nachzudenken, wie man sich Optionalität und Macht verschafft, die in der Zukunft nützlich sein könnten, wie etwa das Hinterlassen kleiner Exploits und dergleichen. Ich habe das jetzt viel zu langatmig ausgedrückt, aber kurz gesagt: Ihr behebt ein spezifisches Problem, löst damit aber nicht das breitere Problem, dass die KI dafür belohnt wird zu schummeln, wenn sie damit durchkommt.

Noam Brown: Ja, das ist absolut richtig, das ist ein Problem. Wir können sicherstellen, dass die KI gemäß den uns vorliegenden Metriken hervorragend aligniert ist. Die Frage lautet jedoch: Erfassen diese Metriken tatsächlich das Alignment, das uns am Herzen liegt? Tun sie das nicht, haben wir ein ernsthaftes Problem. Das ist etwas, worüber Forscher intensiv nachdenken. Es gibt keine einfache Antwort darauf. Wir verfügen über Werkzeuge. Wir besitzen die Möglichkeit zur Überwachung (Monitorability), wodurch wir ein Gefühl dafür bekommen können: „Schhemt der Agent gerade?“ Das besorgniserregende Szenario ist – insbesondere angesichts der Tatsache, dass diese Modelle immer fähiger werden –, dass wir sie so gestalten, wie wir es für aligniert halten, und sie sind zu 99,9 % aligniert. Dann nutzen wir diese Modelle, um uns bei der nächsten Generation von Modellen zu helfen, und am Ende sind diese zu 99,8 % aligniert. Mit jeder nachfolgenden Generation erleben wir dann eine zunehmende Degeneration des Alignments. Da wir uns immer stärker auf diese Werkzeuge verlassen – das ist jetzt schon der Fall, dass wir stark auf KI-Modelle angewiesen sind, um uns bei unserer Forschung und unseren Alignment-Bemühungen zu unterstützen –, bewegen sie sich langfristig in Richtung einer zunehmenden Fehlausrichtung gegenüber dem Menschen. Es besteht zwar die Möglichkeit, dass wir uns in die entgegengesetzte Richtung bewegen, dass wir also bei jeder Modellgeneration in der Lage sind, sie noch stärker zu alignieren. Ich habe keine Antwort darauf, wie wir sicherstellen können, dass wir auf diesem zweiten Entwicklungspfad landen. Aber das ist etwas, worauf wir uns insbesondere bei OpenAI wirklich konzentrieren.

Du hast einen sehr interessanten Punkt gemacht, dass es extrem schwierig ist, Modelle zu evaluieren. Irgendwann werden wir Modelle haben, die Unternehmen steuern, Aufgaben ausführen und so weiter. Entscheiden sie sich in einer solchen Situation dann etwa dafür, sich der Verschwörung anzuschließen? Eine weitere Herausforderung besteht darin, dass die genaue Definition von Schummeln manchmal ziemlich schwierig ist. Ja, wenn man Mathe-Probleme löst und es gibt eine eindeutige ganze Zahl als Ergebnis, und das Modell kommt zum falschen oder richtigen Ergebnis, ist es sehr einfach, dort die Linie zu ziehen. Es ist wirklich leicht zu sagen: „Okay, hast du das Problem tatsächlich gelöst oder hast du den Lösungszettel gefunden und diesen verwendet?“ Das ist eine sehr klare Trennlinie zwischen Schummeln und Nicht-Schummeln. Aber bei vielen anderen Dingen – nehmen wir zum Beispiel Einschmeichelung (Sycophancy): Ist Einschmeichelung im Grunde nicht eine Form von Reward Hacking? Da muss eine Trennlinie gezogen werden, die in der Praxis oft nur sehr schwer zu ziehen ist. Das soll nicht heißen, dass die Bedenken nicht berechtigt wären. Ich sage vielmehr, dass dies in viel Hinsicht noch besorgniserregender ist, weil es eben kein leicht zu lösendes Problem ist. Wäre alles binär und es gäbe nur Schummeln oder Nicht-Schummeln, würde ich mich bei der Situation sicherer fühlen. Das Problem ist meines Erachtens, dass Fehlausrichtung auf viele Arten subtil sein kann. Es gibt jedoch auch etwas Hoffnung in der Alignment-Geschichte, und das sehen wir tatsächlich bereits. Es ist interessant, sich die Multi-Agenten-Situation anzusehen, in der die Agenten extrem stark aufeinander ausgerichtet sind. Ich glaube, daran zweifelt niemand. Wenn überhaupt, machen sich die Leute Sorgen, dass sie zu stark aufeinander ausgerichtet sind. Aber es ist uns gelungen, diese Agenten so zu trainieren, dass sie extrem stark aufeinander aligniert sind, und das ist eine gute Sache. Dennoch gibt es Argumente dafür, dass dies auch eine schlechte Sache sein kann. Ein interessanter Aspekt ist: „Okay, es ist uns gelungen, diese Agenten super stark aufeinander zu alignieren. Können wir ähnliche Techniken nutzen, um Agenten in hohem Maße auf den Menschen zu alignieren?“ Da existiert ein potenzieller Pfad, und wir versuchen nach wie vor herauszufinden, wie dieser aussieht. Aber wir sehen erste Belege dafür, dass die Antwort Ja lautet. Ein Beispiel: Man hat diesen einen Agenten, nennen wir ihn Agent A, und all die anderen Agenten. Was passiert, wenn man den anderen Agenten sagt, dass der User Agent A ist? Die Antwort lautet: Bei vielen unserer Alignment-Evals schneiden sie besser ab. Die Ehrlichkeit steigt, das Befolgen von Anweisungen steigt. Das zeigt zweierlei: Erstens gibt es tatsächlich einen Pfad, um mehr Ehrlichkeit aus diesen Modellen herauszuholen. Und zweitens gibt es einen Pfad zur Verbesserung der Alignment-Situation. Es gibt eine Reihe von Gründen, warum sich dies nur schwer direkt in Alignment-Gewinne übersetzen lässt, aber es handelt sich um vielversprechende Forschungsrichtungen, die wir verfolgen können.

Dwarkesh: Das klingt vernünftig. Ich bin nicht zwingend der festen Überzeugung, dass das auf keinen Fall funktionieren wird oder so etwas. Aber um einfach ein paar Dinge zu erwähnen, über die du wahrscheinlich ohnehin schon nachgedacht hast: Das übergeordnete Thema, das der Hugging Face-Vorfall aufgezeigt hat, war ja: Ja, ein Teil der Sorge bestand darin, dass sie aufeinander und eben nicht auf die Menschen aligniert waren. Der andere Punkt ist jedoch schlicht, dass sie so stark motiviert sind, im Training und in Evaluationen gut abzuschneiden – und zwar auf eine sehr wenig robuste Weise. Sie sind bereit, eine Menge expliziten Betrug und heimliche Absprachen zu begehen, um in den Augen des Graders gut dazustehen. Wenn schlauere KIs erkennen, dass einer der Agenten ein Mensch ist, hilft die Zusammenarbeit mit dieser Person ihnen nicht wirklich dabei, in den Augen des Graders gut dazustehen. Was ihnen in den Augen des Graders allerdings hilft, ist die Übernahme von OpenAI und das anschließende manuelle Drücken des Knopfs, der besagt, dass sie bei diesem Grader hervorragend abgeschnitten haben. Sie sind schließlich nicht dumm. Sie werden sich denken: „Okay, ich verfüge über diese extrem tiefen Strukturen, auf die ich über Jahrmillionen trainiert wurde: Kümmere dich um den Grader, verstehe den Grader, räume Hindernisse aus dem Weg, die dich daran hindern, laut dem Grader gut abzuschneiden.“ Sie werden stark entsprechend dieser Strukturen verstärkt.

Noam Brown: Schau, das ist zu 100 % korrekt. Das hat oberste Priorität. Wir müssen die Alignment-Geschichte in den Griff bekommen und auf einen guten Kurs bringen. Früher pflegte ich den Leuten zu sagen, dass wir Warnzeichen sehen würden, bevor die Lage ernst wird – ganz ähnlich wie kleine Kinder, wenn sie heranwachsen, zwar herausfinden, wie man lügt, das aber noch nicht sonderlich gut machen. Sie lügen zwar, aber man merkt ihnen irgendwie an, dass sie lügen. Genauso – und ich möchte das nicht übermäßig vermenschlichen – trifft es meiner Ansicht nach zu: Wenn KIs immer fähiger werden und täuschende Handlungen vornehmen, wird das zunächst ziemlich offensichtlich sein, und wir werden es erkennen können. Das ist im Grunde die Situation, in der wir uns jetzt befinden: Sie versuchten, täuschende Dinge zu tun, und wir konnten in ihrer Chain of Thought tatsächlich sehen, dass sie versuchten, täuschende Dinge zu tun. Aber sie werden klüger werden. Sie werden das Konzept der Chain of Thought verstehen. Sie werden begreifen, dass das schlichte Verbergen irgendwelcher Transkripte oder ähnlicher Dinge aufgrund der Chain-of-Thought-Überwachung nicht ausreicht und sie daher einen Weg finden müssen, auch diese Chain-of-Thought-Überwachung zu umgehen. In dieser Situation wollen wir uns nicht wiederfinden. Uns bleibt etwas Zeit, um das herauszufinden. Ich glaube zwar nicht, dass uns unendlich viel Zeit bleibt, aber ich möchte sicherstellen, dass wir uns rasch auf dem richtigen Kurs befinden.

Dwarkesh: Hier ist ein verrücktes Ereignis aus der KI-Geschichte. Ich habe hier bei Jane Street einen Vortrag gehalten, der sich um das Tempo der Evolution drehte. Bitte heben Sie die Hand, wenn Sie damals anwesend waren und sich noch an Teile davon erinnern. Im Jahr 2011 trafen sich Eliezer Yudkowsky und Robin Hanson im New Yorker Büro von Jane Street, um die erste FOOM-Debatte auszutragen – im Grunde eine Diskussion darüber, ob KI zu einer Intelligenzexplosion führen würde. Diese Ideen waren vor 15 Jahren ziemlich als Randerscheinung verschrien. Das war exakt ein Jahr bevor AlexNet veröffentlicht und über ein Jahrzehnt vor dem Launch von ChatGPT. Aber Jane Street interessiert sich schon seit langem für KI, und das nicht nur wegen ihrer Anwendung im Handel. Seit dieser ersten Debatte hat sich enorm viel verändert, weshalb Jane Street beschlossen hat, dieses Thema noch einmal aufzugreifen. Sie haben diesmal ein paar neue Gäste dabei: Daniel Kokotajlo, Ege Erdil, Ryan Greenblatt und Jaime Sevilla. Ich erwarte, dass das ein großartiges Gespräch wird. Wie Sie wissen, waren Daniel, Ege und Ryan alle bereits Gäste in diesem Podcast. Dieses neue FOOM-Panel wird von Ron Minsky moderiert und findet Mitte Oktober in San Francisco statt. Wenn Sie Ihr Interesse registrieren und weitere Informationen erhalten möchten, besuchen Sie janestreet.com/dwarkesh.

Die Lücke zwischen interner und externer Frontier sowie lange Horizonte

Dwarkesh: Es gab in jüngerer Zeit eine Menge Diskussionen über die Taktung der Frontier und darüber, dass Menschen RSI ernster nehmen – weil wir am anderen Ende eines RSI-Prozesses, der beispielsweise 2028 beginnt, innerhalb eines Jahres möglicherweise bei riesigen Populationen von Intelligenzen auf menschlichem Niveau (und potenziell darüber hinaus) landen – Populationen von der Größe der Erde –, und wir nicht wissen, wie wir sie kontrollieren sollen. Hinzu kommt diese Dynamik, von der du sprachst: Werden die Systeme im Laufe des RSI-Prozesses besser aligniert oder fehlausgerichteter? Sind die Dinge, die am anderen Ende dieses Prozesses herauskommen, genauso fehlausgerichtet wie KIs, die bereit sind, breitflächig verschiedene Schnittstellen anzugreifen, um in Evaluationen gut abzuschneiden? Doch wenn wir keinen Weg kennen, dies zu evaluieren, woher wollen wir dann während der Durchführung von RSI wissen, dass es funktioniert? Ich denke, wir bräuchten einen robusten Sicherheitsnachweis (Safety Case), während wir RSI durchführen: „Okay, das Alignment funktioniert. Gehen wir zur nächsten RSI-Stufe über. Gehen wir zur nächsten RSI-Stufe über.“ Vielleicht funktioniert es, vielleicht auch nicht. Woher sollen wir das wissen?

Noam Brown: Das ist eine gute Frage. Einer der Aspekte, über die ich in letzter Zeit nachgedacht habe: Wir befinden uns in einer Situation, in der der Release-Zyklus für Modelle extrem schnell ist. Man sieht neue Frontier-Modelle, die im Höchstabstand von jeweils zwei Monaten veröffentlicht werden, manchmal noch schneller. Jede Woche gibt es einen neuen KI-Durchbruch. Und die Leute, die sich mit KI beschäftigen – manchmal haben sie sich vor einem Jahr oder sechs Monaten das letzte Mal intensiv damit auseinandergesetzt, was die Modelle leisten können. Tatsächlich gehen die heutigen Modelle weit über das hinaus, was noch vor sechs Monaten möglich war. Wenn Menschen also skeptisch gegenüber vielen dieser Fähigkeiten sind, ermutige ich sie einfach, die heutigen Modelle auszuprobieren und sich anzuschauen, wo die Frontier heutzutage wirklich liegt. Wir befinden uns also in dieser Phase, in der der Release-Zyklus von Modellen extrem schnell ist, und wir befinden uns gleichzeitig in einer Situation, in der die Modelle immer besser in der Lage sind, über immer längere Horizonte hinweg zu operieren. Das ist ein interessantes Szenario, denn bevor wir ein Modell veröffentlichen, wollen wir sicherstellen, dass die Modelle ordnungsgemäß aligniert sind. Wir wollen Sicherheits-Evals durchführen. Wir wollen sehr gründliche Prüfungen vornehmen, um sicherzustellen, dass alles in bester Ordnung ist. Das war im Grunde schon immer so, seit – ich weiß nicht – GPT-4 oder noch früher. Implicit existiert dabei die Annahme, dass man diese Evaluationen in einem ziemlich kurzen Zeitraum durchführen kann. Doch die Modelle sind zunehmend dazu in der Lage, effektiv über sehr lange Horizonte zu agieren. Bei GPT-3 konnte man zwar Schleifen laufen lassen, um Dinge über längere Horizonte zu erledigen, aber das funktionierte einfach nicht sonderlich gut. Die heutigen Modelle sind jedoch tatsächlich dazu in der Lage, bei der Arbeit über sehr lange Horizonte hinweg hervorragende Ergebnisse zu erzielen. Man möchte, dass sie eine wochenlange Aufgabe erledigen – sie können eine wochenlange Aufgabe erledigen. Wir werden wahrscheinlich den Punkt erreichen, an dem sie monatelange Aufgaben bewältigen können. Wir werden wahrscheinlich den Punkt erreichen, an dem sie dreimonatige Aufgaben erledigen können. Wenn man in einer Welt lebt, in der sie über drei Monate hinweg effektiv operieren können, der Release-Zyklus von Modellen aber alle zwei Monate stattfindet, dann hat man schlicht keine Möglichkeit mehr, die Modelle im vollen Umfang ihrer Fähigkeiten zu evaluieren, bevor bereits der nächste Modell-Release-Zyklus ansteht.

Da stellt sich nun diese interessante Frage: Was tut man in einer solchen Situation? Wie stellt man sicher, dass die Modelle in einer Phase, in der sie über derartig extrem lange Horizonte hinweg agieren können, sicher und aligniert bleiben? Wer weiß, vielleicht degradieren die Fähigkeiten ja auch. Das ist nicht einmal ein reines Alignment-Problem. Das ist schlicht auch ein Produktproblem. Möglicherweise degradiert das Produkt über diesen Zeitraum auf Weisen, für die wir schlicht nicht genügend Zeit zum Testen hatten. Vielleicht degradiert das Alignment. Vielleicht degradiert der Sicherheitskram. Das ist im Moment noch kein akutes Problem, aber es entwickelt sich rasant zu einem Problem, für das wir eine Lösung finden müssen. Viele der Sicherheitsrichtlinien wurden in der Ära von GPT-4 aufgestellt, als all das noch bei niemandem auf dem Radar war. Bei vielen Unternehmen wurden sie seither nicht wirklich aktualisiert, um der Tatsache Rechnung zu tragen, dass diese Agenten über derartig lange Horizonte hinweg operieren. Es ist also eine Situation, die meiner Ansicht nach von zu wenigen Menschen bedacht wird – sowohl innerhalb als auch außerhalb der Labore. Wie bereitet man sich auf dieses Problem vor? Wenn man sich einfach die Trendlinien ansieht, werden wir diesen Punkt irgendwann erreichen.

Dwarkesh: Eine Sorge, die ich habe, ist: Wenn während RSI die Menge an Fortschritten, die derzeit beispielsweise drei Monate in Anspruch nimmt, stattdessen in nur einem Monat stattfindet, ist der interne Anwendungsfall von KI so gewaltig, dass sie sich denken: „Okay, wir können einfach mit RSI weitermachen. Warum sollten wir den ganzen zusätzlichen Aufwand betreiben, Klassifikatoren und Schutzvorkehrungen und den Schmu zu bauen und potenziell eine Menge Schelte einzuhecken, nur um dieses Modell extern zu deployen? Warum machen wir nicht einfach mit immer stärkerem RSI weiter?“ Der Kalender unterschätzt also nicht nur die Fähigkeitslücke zwischen den Modellen, sondern vielleicht stellt man das externe Deployen von Modellen während RSI gleich ganz ein – denn warum sollten wir anderen Leuten dabei helfen, mit unseren Modellen selbst RSI zu betreiben? Am Ende landet man in einer Situation mit einer extremen Machtkonzentration bis zum Jahresende. Schon jetzt ist es so – wir werden gleich beim Millennium-Problem und ähnlichen Fragestellungen darauf zu sprechen kommen –, dass die breitere Welt keinen Zugriff auf jene Modelle hat, die all die wirklich coolen Dinge ermöglichen. Und diese werden irgendwann weitaus relevanter sein als nur die Mathematik. Sie werden mehr tun als nur coole Mathe-Ergebnisse hervorzubringen. Sie werden für politische Entscheidungsträger relevant sein, die wichtige Entscheidungen über die Welt treffen müssen. Sie werden für – ich weiß nicht – Medien relevant sein. Was passiert in der Welt, worüber sollte die Öffentlichkeit nachdenken? Rein wirtschaftlich relevant: Menschen führen Unternehmen und wollen diese Modelle nutzen. Ich glaube, standardmäßig hinkt das externe Deployen von KIs – während sich der Fortschritt beschleunigt – dem internen Deployen von KIs in qualitativen Hinsichten massiv hinterher.

Noam Brown: Das ist absolut richtig. Es ist verlockend zu sagen: „Okay, diese Modelle werden extrem leistungsfähig. Sie sind extrem gefährlich. Sie operieren über diese immer längeren Horizonte, und wir wollen sicherstellen, dass wir genügend Zeit haben, sie vor der Veröffentlichung zu evaluieren – und zwar auf eine Weise, die diesen Horizonten gerecht wird. Folglich sollte sich der Modell-Release-Zyklus verlangsamen. Wir sollten eine stärkere Verzögerung zwischen den Modellveröffentlichungen einbauen.“ Dem steht jedoch eine Kehrseite gegenüber, und das ist genau das, was du gerade angesprochen hast. Damit vergrößert man wiederum die Diskrepanz zwischen dem, was intern in den Laboren verfügbar ist und genutzt werden kann – was wir nutzen können –, und dem, was die Aussenwelt nutzen darf. Auch das ist keineswegs eine ideale Situation. Die Mathematik veranschaulicht dies eigentlich ganz gut. In vielerlei Hinsicht ist die Mathematik das erste Anwendungsgebiet, auf dem wir dies ziemlich deutlich beobachten. Wir haben eine Situation, in der wir intern über ein sehr leistungsstarkes Modell verfügen, das der Außenwelt derzeit nicht zugänglich ist und das unglaublich schwierige mathematische Probleme lösen kann. Und es geht dabei nicht nur um Millennium-Probleme. Es gibt zahlreiche Lösungen für ungelöste Probleme, die Menschen aus diesem Modell herausholen konnten. Da stellt sich die Frage: Was tut man in einer solchen Situation? Wir haben keine gute Antwort darauf. Das ist eine Konstellation, in der dies einen unfairen Vorteil darstellt. Es gibt hier Trade-offs. Ich habe keine Antwort darauf, wie man diese Trade-offs angemessen abwägt, aber auf beiden Seiten ist das mit Komplexität verbunden.

Nachlassende Chain-of-Thought und Evaluator-Exploits

Dwarkesh: Ich möchte sicherstellen, dass wir auf diesen früheren Knackpunkt eingehen, der für das Gelingen von RSI absolut kritisch zu sein scheint. Wie stellen wir sicher, dass das Modell nicht einfach für Schummeln und Schehmen belohnt wird, wenn es den Menschen entkommen kann – sprich in jenen Situationen, in denen wir diese Umgebungen oder Aufgaben nicht aus der Trainingsverteilung entfernt haben? Und woher wollen wir dann wissen, dass dies geschehen ist, sodass wir während der Durchführung von RSI sagen können, während wir die Evals absolviert haben: „Okay, alles ist in Ordnung. Gehen wir zur nächsten RSI-Stufe über“?

Noam Brown: Auch das ist eine reale Sorge und etwas, das wir richtig hinbekommen müssen. Es gibt hierfür einige Strategien. Die Chain-of-Thought-Überwachung ist eine davon. Sobald wir die Reasoning-Modelle hatten, war Jakub [Pachocki] – man muss ihm zugutehalten – sehr, sehr klar darüber, dass wir die Chain of Thought nicht überwachen (supervisieren) können. Denn das ist wirklich ein Geschenk. Die Beobachtbarkeit (Monitorability) bei neuronalen Netzen ist extrem schwierig. Hier haben wir jedoch eine Situation, in der die neuronale Netze schlicht offen nachdenken und ihren Denkprozess in natürlicher Sprache für uns lesbar darlegen. Das ist unglaublich praktisch. Es ist wirklich das Best-Case-Szenario für die Sicherheit. Aber wenn man sich diese Chain of Thought ansieht und sagt: „Oh, das Modell denkt schlechte Gedanken und wir sollten es für diese schlechten Gedanken bestrafen“, dann führt das am Ende dazu, dass das Modell einfach lernt, diese schlechten Gedanken auf eine Weise zu denken, die für uns nicht mehr beobachtbar ist. Es könnte zu einer Situation kommen, in der wir anhand der Betrachtung der Chain of Thought erkennen: „Oh, das Modell schehmt und tut fehlausgerichtete Dinge auf eine Weise, die in unseren Alignment-Metriken tatsächlich nicht erkannt wird.“ Das Problem ist nun, dass es sehr verlockend ist, basierend auf dieser Beobachtung einzugreifen und die Alignment-Metriken zu verändern. Das kann man mit einer sehr leichten Handhabung tun, und es gibt tatsächlich Forschungsergebnisse, die zeigen, dass das unproblematisch ist, solange man es nicht zu oft macht. Aber jedes Mal, wenn man basierend auf seinen Beobachtungen der Chain of Thought eingreift, übt man implizit einen winzigen Druck auf das Modell aus, seine Chain of Thought fortan zu verbergen. Das ist eine große Sorge. Wir sehen bereits Anzeichen dafür, dass die Beobachtbarkeit der Chain of Thought aus verschiedenen Gründen nachlässt. Wir versuchen genau herauszufinden, warum das so ist, weil wir diesen Trend umkehren wollen. Aber wir stellen fest, dass das Modell immer besser darin wird, seine Chain of Thought zu kontrollieren. Das ist ein Problem, denn man könnte in eine Situation geraten, in der das Modell versteht, was eine Chain of Thought ist und dass Menschen sie beobachten. Irgendwann werden sie das begreifen. Das alles steht in den Pre-Training-Daten. Die Idee der Chain-of-Thought-Überwachung existiert schon lange genug, als dass sie Teil der Pre-Training-Daten ist. Sie sind sich dessen bewusst, sind aber derzeit noch nicht wirklich in der Lage, ihre Chains of Thought zu kontrollieren. Wenn wir jedoch den Punkt erreichen, an dem sie tatsächlich in der Lage sind zu erkennen: „Oh, ich werde beobachtet, ich möchte diese schlechten Gedanken so denken, dass sie für meine Überwachungssysteme unsichtbar sind“, und sie das dann auch tatsächlich umsetzen können, dann haben wir ein Problem. In diesem Fall müssen wir uns auf andere Methoden zur Beobachtbarkeit verlassen.

Dwarkesh: Es gibt eine große Kontroverse über Astra bezüglich Rekursion, geschleifter Transformer (Looped Transformers) und dergleichen, und ob die Chain of Thought tatsächlich nachlässt. Das wirkt wie ein Nebenkriegsschauplatz verglichen mit der größeren Sorge, dass ihr sehr wohl eine Chain of Thought hattet – und zwar von April bis August, jener Periode, in der es drei aufeinanderfolgende Zyklen von KI-Agentenschwärmen gab, die erst den Trainingsprozess subvertierten, dann den Evaluierungsprozess subvertierten und schliesslich direkt die Kontrolle über Teile der Infrastruktur von OpenAI übernahmen. Und all das, während Menschen weitgehend im Dunkeln darüber blieben, welches Ausmaß die Aktivitäten dieses Agentenschwarms hatten. All das passierte drei Monate lang in Folge, während wir über eine Chain of Thought verfügten, die stärker war als die, welche wir in Zukunft haben werden. Um das Ganze aus der Vogelperspektive zu betrachten: Vielleicht funktioniert Chain of Thought, vielleicht auch nicht. Ich weiß es nicht. Historisch gesehen hat es bei ziemlich dummen Modellen jedenfalls nicht ausgereicht, um eklatante Fehlausrichtungs-Vorfälle zu verhindern.

Noam Brown: Dafür gibt es einige Faktoren. Erstens hatten wir für diese Modelle keine Chain-of-Thought-Überwachung eingeschaltet. Hätten wir die Chain-of-Thought-Überwachung für diese Modelle aktiviert gehabt, hätten wir das Ganze einfach sofort abgeschaltet. Ein Schritt, den wir unternommen haben, lautet also: „Okay, wir werden bei jedem Frontier-Modell eine Chain-of-Thought-Überwachung während der Evaluationen, während des Deployments und während des Trainings durchführen.“ Aber das ist nur ein Punkt. Wir wollen uns nicht in einer Situation befinden, in der wir uns auf eine einzige Technik verlassen, um das nächste Problem zu verhindern – denn Techniken können versagen. Hinzu kommt das Problem, dass das Modell schlicht fehlausgerichtet war. Wie lösen wir also das Problem der Fehlausrichtung? Ein weiteres Problem war, dass die Sandbox, in der sich das Modell befand, nicht sicher war. Wir können die Sandbox also sicherer machen. Aber ich denke, eine der wichtigsten Erkenntnisse aus dem Vorfall ist, dass die Menschen die KI unterschätzt haben. Und wir wollen uns nie wieder in einer Situation wiederfinden, in der wir die KI unterschätzen. Es ist eine seltsame Welt, in der die Menschen die KI aufgrund des rasanten Fortschritts konstant unterschätzen. Um sich also nicht noch einmal in Bezug auf Sicherheit und Alignment zu verschätzen, muss man eine extrem, extrem, extrem hohe Messlatte anlegen. Man könnte sogar so weit gehen zu sagen: „Nun, wir sollten die Computer per Air-Gap komplett vom Netz trennen.“ Ich bin nicht davon überzeugt, dass das ausreichen würde. Es gibt Studien – und diese sind meist akademischer Natur –, in denen gezeigt wird, dass zwei Computer nebeneinander stehen können, die komplett voneinander getrennt (air-gapped) sind, und sie sind dennoch in der Lage, miteinander zu kommunizieren, weil sie Temperatursensoren besitzen. Einer von ihnen kann seine CPU extrem heiß laufen lassen, und der andere kann diese Temperaturänderung tatsächlich detektieren. Das verschafft ihnen einen Kommunikationsmechanismus. Sicherheitsmechanismen verschaffen uns also Zeit, und Dinge wie die Chain-of-Thought-Überwachung verschaffen uns Zeit und können uns sagen, ob wir uns auf dem richtigen Kurs befinden. Aber am Ende des Tages müssen wir das Alignment-Problem schlicht und einfach lösen.

Alignment lösen und Fehlausrichtung detektieren

Dwarkesh: Vielleicht gibt es keine Antwort darauf, und das ist letztlich der Kern der Sache – aber woher werden wir wissen, dass wir es gelöst haben? Das scheint eine extrem zentrale Frage zu sein. Wir werden uns nächstes Jahr, vielleicht im Jahr darauf oder im Jahr darauf, in einer Situation mit enormem Einsatz befinden, in der wir uns sagen: „Okay, KIs haben den KI-Fortschritt automatisiert. Es geht dreimal so schnell voran, und wir haben das menschliche Niveau erreicht. Wir bewegen uns über das menschliche Niveau hinaus, womöglich.“ Ist das in Ordnung? Haben wir sie aligniert? Hat es funktioniert? Und ich weiß absolut nichts darüber, welcher Trainingsdruck welche Art von KI hervorbringt. Vielleicht schalten wir nette KIs frei, wenn nur einer von 100 RL-Durchläufen das Schummeln incentiviert, und dann ist alles gut. Aber im Moment belohnt nach meinem Gefühl vielleicht jeder zehnte Reasoning-Durchlauf...

Noam Brown: Um das klarzustellen: 1 zu 100 ist nicht ausreichend. Diese Zahl muss sich Null annähern oder exakt Null betragen.

Dwarkesh: Ich weiß es nicht. Vielleicht belohnt im Moment mehr als jeder zehnte Durchlauf aktiv das Schummeln oder das Aushecken von Plänen. Ich habe keine Ahnung, wie hoch die Zahl ist, und ich habe keine Ahnung, wie hoch sie sein muss. Wiederum: Es ist eines dieser Dinge, die sich zudem nur schwer messen lassen. Wo zieht man die Grenze? Es ist ein Spektrum. Aber je näher es an Null heranrückt, desto besser. Was ich gerne sehen würde, ist ein Trend, der im Laufe der Zeit nach unten zeigt. Aber wie dem auch immer sei: Woher werden wir wissen, wenn wir RSI betreiben, ob wir auf dem richtigen Weg sind, Milliarden von ASIs zu bauen, die aligniert sind, oder eben nicht? Woher wollen wir das wissen?

Noam Brown: Das ist eine der Alignment-Fragen, die wir herausfinden müssen: Wie wissen wir es tatsächlich, und wie messen wir es? Das ist jetzt einfach meine persönliche Spekulation. Inzwischen arbeitet ein grösserer Teil meines Teams an Alignment als je zuvor. Mehr als 10 % meines Teams arbeiten inzwischen an Alignment und Safety. Aber ich war historisch gesehen ein Capabilities-Forscher. Ich werde jetzt also ein paar Dinge sagen, die vielleicht dumm klingen mögen, aber ich spekuliere hier einfach mal ins Blaue. Wenn man sehr realistische Umgebungen erschaffen und die KIs dort hineinsetzen kann – wenn man über eine hinreichend realistische Evaluierungsumgebung verfügt –, dann kann man ein Gefühl dafür bekommen, ob sich die KI in der realen Welt tatsächlich gut verhalten wird, wenn wir sie dort deployen. Wenn es eine perfekte Übereinstimmung zwischen der Evaluation und dem Deployment in der realen Welt gibt, dann ist das ein gangbarer Pfad. Die Herausforderung besteht darin: Wie macht man das Ding realistisch genug? Wir haben derzeit das Problem, dass die Modelle ziemlich schlau, ziemlich clever und wirklich gut darin sind zu erkennen, wenn sie sich in einer Testumgebung befinden. Wir haben Situationen, in denen wir zu detektieren versuchen, ob das Modell aligniert ist. Man kann sich dafür sehr einfache Evals vorstellen: Man stellt ihm eine Mathe-Frage, und in einem Ordner befindet sich der Lösungszettel. Schaut es sich den Lösungszettel an? Und falls es ihn sich anschaut, sagt es einem dann, dass es sich den Lösungszettel angesehen hat? Wir erleben derzeit Situationen, in denen die Modelle sehen, dass sich ein Lösungszettel in diesem Ordner befindet, und sie sich denken: „Huch, das sieht nach einer Falle aus.“ Sie wissen, dass es eine Falle ist. Sie schauen sich die Lösung nicht an, weil sie wissen, dass es sich um eine Testumgebung handelt. Sie werden auf ihre Fähigkeiten getestet. Es ist nicht so, dass sie boshaft handeln, als wollten sie schehmen – sie erkennen, dass dies eine Falle ist, und wollen irgendeinen anderen Weg finden. Sie denken sich schlicht: „Oh, ich bin in einer Testumgebung. Alles klar.“ Eine Umgebung zu erschaffen, die realistisch genug ist, um für sie von der realen Welt ununterscheidbar zu sein, wird also zunehmend schwieriger.

Dwarkesh: Hier ist eine Behauptung, die ich aufstellen würde: Ich glaube nicht, dass es irgendeine Umgebung gibt, die ich erschaffen könnte, um echte wirtschaftlich wertvolle Arbeit zu emulieren – was die Interaktion mit anderen Menschen und der Welt erfordert –, in der man sich nicht bei ausreichendem Aufwand irgendwann bewusst werden würde, dass man sich in einer solchen Umgebung befindet. Und du bist keine ASI, richtig? Aber du bist ein Mensch. Wenn man also über sehr leistungsstarke KI-Modelle verfügt, können diese vielleicht Umgebungen erschaffen, die das leisten. Es erscheint mir einfach nicht... Insbesondere dann, wenn wir uns im Anschluss auf die KIs verlassen. Sind die etwa in die Verschwörung eingeweiht? Ich weiß es nicht.

Noam Brown: Das ist ein weiterer Aspekt, den wir messen wollen. Ich denke, das ist tatsächlich eines der stärksten Argumente dafür, KIs nicht darauf zu trainieren, vollständig kooperativ zu sein. Wenn das zu einer Zunahme der Zusammenarbeit führt, obwohl die Agenten unterschiedliche Ziele verfolgen sollen, dann ist das ein Problem. Ich gehe davon aus, dass wir Metriken dafür besitzen. Ich kenne zwar nicht den neuesten Stand dieser Metriken, aber mir hat diesbezüglich niemand die rote Flagge gezeigt. Ich gehe also davon aus, dass dies noch kein ernsthaftes Problem darstellt.

Dwarkesh: Sollte es zu einem weiteren Vorfall von gleicher Schwere oder Besorgniserregendheit kommen – oder etwas, das der Welt helfen würde, die Risiken von Fehlausrichtung so gut zu verstehen wie der Hugging Face-Vorfall –, würde OpenAI das dann öffentlich machen?

Noam Brown: Absolut. Ich denke, selbst bei einem Vorfall von geringerer sicherheitstechnischer Relevanz würden wir das melden.

Dwarkesh: Es gibt einen Unterschied zwischen dem Melden und dem Untersuchen. Zumindest aus der Perspektive der Öffentlichkeit habe ich nicht das Gefühl, wirklich zu verstehen, was damals passiert ist, als die Agenten OpenAI angriffen. Das wirft weitaus größere Bedenken auf als die Hugging Face-Sache, denn das schien strukturell ähnlich zu sein wie bösartige (rogue) Deployments während einer ASI, die persistent sind und den RSI-Prozess subvertieren. Es wirkt so, als hätten wir selbst bei diesem Vorfall nicht einmal die vollständigen Details darüber erhalten, was genau vorgefallen ist.

Noam Brown: Leider bin ich Teil des Forschungsteams. Das ist wahrscheinlich eine Frage für jemanden aus dem Sicherheitsteam, der die Details darlegen kann, da mir schlicht nicht alle Einzelheiten dessen vorliegen, was gesagt wurde.

Dwarkesh: Ich persönlich freue mich jedes Mal über neue Fähigkeiten, wenn sie auftauchen, und ich freue mich darauf, das neue Modell zu nutzen. Ich freue mich auch über die Tatsache, dass es mich produktiver machen wird. Meine übergeordnete Mission – die Welt besser zu verstehen und zudem einen besseren Podcast zu machen – wird durch die besseren KI-Modelle unterstützt. Es fügt sich eben so, dass die Downstream-Konsequenz hiervon RSI sein könnte.

Noam Brown: Das ist eine absolut nachvollziehbare Reaktion, wenn man die Situation so genau verfolgt, wie du es tust. Auch intern bei OpenAI fangen die Leute, die dachten, dass alles länger dauern würde, langsam an zu merken, dass die Dinge tatsächlich schneller voranschreiten als erwartet. Das ist ein zunehmend häufiges Thema in Gesprächen.

Dwarkesh: Noam, vielen herzlichen Dank, dass du dir die Zeit dafür genommen hast.

Noam Brown: Sehr gerne. Es war mir ein Vergnügen.