DeepMinds Yao Shunyu: Pre-Training ist nicht am Ende, das Zeitalter der Helden ist vorbei, und die nächste Grenze sind Langzeitaufgaben
Podcast-Interview mit Zhang Xiaojun, aufgezeichnet im März 2026
Yao Shunyu, Forschungswissenschaftler bei Google DeepMind, der zuvor bei Anthropic am Training von Claude 3.7 und 4.5 beteiligt war, liefert eine schonungslose Analyse des aktuellen Stands der KI: Das Zeitalter des individuellen Heldentums ist vorbei, das Pre-Training hat noch erhebliches Potenzial, und entgegen der weit verbreiteten Meinung sind die Modelle auf keine fundamentalen Grenzen gestoßen. Aus seiner Position in der Arbeit an Gemini 3 heraus bietet Yao einen der aufrichtigsten Einblicke eines Insiders in die Vorgänge in den weltweit führenden KI-Laboren.
Pre-Training ist noch lange nicht am Ende
Yao vertritt eine der konträrsten Ansichten, indem er das vorherrschende Narrativ infrage stellt, dass das Pre-Training an einem Plateau angelangt sei. „Meiner Erfahrung nach ist das nicht der Fall“, stellt er auf die Frage nach den erreichten Grenzen der Scaling Laws nüchtern fest. „Und mein Gefühl ist, dass ich auch in den nächsten vier Monaten keine Anzeichen für ein Ende sehe.“ Dies widerspricht direkt dem, was viele Beobachter nach der anfänglichen Begeisterung für Reasoning-Modelle und Verbesserungen durch Post-Training glaubten.
Yao argumentiert, dass die meisten, die behaupten, gegen eine Wand gelaufen zu sein, in Wirklichkeit auf Bugs und nicht auf fundamentale Grenzen stoßen. „Meiner Beobachtung nach ist die überwiegende Mehrheit derer, die an eine Grenze stoßen, dort, weil es einen Fehler in ihrer Arbeit gibt, den sie selbst nicht bemerkt haben. Also denken sie, das Limit sei erreicht.“ Er verweist auf falsche wissenschaftliche Annahmen über Token-Horizonte, Datenauswahl oder schlichte Implementierungsfehler als die wahren Übeltäter.
Die technische Nuance ist entscheidend. Auf die Frage, was sich tatsächlich verbessert, erklärt Yao: „Die Lernfähigkeit des Modells wird immer stärker. Früher erforderte es viel Aufwand, dem Modell etwas beizubringen. Heute erfordert es wahrscheinlich nicht mehr so viel Mühe. Das Wichtigste ist, das Problem klar zu definieren und herauszufinden, wie man die richtigen Daten aufbaut.“
Warum Coding als Erstes explodierte
Zur Frage, warum agentisches Programmieren zur Durchbruchsanwendung wurde, liefert Yao ungewöhnliche Klarheit darüber, was bei Anthropic tatsächlich geschah. Der Vorteil des Codings war strukturell, nicht willkürlich. „Das Coding-Szenario hat zwei große Vorteile. Der erste ist, dass das Belohnungssignal – das Feedback-Signal – sehr klar definiert ist“, erklärt er. Bei der Implementierung einer Funktion sind Eingaben und Ausgaben testbar. Erfolg oder Misserfolg sind binär und unmittelbar.
Der zweite Vorteil war die Dateninfrastruktur. „GitHub hat über die letzten Jahrzehnte eine Menge hochwertigen Codes von vielen exzellenten Programmierern aggregiert. Ausgehend von diesem Code kann man eine enorme Anzahl an Umgebungen aufbauen.“ Diese Kombination aus klarem Feedback und reichlich hochwertigen Daten machte Programmierung zum idealen ersten Bereich für Reinforcement Learning im großen Maßstab.
Aber es war auch Zufall im Spiel. Yao enthüllt, dass die Coding-Stärke von Claude 3.5 etwas zufällig durch technische Entscheidungen entstand, die die Code-Qualität in den Pre-Training-Daten begünstigten. „Wenn man einfach wahllos Daten aus dem Web sammelt, ohne Filterung, ist die Qualität der Code-Daten von Natur aus etwas höher als bei anderen, da man auf GitHub eine deutlich höhere Qualität findet als auf normalen Webseiten.“ Sobald Anthropic diesen Vorteil durch Nutzerfeedback erkannte, setzte das Unternehmen alles auf eine Karte – eine Entscheidung, die durch die einzigartige Organisationsstruktur ermöglicht wurde.
Anthropics struktureller Vorteil und seine Grenzen
Yao beschreibt Anthropic als ein Unternehmen mit „sehr starker Umsetzung“, die durch eine Top-Down-Entscheidungsfindung ermöglicht wird, die die meisten Firmen nicht replizieren können. Das Geheimnis? Technische Glaubwürdigkeit, konzentriert im Gründerteam. „Der technische Leiter ist tatsächlich ein Mitgründer des Unternehmens“, sagt er und verweist auf Jared Kaplan und Sam McCandlish. „Sie treffen diese Entscheidung selbst. Es ist ihr Unternehmen. Sie haben also die Autorität, dies von oben nach unten durchzusetzen.“
Diese Struktur erlaubte es Anthropic, aggressive Wetten auf Coding einzugehen, als sich die Gelegenheit bot. „Als ich anfing, hatte jeder definitiv schon gesehen, dass dies machbar und wichtig war. Aber man wusste nicht genau, wie. Und als ich dazukam, habe ich mit allen zusammen erforscht, wie man es umsetzt.“ Das Unternehmen konnte Ressourcen für Reinforcement Learning in einem Maßstab mobilisieren, wie es Organisationen mit getrennter technischer und geschäftlicher Führung nicht können.
Yao verließ Anthropic jedoch nach etwa einem Jahr, wobei er sowohl kulturelle Veränderungen durch die schnelle Skalierung als auch Meinungsverschiedenheiten mit CEO Dario Amodeis „Anti-China-Haltung“ anführte, die er als etwa 40 % seines Entschlusses zum Weggang beschreibt. „Ich war mit Darios Anti-China-Haltung nicht einverstanden. Als CEO eines Unternehmens ist es in Ordnung, welche Ansichten er persönlich auch immer vertritt. Aber als CEO diese Sichtweise so extrem voranzutreiben, war eine sehr emotionale Reaktion.“
Googles anderes Playbook
Bei Google DeepMind fand Yao ein völlig anderes Organisationsmodell vor, das dennoch funktioniert. Anders als Anthropics Top-Down-Ansatz operiert Google mit einem Portfolio-Ansatz. „Großkonzerne und Startups – ihre Playbooks sind fundamental verschieden. Für Startups ist es wichtig, Wetten einzugehen. Ich muss auf etwas setzen. Wenn ich wetten will, bedeutet das Risiko.“
Googles Vorteil ist ein anderer: „Die Denkweise eines großen Unternehmens könnte sein, nicht nur den Glücksspielaspekt zu minimieren, sondern auch Reserven in jedem Bereich zu haben. Wenn etwas gelingt, kann ich aufholen. Und wenn mir selbst etwas gelingt, übernehme ich vielleicht sogar die Führung.“ Das bedeutet, Google benötigt nicht die gleiche Art konzentrierter technischer Führung wie Anthropic.
Pre-Training bei Google ist zu „einer sehr, sehr steuerbaren, vorhersehbaren Sache geworden. Man weiß, dass die nächste Generation nicht schlecht sein wird.“ Die Organisation hat klare Verantwortlichkeiten geschaffen und die Modellentwicklung in ein Ingenieurprojekt verwandelt, das Googles traditionelle Stärken ausspielt. „Googles Engineering-Management-Fähigkeit ist sehr stark. Daher kann es das langsam gut machen.“
Der Wendepunkt für Gemini war laut Yao nicht nur Gemini 3 – es war der Doppelschlag aus dem viralen Erfolg von Nano Banana und dem Aufbau von Nutzervolumen, unmittelbar gefolgt von Gemini 3, das diese Nutzer durch überlegene Modellqualität hielt. „Ich glaube, wenn es nur Gemini 3 gegeben hätte, hätte es wahrscheinlich keine so großartigen Ergebnisse erzielt. Denn wenn der Marktanteil unter 10 % liegt, verbreitet sich das Modell zu langsam, egal ob es etwas besser oder schlechter ist.“
Das nächste Paradigma: Langzeitaufgaben
Auf die Frage nach dem nächsten großen Durchbruch verweist Yao auf Langzeitaufgaben (Long-Horizon Tasks) als entscheidende Grenze, nicht auf multimodale Generierung oder kontinuierliches Lernen. Seine Vision lässt sich in einem internen Slogan zusammenfassen: „Mit endlichem Kontext trainieren, als unendlichen Kontext nutzen.“ Das Ziel ist es, Modelle durch intelligentes Kontextmanagement dazu zu bringen, sehr lange Aufgaben innerhalb begrenzter Kontextfenster zu bewältigen – im Grunde bringt man Modellen bei, selektiv zu vergessen und sich zu erinnern, genau wie Menschen.
„Der menschliche Kontext ist eigentlich sehr, sehr kurz. Wenn Sie mich jetzt fragen, was ich gestern Abend gegessen habe, kann ich mich überhaupt nicht erinnern“, sagt Yao. „Weil es für mein aktuelles Szenario nicht wichtig ist. Also entscheide ich mich, es zu vergessen. Der menschliche Kontext ist also im Wesentlichen sehr kurz. Aber Menschen können selektiv vergessen und selektiv abrufen, um diese wichtigen Informationen, die für das aktuelle Szenario relevant sind, zurückzuholen.“
Diese Richtung ist eng mit ML-Coding verbunden – der Nutzung von KI zur Automatisierung der KI-Forschung selbst. Yao glaubt, dass „KI innerhalb von sechs bis zwölf Monaten selbst Experimente durchführen wird“, im Sinne der vollständigen Abwicklung von Forschungsprojekten: Experimente entwerfen, ausführen, Ergebnisse analysieren, neue Hypothesen aufstellen und iterieren. „Die Kette ist noch nicht vollständig. Aber ich denke, diese Kette könnte das Nächste sein, das allmählich vervollständigt wird.“
Destillation, Benchmarks und was wirklich zählt
Zum Thema chinesische Labore, die von Frontier-Modellen destillieren, macht Yao eine subtile, aber wichtige Unterscheidung zwischen „harter Destillation“ und „sanfter Destillation“. Harte Destillation – das Nehmen von Tokens, die von Claude generiert wurden, und das direkte Training damit – ist sowohl unethisch als auch „intellektuell ziemlich töricht“, da sie zeigt, dass Unternehmen „nicht einmal wissen, was sie tun wollen“. Aber sanfte Destillation, bei der andere Modelle als Assistenten in der Daten-Pipeline oder als Evaluatoren genutzt werden, „ist kommerziell gesehen eigentlich eine Grauzone. Aber aus technischer Sicht ist es ziemlich interessant.“
Er argumentiert, dass chinesische Labore, die diesen Ansatz verfolgen, „Pioniere im Multi-Agenten-Training geworden sein könnten. Und zwar echtes Multi-Agenten-Training. Denn wenn sie Modelle verschiedener Firmen mit diesen intelligenteren Ansätzen nutzen und in ein einziges Trainingssystem integrieren, kann die Verteilung jedes Modells sehr unterschiedlich sein.“
Was das aktuelle Benchmark-Rennen angeht, ist Yao abweisend. „Ich denke, in gewisser Weise ist keines davon beachtenswert.“ Die öffentlichen Benchmarks, um die alle konkurrieren, seien im Wesentlichen gesättigt. „Jeder kämpft um den ersten Platz bei verschiedenen Benchmarks, um zu beweisen, dass die grundlegenden Fähigkeiten seines Modells stark sind. Das hat mittlerweile die öffentliche Aufmerksamkeit erreicht – diese Benchmarks sind einigermaßen ausgereizt.“
Der Tod des individuellen Heldentums
Yaos vielleicht markanteste These ist, dass sich die KI-Forschung fundamental vom individuellen Glanz zur kollektiven Ausführung gewandelt hat. „Ich denke, jeder ist im Moment im Grunde ein Surfer. Im Grunde ist es eine Welle, nicht der Surfer“, sagt er. „Das Zeitalter des individuellen Heldentums bei Sprachmodellen ist wahrscheinlich vorbei.“
Wann endete das Heldentum? „Es war der Transformer-Moment. Zu dem Zeitpunkt, als die Technologie noch nicht das Scale-up-Stadium erreicht hatte, war die Person, die diese Technologie entdeckte, vielleicht ein Held. Nachdem diese Technologie gefunden war, ging es auf der Modellseite wahrscheinlich lange Zeit nur noch um Kollektivismus.“
Das ist keine falsche Bescheidenheit – Yao glaubt aufrichtig, dass das Feld so einfach geworden ist, dass individuelle Beiträge weit weniger zählen als systematische Umsetzung. „KI als Feld ist fundamental einfach. Ich glaube nicht, dass es – außer vielleicht in diesem einen Sprungmoment, wo die Idee vielleicht einige wirklich tiefe Einsichten erforderte – danach noch viele Ideen gibt, die nicht trivial sind. Sehr dumm, im Grunde. Jeder könnte darauf kommen. Jeder könnte es tun. Es ist nur so, dass man Glück hatte und zufällig die Gelegenheit ergriffen hat.“
Was jetzt zählt, ist nicht Brillanz, sondern Zuverlässigkeit. „Ich denke, in dieser Branche ist die wichtigste Eigenschaft, zuverlässig zu sein, Dinge sorgfältig zu tun und für das, was man tut, verantwortlich zu sein. Das ist die wichtigste Eigenschaft.“ Er geht weiter: „Es fühlt sich einfach so an, als ob dieses KI-Ding nicht wirklich viel Grips erfordert. Erfordert nicht viel Grips. Erfordert wirklich nicht viel Grips.“
Das Wrapper-Problem und Produkt-Burggräben
Auf die Frage, warum Anwendungsfirmen wie OpenClaw und Manus trotz starker anfänglicher Traktion an Modelllabore verkauft wurden, identifiziert Yao das fundamentale Problem: unzureichende Fluchtgeschwindigkeit aus der Gravitation der Modellfirmen. „Ich denke, für Wrapper gibt es zwei Ansätze, um in der aktuellen Umgebung zu überleben. Ein Ansatz ist, schnell genug zu entkommen – mein Wachstum ist schnell genug, dass ich, wenn die Modellfirmen aufholen, bereits signifikante Nutzeranteile erobert habe.“
Sogar Cursor, „so ziemlich das am schnellsten wachsende Startup, das mir im KI-nativen Coding-Bereich einfällt“, befindet sich nach dem Start von Claude Code nun in einer „ziemlich kompetitiven Beziehung“ zu Anthropic. Das Kernproblem ist die „Winner-takes-all“-Dynamik bei Produktivitätswerkzeugen. „Wenn es um Programmierung geht, ist es im Kern ein professioneller Bedarf, der professionelle Nutzer bedient. Es ist ein Produktivitätswerkzeug. Ein häufiges Szenario bei Produktivitätswerkzeugen ist: Der Gewinner bekommt alles.“
Der andere Überlebenspfad ist, klein genug zu bleiben, damit sich die Modellfirmen nicht die Mühe machen, zu konkurrieren – was laut Yao Midjourney erfolgreich getan hat. „Der Markt ist so klein, dass Gemini wahrscheinlich nicht viel Zeit darauf verwenden möchte, selbst wenn man sagen könnte, dass Gemini versuchen könnte, das zu replizieren, was Midjourney tut – es würde vielleicht etwas Mühe, etwas Geld und Daten kosten, aber es ist klein genug.“
Warum Programmierer sich Sorgen machen sollten
Yao beschönigt die Zukunft für Softwareentwickler nicht. Auf die Frage, wann Programmierer vollständig ersetzt sein werden, antwortet er: „Ich denke, dieser Tag wird kommen. Aber er wird nicht auf einmal kommen.“ Er schätzt, dass schließlich „1/1000 der Menschen die Arbeit aller in der Vergangenheit erledigen und das 100-fache des aktuellen Gehalts verdienen werden.“
Seine Einschätzung seiner eigenen Coding-Produktivität ist krass. Konservativ ausgedrückt: „Das Modell hat über 90 % geschrieben. Wenn nicht konservativ, vielleicht 99 % oder 100 %.“ Der verbleibende Teil, den er selbst schreibt, „wird immer weniger“. Als Forscher hat sich seine experimentelle Geschwindigkeit im Vergleich zu vor anderthalb Jahren „20- oder sogar 50-mal beschleunigt“.
Der Rat für Programmierer, die überleben wollen? „Neue Dinge annehmen. Ich denke, das ist sehr wichtig.“ Zukünftige Programmierer müssen technisch stark sein, verstehen, wie ihre Arbeit in größere Organisationen passt, und über starke Planungsfähigkeiten verfügen, um komplexe Aufgaben in Stücke zu zerlegen, die die KI handhaben kann. Aber Yao warnt, dass diese Anforderungen weiter schrumpfen könnten: „Vielleicht kommen Sie in sechs Monaten wieder und fragen mich, und ich stelle fest, dass die KI das Letzte auch schon kann. Dann bleiben nur noch zwei Dinge übrig.“
Was tatsächlich nicht funktioniert
Auf die Frage nach seiner Doktorarbeit in theoretischer Hochenergiephysik enthüllt Yao die Erfahrung, die seine Sicht darauf geprägt hat, was gute Forschung ausmacht. „Ich denke, für mich persönlich habe ich viel gelernt, bin viel gewachsen. Aber für diese Welt hat es keinen Beitrag geleistet.“ Das Problem war nicht die Qualität der Arbeit – „Niemand würde sagen, dass meine Doktorarbeiten schlecht waren“ – sondern die fundamentale Struktur des Feldes.
Die Hochenergietheorie hat sich über das hinaus entwickelt, was Experimente verifizieren können, und lässt nur mathematische Selbstkonsistenz und die subjektiven Urteile erfahrener Forscher als Bewertungskriterien übrig. „Wenn diesem Feld Experimente und objektive Standards völlig fehlen, wird definitiv nicht nur ein Framework erscheinen. Wer dann gut abschneidet und wer nicht, hängt tatsächlich von den subjektiven Urteilen einiger Veteranen im Feld ab.“
Diese Erfahrung lehrte Yao, „Dinge mit relativ objektiven Bewertungskriterien zu tun oder, aus einer anderen Perspektive, Dinge zu tun, die einen Einfluss auf diese Welt haben können.“ Deshalb ist er so allergisch gegen vage Behauptungen in der KI, die nicht falsifizierbar sind – wie bei bestimmten prominenten Persönlichkeiten, deren Aussagen „nicht einmal falsch sind, weil sie nicht gut definiert sind.“
Die Divergenz zwischen China und den USA
Yao sieht den KI-Wettbewerb zwischen China und den USA in fundamental unterschiedliche Richtungen laufen, geprägt von den historischen Stärken der jeweiligen Region. Der US-Fokus auf Unternehmens- und Produktivitätssoftware spiegelt einfache Gewinnmargen und klare Geschäftsmodelle wider – „Ich helfe dir beim Programmieren, meine Kosten sind 150 pro Monat, ich verkaufe es dir für 200, ich mache 50.“
Chinas verbraucherorientierter Ansatz stützt sich auf ein Jahrzehnt Erfahrung mit komplexer indirekter Monetarisierung. „Was China wirklich stark macht, ist die Konsumentenseite. Es kann sich wirklich, wirklich komplexe Produktmerkmale oder Strukturen ausdenken und auf eine Art und Weise, die einem sehr indirekt und unnatürlich vorkommt, diesen Gewinn wie einen Schneeball vergrößern.“ Das Beispiel, das er nennt, ist Douyin, das nicht pro Video abrechnet, sondern stillschweigend durch Werbung, Live-Streaming und E-Commerce monetarisiert.
Diese Divergenz bedeutet, dass das Super-App-Narrativ, das chinesische KI-Diskussionen dominiert, für den US-Markt wenig Sinn ergibt. „Wenn Sie mich fragen, welche von OpenAI und Anthropic zuerst sterben würde – natürlich werden sie nicht wirklich sterben, nur welche zuerst weniger wichtig werden würde – dann würde ich denken, vielleicht Anthropic zuerst. Aber später wurde zuerst OpenAI von Google geschlagen, dann kam Anthropic selbst in Schwung. Jetzt scheint Anthropic also mehr Vorteil zu haben.“
Auf die Frage, ob amerikanische Unternehmen ByteDance verstehen, ist Yao direkt: „Mein Gefühl ist nein. Noch nicht.“ Während jeder erkennt, dass ByteDance massiv unterbewertet ist und die Konsumentenmärkte dominiert, bleibt das wahre Verständnis dafür, wie das Unternehmen operiert, schwer fassbar.
Der wahre Flaschenhals
Trotz aller technischen Fortschritte identifiziert Yao die Produktdefinition als den aktuellen limitierenden Faktor. „Ich denke, jetzt ist es Letzteres – die Dinge, die man tun will, sind an einem Plateau angelangt. Im Moment wissen wir, es gibt einen Chatbot, man kann ihm beibringen, dies zu tun. Und dann gibt es Coding, man kann ihm beibringen, das zu tun. Und dann wissen wir nicht, was wir ihm noch beibringen sollen.“
Dies ist kein Problem der Modellfähigkeiten. „Dieses Modell ist immer noch ein sehr schlaues Kind. Man kann ihm tatsächlich viele Dinge beibringen. Aber wir Menschen als Lehrer wissen jetzt nicht, was das nächste ist, was wir beibringen sollen, oder wie wir es mit aktuellen Paradigmen vernünftig beibringen können.“ Die Implikation ist, dass Produktmanager, die die richtigen Probleme identifizieren und klare Trainingsziele definieren können, wertvoller geworden sind als Forscher, die Lösungen implementieren können.
Mit Blick auf die aktuelle Position von OpenAI stellt Yao die Ironie fest, dass OpenAI durch das Nicht-vollständige Ersetzen der Suche, bevor Google bei Chatbots aufholte, „Googles Leben gerettet hat.“ Hätte OpenAI die Suche vollständig übernommen, bevor Google reagierte, „dann wäre es sehr hart geworden. Aber zum Glück hat OpenAI das zuerst gemacht und Google dann erkennen lassen, dass diese Sache wichtig ist. Aber es hat das nicht bis zum Ende durchgezogen.“
Die abschließende Einschätzung ist sachlich: „Ich denke, niemandes Position ist im Moment sicher. Die Form der KI hat noch einen langen Weg vor sich. Wir sind noch lange nicht am Ende des Spiels.“ Für ein Feld, das angeblich in Richtung AGI rast, ist das eine ernüchternde Erinnerung daran, dass die wahren Herausforderungen vielleicht weniger mit der Skalierung von Rechenleistung zu tun haben, sondern vielmehr damit, herauszufinden, was man eigentlich bauen soll.