Yao Shunyu: Das Pre-Training stößt nicht an seine Grenzen, KI-Forschung ist fundamental simpel und die Ära des individuellen Heldentums ist vorbei
Der ehemalige Forscher von Anthropic und Google DeepMind über das Training von Claude 3.7, 4.5 und Gemini 3 — Aufgezeichnet im März 2026
Yao Shunyu kam zum Interview mit einer bernsteinfarbenen Brille, deren Tönung sich mit dem Licht verändert. In den KI-Kreisen des Silicon Valley gibt es zwei Personen namens Yao Shunyu, beide haben im selben Jahrgang an der Tsinghua-Universität ihren Abschluss gemacht. Der erste wechselte 2025 von OpenAI zu Tencent. Der zweite, unser heutiger Gast, ging im selben Jahr von Anthropic zu Google DeepMind. In den vergangenen zwei Jahren war er an Schlüsselmodellen wie Claude 3.7, 4.5 und Gemini 3 beteiligt. Sein Karriereweg illustriert eine größere Entwicklung: Wie sich die KI-Forschung von einer Ära individueller Geniestreiche hin zu kollektiver Exekution gewandelt hat.
Die kontroverseste These: Der Fortschritt beim Pre-Training verlangsamt sich nicht
Als Forscher an vorderster Front im ersten Quartal 2026 vertritt Yao eine Position, die dem vorherrschenden Narrativ widerspricht. „Ich glaube das absolut nicht“, sagt er trocken auf die Frage, ob sich die Modellverbesserung verlangsamt. „Meine Erfahrung ist, dass das nicht der Fall ist. Und ich sehe auch für die nächsten vier Monate keinerlei Anzeichen für ein Ende.“
Diese Sichtweise ist durchaus umstritten. Noch vor wenigen Monaten diskutierten viele darüber, ob die Scaling Laws an ihre Grenzen gestoßen seien. Yaos Einschätzung ist eindeutig: Das sind sie nicht. „Wenn jemand glaubt, ein Muster habe seine Grenze erreicht, liegt das meist an einer von zwei Situationen: Entweder man glaubt, der Anwendungsbereich dieses Musters sei erschöpft. Oder man glaubt, eine der Voraussetzungen könne nicht mehr erfüllt werden, etwa weil die Daten ausgehen. Aber eigentlich gibt es eine dritte Möglichkeit: Es gibt irgendwo in der Arbeit einen Fehler, den man selbst noch nicht bemerkt hat.“
Nach Yaos Beobachtung scheitern die allermeisten, die an eine Grenze stoßen, an diesem dritten Grund. „Zum Beispiel können bei der Arbeit an Scaling Laws einige wissenschaftliche Annahmen nicht ganz korrekt gewesen sein. Oder es gibt schlicht einen Bug. Ich finde das in der Branche nicht überraschend. Oft bringt das Beheben eines einzigen Fehlers weit größere Fortschritte als irgendwelche ausgefallenen Tricks.“
Das Pre-Training sei in den letzten Monaten sogar stärker geworden, offenbart Yao. „Das Pre-Training der Modelle ist in den vergangenen Monaten tatsächlich leistungsfähiger geworden. Ich sehe für die nächsten vier Monate keinerlei Anzeichen, dass das aufhört.“ Auf die Frage, warum andere das Ende der Fahnenstange sehen, sagt er: „Ich weiß natürlich nicht, warum Leute das glauben, denn ich selbst habe nicht das Gefühl, dass wir am Limit sind.“
Was treibt den Fortschritt: Daten, Rechenleistung oder Algorithmen
Zur Frage, was die Fähigkeiten der Modelle vorantreibt, glaubt Yao, dass alle drei Faktoren beitragen, Daten und Rechenleistung (Compute) jedoch stark korrelieren. „Wenn die Rechenleistung steigt, zieht man natürlich mehr Daten an. Wenn die Datenmenge steigt, benötigt man zwangsläufig mehr Rechenleistung.“ Bei Algorithmen argumentiert er, dass es oft Phasenübergänge gibt: Es gibt eine Phase, in der man noch nicht weiß, was zu tun ist – hier sind Algorithmen entscheidend. Doch nach der Entdeckung der wichtigsten algorithmischen Erkenntnis werden die Verbesserungen graduell.
„Beim Pre-Training von Sprachmodellen war der algorithmische Sprung etwa die Entwicklung des Transformers. Doch seit der Entdeckung des Transformers verläuft die Entwicklung meist graduell und stetig“, erklärt er. Innerhalb relativ klarer Rahmenbedingungen wie Pre-Training und Post-Training sind Rechenleistung und Daten die Haupttreiber. In anderen Bereichen wie der multimodalen Generierung handelt es sich jedoch noch um ein wissenschaftliches Problem, das nicht vollständig gelöst ist.
Yao widerspricht der Vorstellung, dass die KI an fundamentale Grenzen stößt. „Ich habe nicht das Gefühl, dass die KI an eine Mauer stößt, denn erstens kann man viele Dinge ausprobieren. Zweitens ist es nicht so, dass niemand mehr Ideen hätte. Oft ist es eher so, dass es zu viele Ideen gibt, die man nacheinander testen muss.“ Er prognostiziert, dass die KI sehr bald, innerhalb von sechs bis zwölf Monaten, beginnen wird, selbst Experimente durchzuführen – nicht nur Code zu schreiben und auszuführen, sondern auch Ergebnisse zu analysieren, neue Hypothesen aufzustellen, neuen Code zu entwerfen und in einem vollständigen Kreislauf neue Experimente zu starten.
Wie Anthropic auf Coding setzte
Yao kam im September 2024 zu Anthropic, gerade als das Unternehmen seinen wichtigsten Pivot vorbereitete. Das Ziel war klar: Large-scale Reinforcement Learning für die Programmierung. „Als ich kam, hatten alle bereits erkannt, dass dies machbar und wichtig war. Aber niemand wusste so recht, wie. Ich habe dann mit allen zusammen erforscht, wie wir das angehen.“
Der Ursprung dieser Wette liegt bei Claude 3. Nach der Veröffentlichung diskutierten viele auf Twitter, dass Claude 3 besseren Code schreibe als GPT-4. „Etwas Wichtiges besser zu können als GPT-4, war schon beeindruckend“, erinnert sich Yao. Das war ein Marktsignal, das Anthropic sehr ernst nahm.
Doch warum ausgerechnet Coding? Yao nennt zwei Vorteile. „Der erste ist das Belohnungssignal (Reward Signal) – also das Feedback-Signal –, das sehr klar definiert ist. Eine Software-Engineering-Aufgabe besteht oft darin, Code für ein Feature zu schreiben. Das lässt sich leicht testen: Stimmen Input und Output überein, ist die Implementierung erfolgreich.“ Der zweite Vorteil sind Daten: GitHub hat über Jahrzehnte hochwertigen Code von exzellenten Programmierern aggregiert und bietet damit ein enormes Fundament für Trainingsumgebungen.
Das resultierende Modell, Claude 3.7, wurde zum Wendepunkt für das Post-Training bei Anthropic. „Vor 3.7 war das Post-Training eher kleinteilig, eher ein Flicken von Fehlern“, erklärt Yao. In jener Zeit hatte noch niemand wirklich verstanden, wie man Post-Training skalieren sollte. Doch dann erkannten OpenAI, Anthropic und sogar das chinesische DeepSeek, wie es geht: „Man muss die richtige Umgebung finden, in der das Feedback-Signal klar genug ist und die Umgebung selbst eine starke Datenquelle darstellt. Wenn man darauf aufbauend das Training stabilisiert, dann funktioniert es.“
Die Entwicklung von 3.7 zu 4.5 umfasste sowohl Pre-Training als auch Post-Training in weitaus größerem Maßstab, wobei Yao anmerkt, dass sich am Paradigma nichts Grundlegendes geändert habe. Der Schlüssel war die systematische Exekution in großem Maßstab.
Anthropics einzigartiger organisatorischer Vorteil
Was ermöglichte Anthropic diese entschlossene Umsetzung beim Thema Coding? Yao verweist auf die ungewöhnliche Organisationsstruktur. „Anthropic ist ein Unternehmen, das diesen relativ Top-down-Mechanismus implementieren kann – das ist etwas sehr Einzigartiges.“ Der entscheidende Faktor sei, dass die Person, die technische Entscheidungen trifft, auch die Entscheidungsbefugnis im Unternehmen innehat. „Man muss technisch überzeugend sein, um die Forscher unter sich mitzuziehen. Andererseits muss man die unternehmerische Verantwortung tragen können.“
Anthropic hat hier einen Vorteil: Die technischen Leiter, Jared Kaplan und Sam McCandlish, sind beide Mitgründer. „Sie treffen diese Entscheidungen selbst, es ist ihre Firma. Sie haben die Autorität für diesen Top-down-Ansatz.“ Yao zieht den Vergleich zu OpenAI: „Als Ilya (Sutskever) dort war, wäre das vielleicht möglich gewesen. Aber später schien er aus irgendeinem Grund die Fähigkeit verloren zu haben, Entscheidungen zu treffen. Und dann ging er.“
Als Yao zu Anthropic kam, hatte das Unternehmen etwa 700 bis 800 Mitarbeiter. Sein erster Eindruck war eine sehr starke Exekution und eine relativ hierarchische Struktur. „Es ist tatsächlich ein Top-down-Unternehmen. Wenn Entscheidungen getroffen sind, geht man ‚all-in‘.“ Die Atmosphäre unter den Mitarbeitern war exzellent – jeder kannte jeden, es gab keine Informationsbarrieren.
Das Gründerteam ist intakt geblieben, was Yao für entscheidend hält. „Nicht eine einzige Person hat das Unternehmen verlassen. Wenn man sich ihre Vergangenheit ansieht, sind das Menschen, die wirklich gemeinsam Schlachten geschlagen haben. Sie stammen alle von OpenAI.“ Viele waren Co-Autoren an Schlüsselpapieren wie den Scaling Laws und GPT-3. „Sie haben zusammen im Schützengraben gelegen. Ich denke, das gegenseitige Vertrauen ist nach wie vor der Schlüssel.“
Warum Coding abhob und was als Nächstes kommt
Das Coding-Szenario entwickelt sich seit der Veröffentlichung von Claude 3.5 (oder 3.6, wie manche die aktualisierte Version nannten) rasant. Nach Yaos konservativer Schätzung ist heute 90 % des Codes, den er schreibt, KI-generiert. „Wenn man nicht konservativ rechnet, vielleicht 99 % oder 100 %. Die restlichen 10 % sind das, was sie nicht schreiben kann oder was ich sie nicht schreiben lassen habe.“
Was sie nicht schreiben kann, wird immer weniger. Vor etwa anderthalb Jahren konnte nur Claude Software-Code schreiben, und selbst das Modell hatte viele Schwächen. „Manchmal konzentrierte es sich nur auf eine Datei und achtete nicht auf die Beziehungen zwischen mehreren Dateien. Wenn eine Klassendefinition tief vergraben war, fand das Modell sie oft nicht. Jetzt passiert das immer seltener.“
Der Effizienzschub ist dramatisch. Im Vergleich zu vor einem Jahr oder anderthalb Jahren ist die Geschwindigkeit bei der Durchführung von Experimenten und der Umsetzung von Ideen 20- bis 50-mal höher. „Es kann ziemlich verrückt sein. Man kann mehrere Instanzen gleichzeitig öffnen, verschiedene Ideen testen. Manchmal hilft einem das Modell sogar dabei, Experimente zu überwachen und Ergebnisse zu analysieren.“
Das hat die Arbeitszeit jedoch nicht verkürzt, sondern verlängert. „Weil die Entwicklungsgeschwindigkeit gestiegen ist, will man immer mehr ausprobieren. Es gibt immer mehr Ideen.“ Yao kommt meist gegen 10 Uhr ins Büro und bleibt bis 22 oder 23 Uhr, wenn er allein in den USA arbeitet. „Im Bereich GenAI kann sich niemand ausruhen.“
Mit Blick auf die Zukunft glaubt Yao, dass exzellentes Programmieren mehr als nur technische Stärke erfordert. „Gute Programmierer werden in Zukunft technisch sicher sehr stark sein müssen. Denn wenn man technisch schwach ist, gibt es keinen Grund, warum KI einen nicht ersetzen sollte. Aber technisch stark zu sein, ist vielleicht nicht die einzige Bedingung, sondern eher eine hinreichende.“ Was zählen wird, ist das Verständnis dafür, wie die eigene Arbeit in eine große Organisation passt, die Fähigkeit, komplexe Dinge in kleine Aufgaben für die KI zu zerlegen, und vor allem die Anpassungsfähigkeit an die sich ständig weiterentwickelnden KI-Fähigkeiten.
Von der Physik zur KI: Ablehnung des individuellen Heldentums
Yaos Weg zur KI war unkonventionell. Er studierte theoretische Physik der kondensierten Materie an der Tsinghua-Universität und konzentrierte sich auf nicht-hermitesche Systeme und offene Quantenmechanik. Seine Forschung zu topologischen Phänomenen in offenen Quantensystemen führte zu wichtigen Arbeiten, die einen neuen Rahmen für die Beschreibung solcher Systeme etablierten. Trotz dieses Erfolgs wechselte er für seine Promotion in Stanford zur Hochenergiephysik.
„Das ist die Schwäche der menschlichen Natur. Ich liebe es, mich mit Dingen herauszufordern, die ich nicht beherrsche“, erklärt er. Rückblickend betrachtet er seine Promotion als eine Zeit, in der er persönlich viel gelernt hat, aber „für diese Welt hat sie keinen Beitrag geleistet.“ Die Hochenergietheorie hatte sich so weit entwickelt, dass die Experimente nicht mehr mithalten konnten. Der Fortschritt hing von mathematischer Konsistenz ab, nicht von experimenteller Validierung. „Wenn einem Feld Experimente und objektive Standards fehlen, gibt es nicht nur ein konsistentes Modell. Wer dann gut abschneidet, hängt von den subjektiven Urteilen einiger alter Hasen ab.“
Diese Erkenntnis führte ihn dazu, Arbeit mit „relativ objektiven Bewertungskriterien“ oder „Dingen, die einen Einfluss auf diese Welt haben können“ zu suchen. Zwischen Quantencomputing und KI wählte er die KI, da der Flaschenhals beim Quantencomputing die experimentelle Umsetzung war, nicht das algorithmische Design. „KI ist eher so, dass man eine Idee hat und sie mit Zahlen verifizieren kann. Dieser numerische Aspekt in der KI – etwa das Training eines Modells – ähnelt der Physik.“
Was er in der KI fand, war etwas Fundamentales: „Ich finde, KI als Feld ist fundamental simpel.“ Anders als in der Physik, wo man eine Theorie bei einer bestimmten Energieskala ohne experimentelle Daten nicht verstehen kann, „ist die KI nicht an diese Einschränkung gebunden. Es spielt keine Rolle, ob man es nicht versteht, es kann trotzdem vorangehen. Ich kann jedes Experiment machen, das ich mir vorstellen kann. Vielleicht brauche ich etwas Zeit, um die Rechenleistung zu skalieren oder die Infrastruktur vorzubereiten, aber es gibt keine fundamentale Schwierigkeit.“
Diese Einfachheit hat tiefgreifende Auswirkungen. „Ich denke, in dieser Ära sind die wichtigsten Eigenschaften Zuverlässigkeit, Detailgenauigkeit und die Übernahme von Verantwortung für das eigene Tun.“ Auf die Frage, ob KI Köpfchen erfordere, ist Yao direkt: „Erfordert nicht viel Köpfchen. Wirklich nicht.“
Diese Weltsicht prägt seine kontroverseste Haltung: „Ich denke, die Ära des individuellen Heldentums bei Sprachmodellen ist wahrscheinlich vorbei.“ Er datiert diese Ära auf den Transformer-Moment. „Nachdem diese Technologie gefunden war, ging es modellseitig lange Zeit nur noch um Kollektivismus – ob diese Gruppe zusammenarbeiten kann, ob sie gemeinsam Zeit und Energie investieren kann. Das ist das Wichtigste.“
Auf seine persönlichen Beiträge zu Modellen wie Claude 3.7 oder Gemini 3 angesprochen, weicht Yao konsequent aus. „Ich glaube, mein persönlicher Beitrag zu irgendeinem Modell ist nicht so wichtig. Ich hatte das Glück, zur richtigen Zeit an einem wichtigen Projekt mitarbeiten zu dürfen.“ Er führt aus: „Jeder ist heute ein Surfer. Im Grunde ist es die Welle, nicht der Surfer. Es ist die KI selbst, die diese Welle ist. Sie wird voranschreiten, egal ob man auf ihr surft oder nicht.“
Googles Comeback: Vom Chaos zur Ingenieursexzellenz
Yao verließ Anthropic im September 2025 in Richtung Google DeepMind, nicht wegen des öffentlichen Erfolgs von Gemini 2.5, sondern wegen der Leute und der Möglichkeit, andere Dinge zu lernen. „Ich stimmte Darios Anti-China-Haltung nicht wirklich zu“, merkt er als einen Faktor an, der vielleicht 40 % seiner Entscheidung ausmachte. Vor allem aber wollte er an Dingen arbeiten, die Anthropic nicht tat – multimodale Generierung, tiefergehende technische Infrastruktur und das Lernen von einem breiteren Spektrum der Menschheit.
Was er bei Google fand, war eine Organisation, die sich aus dem Chaos befreite. In den Anfängen war das Pre-Training laut Kollegen „sehr chaotisch“. Doch als Yao ankam, hatte sich das geändert. „Die Organisation ist jetzt klarer. Besonders beim Pre-Training ist jetzt sehr klar, wer für was verantwortlich ist – an jedem Knotenpunkt. Diese Dinge sind sehr transparent.“
Diese Klarheit, kombiniert mit Googles starkem technischen Hintergrund und systematischem Ansatz, machte das Pre-Training zu einer „sehr kontrollierbaren, vorhersehbaren Sache. Man kann sicher sein, dass die nächste Generation nicht schlecht sein wird.“ Googles Stärke liegt darin, eine extrem einfache Produktform zu finden, bei der alle gleich aussehen, und dann gnadenlos über die Technologie zu konkurrieren. „Genau das kann Google. Suchmaschinen sind genau so. Jeder hat das gleiche Suchfeld, einen Button, aber sie sucht einfach schneller und genauer als du. Dagegen kann man nichts machen.“
Das Organisationsmodell unterscheidet sich fundamental von Anthropic. Während Anthropic für Startups, die auf spezifische Richtungen setzen, Top-down agiert, arbeitet Google eher Bottom-up mit Reserven in jedem Bereich. „Große Unternehmen machen aus deterministischen Dingen wie dem Pre-Training eher ein Ingenieursprojekt. Googles Management-Fähigkeiten in diesem Bereich sind sehr stark.“
Zwei Ereignisse schufen den Marktdurchbruch von Gemini: Nano Banana und Gemini 3, direkt hintereinander. „Hätte es nur Gemini 3 gegeben, wären die Ergebnisse wahrscheinlich nicht so gut gewesen. Bei einem Marktanteil von unter 10 % verbreitet sich ein Modell zu langsam. Aber Nano Banana wurde viral, ein riesiger Hit. Dann luden eine Tonne Leute die Gemini-App herunter. Und dann kam Gemini 3 und hielt diese Nutzer.“
Yao sieht darin, wie Google einen strategischen Fehler von OpenAI kapitalisierte. „OpenAI hat Google das Leben gerettet“, argumentiert er. „Alle befürchteten, dieser Chatbot würde die Suche komplett ersetzen. Wenn das passiert wäre, wäre Google in einer schwierigen Lage gewesen. Aber glücklicherweise hat OpenAI das zuerst gemacht, Google erkennen lassen, dass es wichtig ist, aber sie haben es nicht bis zum Ende durchgezogen, die Suche nicht komplett gekillt. Vielleicht haben sie nur etwas Marktanteil abgegriffen. Das Ergebnis: Google konnte bei den Chatbots aufholen. Jetzt sind sie es, die in einer schwierigen Lage sind.“
Die technische Realität von Long Context und Post-Training
Zu Geminis Long-Context-Fähigkeiten bietet Yao einen aufschlussreichen Kommentar: „Es gibt da ein paar Tricks.“ Auf Nachfrage gibt er zu, dass es „einige Tricks gibt, die mich wirklich überrascht haben“, die das Pre-Training betreffen, wobei er keine Details nennen kann. Das Prinzip, das er artikuliert, ist, dass Long Context sowohl Pre-Training- als auch Post-Training-Ansätze erfordert.
Mit Blick auf die Zukunft arbeitet Yao an zwei Hauptrichtungen: ML-Coding und Long Horizon. ML-Coding zielt darauf ab, den Prozess der KI, die sich selbst trainiert, zu vervollständigen – von der Hypothesenbildung bis zur Analyse. „Diese Kette ist noch nicht vollständig. Aber ich denke, sie könnte als Nächstes vervollständigt werden.“
Die Long-Horizon-Arbeit verfolgt sein Mantra: „Mit endlichem Kontext trainieren, als unendlichen Kontext nutzen.“ Die Lösung besteht nicht darin, einzelne Trainingssegmente länger zu machen, sondern den Modellen beizubringen, selektiv zu vergessen und Informationen abzurufen, wie Menschen es tun. „Menschlicher Kontext ist eigentlich sehr kurz. Wenn Sie mich fragen, was ich gestern Abend gegessen habe, weiß ich das nicht mehr, weil es für mein aktuelles Szenario nicht wichtig ist. Also wähle ich das Vergessen.“
Zum Unterschied zwischen Pre-Training und Post-Training bietet Yao Nuancen, die in der öffentlichen Debatte oft fehlen. „Technisch gesehen ist es schwer, den wesentlichen Unterschied zwischen SFT (Supervised Fine-Tuning) und RL (Reinforcement Learning) zu benennen. Pre-Training und SFT sind sich nicht unähnlich – man nimmt die Daten als Ground Truth und aligniert auf diese Verteilung. Reinforcement Learning ist vielleicht breiter, da der Output kein vorgegebener Experte ist, sondern etwas, das ich selbst produziert habe, wobei es gute und schlechte Ergebnisse gibt.“
Für ihn liegt der größte Unterschied in den Daten. „Bei Pre-Training-Daten zählt eine gute Verteilung – sie muss breit genug sein. Aber die Datenqualität muss nicht extrem hoch sein. Beim Post-Training ist es umgekehrt. Die Verteilung mag enger sein, aber die Qualitätsanforderungen an die Daten sind sehr hoch.“
Warum Wrapper den Modell-Unternehmen nicht entkommen können
Zur Frage von KI-Produkten und Wrappern ist Yao gewohnt direkt. Sowohl Manus als auch OpenClaw entschieden sich für den Verkauf an Modell-Unternehmen (Meta bzw. OpenAI). „Ich glaube, für Wrapper gibt es zwei Überlebensstrategien. Eine ist, schnell genug zu fliehen – also so schnell zu wachsen, dass man, bevor die Modell-Unternehmen aufholen, bereits signifikante Nutzerbindung erreicht hat.“
Cursor versucht diesen Weg, aber selbst sie spüren enormen Druck. „Die Beziehung zu Anthropic ist in einer sehr delikaten Phase. Sie waren enge Partner. Anthropic lieferte das Modell, Cursor das Produkt. Später entwickelte Anthropic Claude Code selbst. Claude Code ist sehr erfolgreich. Und Cursor versucht nun, ein eigenes Modell zu bauen. Sie befinden sich in einer ziemlich kompetitiven Beziehung.“
Das fundamentale Problem ist: „Beim Coding geht es um ein professionelles Bedürfnis. Es ist ein Produktivitätstool. Ein typisches Szenario für Produktivitätstools ist ‚Winner takes all‘.“ Der andere Überlebensweg ist, so klein zu sein, dass es sich für Modell-Unternehmen nicht lohnt – Midjourney könnte ein Beispiel sein, obwohl Yao anmerkt, dass der Markt „so klein ist, dass Gemini zwar versuchen könnte, Midjourney zu replizieren, aber wahrscheinlich keine Zeit darauf verschwenden will.“
Zu OpenAIs Übernahme von OpenClaw spekuliert Yao: „Der größte Vorteil war, ein wirklich starkes Produktteam in Asien zu gewinnen. Es gibt viele talentierte KI-Leute in China. Auch wenn chinesische KI technologisch vielleicht noch nicht ganz zu den USA aufgeschlossen hat, ist China bei Produkten meiner Meinung nach besser aufgestellt als die USA.“
Die Destillationsdebatte und chinesische Labore
Yao führt eine nützliche Unterscheidung ein: „Harte Destillation“ versus „weiche Destillation“. Harte Destillation ist „das Nehmen einer Menge von Tokens, die von Claude generiert wurden, und das erzwungene Training darauf. Das ist aus geschäftlicher Sicht unethisch und intellektuell ziemlich töricht, weil diese Firmen damit zeigen: Sie wissen nicht einmal, was sie tun wollen. Das Einzige, was sie können, ist kopieren.“
Weiche Destillation beinhaltet intelligentere Ansätze, wie die Nutzung anderer Modelle als Assistenten bei der Generierung der eigenen Trainingsdaten-Pipeline oder als Bewerter für die eigenen Antworten. „Das ist kommerziell eine Grauzone, aber technisch ziemlich interessant. Denn chinesische Labore könnten in gewisser Weise Pioniere im Multi-Agenten-Training geworden sein.“
Er nennt keine Namen, deutet aber an, dass das Muster klar ist. Was ByteDance auszeichnet, ist in seinen Augen: „Doubao ist definitiv nicht so schlau wie Gemini oder Claude, aber Doubaos Stimmgenerierung ist extrem gut. Und bei Alltagsfragen frage ich einfach Doubao, weil es so schnell ist.“
Warum optimieren US-Firmen das nicht? „In den USA konzentrieren sich die Leute mehr darauf, die Arbeitseffizienz zu steigern. Fakt ist: Wenn man nach Alltagsthemen fragt, wird Gemini von Generation zu Generation besser. Aber die amerikanischen Firmen stecken alle noch in der Phase, in der sie hart daran arbeiten, die Obergrenze der Intelligenz nach oben zu verschieben. ByteDance tut das auch, aber sie sind eben auch bei der Nutzeroptimierung sehr gut.“
Was einen guten KI-Forscher ausmacht
Yao hat seine eigene Einstellungsmethode. Er gibt Kandidaten 24 Stunden Zeit, ein Reinforcement-Learning-Projekt von Grund auf mit beliebigen Ressourcen zu erstellen. „Das ist im KI-Zeitalter nicht so schwer. Ohne KI wäre es unmöglich. Mit KI ist es ziemlich einfach, weil die KI die ganze Arbeit für einen erledigen kann.“
Der Test evaluiert zwei Dinge. „In dieser Ära ist es nutzlos, jemanden danach zu bewerten, ob er guten Code schreibt, denn die meisten müssen das nicht mehr selbst tun. Wichtiger ist, ob sie KI effektiv nutzen können.“ Aber es gibt eine Falle: „Wenn man die KI alles machen lässt, ohne zu verstehen, was sie getan hat, fliegt man in der einstündigen Diskussion auf.“
Es gibt auch eine Art „dunkle Cleverness“ im Design. „Warum 24 Stunden? Um zu sehen, wie sehr diese Person die Chance wertschätzt. Können sie die ganze Nacht durchmachen? Wer bereit ist, eine Nachtschicht einzulegen, überlebt diese 24 Stunden. Wer das nicht kann, schätzt die Chance wahrscheinlich nicht genug.“
Für Yao sind die wichtigsten Eigenschaften in der KI-Forschung Zuverlässigkeit, Detailgenauigkeit und die Übernahme von Verantwortung. „Ich denke, in dieser Ära sind das die wichtigsten Eigenschaften.“ Er führt aus, dass modernes KI-Training ein großes System ist, das ein ganzheitliches Verständnis erfordert. „Man muss alle Aspekte dieses Systems verstehen, um zu wissen, warum etwas nützlich ist, anstatt nur zu sagen, das Ding an sich sei nützlich.“
Das erfordert, gegen die menschliche Natur zu handeln. „Jedes Individuum will vielleicht, dass seine eigenen Dinge besser aussehen. Aber für ein Unternehmen ist das Beste, das gesamte System solide zu machen. Das ist auch für einen persönlich am besten, denn wenn das System solide ist, kann man es nutzen, um mehr Output zu produzieren. Der Nachteil: Das eigene individuelle Heldentum glänzt weniger. Aber man kann sicher sein, dass auch das Heldentum der anderen nicht glänzt.“
Die zukünftige Landschaft
Mit Blick auf den aktuellen Stand sieht Yao Modelle auf Capability-Ebene zunehmend als Commodity. „Von der tatsächlichen Nutzererfahrung her spürt man die Unterschiede zwischen den Modellen dieser drei Firmen. Aber das Schwierige ist: Früher sah man diesen Unterschied auch auf dem Papier. Heute sind alle auf dem Papier ziemlich nah beieinander. Und wenn man sich Zahlen wie den SWE-bench ansieht, findet man, dass die Besten nur vielleicht ein oder zwei Prozentpunkte besser sind als die nicht so guten – im Grunde sind alle bei etwa 80 %.“
Der Wettbewerb hat sich von reinen Fähigkeiten hin zu Produkt-Exekution und Marktpositionierung verschoben. „Es hat kaum noch Bedeutung, sich nur auf diese öffentlich anerkannten Modellfähigkeiten zu verlassen. Schnelles Veröffentlichen zeigt eigentlich nur, dass das Problem für alle einfach geworden ist. Jeder kennt das Know-how. Es gibt keine Geheimnisse mehr.“
Zu OpenAIs Position sagt Yao: „Ich denke, die Trends in China und den USA haben sich bereits auseinanderentwickelt. China ist sehr stark auf der Konsumentenseite. Sie können sich sehr komplexe Produktfeatures oder Strukturen ausdenken. Aber das funktioniert nicht bei Produktivitätssoftware. Produktivitätssoftware ist sehr geradlinig.“ Er glaubt, OpenAIs Vorteil liege in der Produkt-Exekution, auch wenn diese durch Google herausgefordert wird.
Für die Zukunft sieht Yao keine Position als sicher an. „Ich glaube nicht, dass derzeit irgendjemandes Position sicher ist. Die Form der KI hat noch einen langen Weg vor sich. Wir sind noch lange nicht am Ende.“ Er wundert sich über die Stimmung in China, wo Firmen um eine Super-App kämpfen, als sei es ein Nullsummenspiel. „Ist diese Form die Super-App-Form? Was, wenn eines Tages jemand mit einer völlig anderen Form kommt und deine Funktionalität nur noch eine Teilmenge davon ist? Das ist durchaus möglich, oder?“
Die nächsten Paradigmenwechsel könnten aus Bereichen kommen, die noch in der frühen Erkundung stecken. „ML-Coding und Long Horizon“ sind wertvoll, aber nicht ganz paradigmenverändernd. „Paradigmen-Ebene könnten eher die unsicheren Dinge sein, wie multimodale Generierung. Ich denke, da könnte es einen Helden oder eine Gruppe von Helden geben.“ Vage Konzepte wie Weltmodelle lehnt er ab, wo „zehntausend Leute zehntausend Weltmodelle haben“ und Definitionen unklar bleiben.
Jungen Leuten, die KI-Forschung in Betracht ziehen, gibt er einen harten Rat: „Ich glaube, rein an Sprachmodellen zu arbeiten, ist kein blauer Ozean mehr. Ich glaube, es ist zu spät – der letzte Zug ist abgefahren.“ Er schätzt sich glücklich, diesen letzten Zug erwischt zu haben. „Es gibt viele andere Dinge. Wie die multimodale Generierung, da gibt es noch viele Möglichkeiten. Robotik hat wahrscheinlich noch mehr Chancen. Und noch extremer: Kann man KI nutzen, um bei echten wissenschaftlichen Problemen zu helfen?“
Eine Arbeitsphilosophie
Während des gesamten Gesprächs kehrt Yao zu Themen zurück, die im Widerspruch zum Geniekult um die KI zu stehen scheinen. Er hat keine Mentoren in der Branche, keine alten Freunde, die er schützen muss, was es ihm erlaubt, „jeden zu kritisieren, den ich will.“ Er äußert sich offen abfällig über Forscher, die Zeit auf Slack damit verbringen, „über große Prinzipien zu reden“, anstatt echte Arbeit zu leisten. Er glaubt: „Ideen sind billig, die Umsetzung ist alles.“
Sein persönlicher Weg spiegelt diese Philosophie wider. Von der Wahl der Wettbewerbsklasse der Gezhi High School gegenüber den vier Top-Schulen in Shanghai („Ich fühlte mich wie ein Underdog. Ich dachte, die Barfüßigen haben keine Angst vor denen, die Schuhe tragen. Einen Versuch wert“) über das Texten an das Zulassungsbüro der Tsinghua-Universität, um Gleichbehandlung für Shanghaier Schüler zu fordern, bis hin zum Wechsel von erfolgreicher Forschung in kondensierter Materie zur Hochenergiephysik, weil er es „liebt, Dinge herauszufordern, die ich nicht beherrsche“ – Yao hat konsequent den schwierigeren, weniger offensichtlichen Weg gewählt.
Aber er hat auch aus Enttäuschungen gelernt. Seine Promotion in Hochenergiephysik lehrte ihn den Wert objektiver Bewertungskriterien. „Ich denke, der größte Unterschied zwischen empirischen Gesetzen und wissenschaftlichen Gesetzen ist ziemlich verschwommen“, reflektiert er, aber in der KI „kann man Experimente durchführen. Es ist egal, ob man es nicht versteht. Es kann trotzdem vorangehen.“
Was seine eigene Zukunft betrifft, ist Yao gewohnt unsicher. „Ich denke wahrscheinlich nicht“, auf die Frage, ob er langfristig bei Google bleiben wird. „Ich werde weiterhin versuchen, mich selbst herauszufordern. Ich muss mich quälen. Aber ich muss vielleicht etwas finden, für das es sich lohnt, mich zu quälen.“ Was klar ist: Individuelle Leistung ist ihm weniger wichtig, als Teil von Systemen zu sein, die funktionieren. „Ich denke, in dieser Ära sind die wichtigsten Eigenschaften Zuverlässigkeit, Detailgenauigkeit und die Übernahme von Verantwortung für das eigene Tun.“
Es ist eine Philosophie, die in den Moment passt. Während die KI-Forschung von einem Feld, das von individuellem Glanz getrieben wurde, zu einem Feld reift, das massive Koordination, systematische Strenge und kollektive Exekution erfordert, repräsentieren Forscher wie Yao einen neuen Archetyp. Keine Helden, sondern hochfähige Operatoren, die verstehen, dass im Zeitalter der KI die Welle wichtiger ist als der Surfer, das System wichtiger als der Star und Zuverlässigkeit wichtiger als Genie. Ob dies Fortschritt oder Verlust bedeutet, hängt von der Perspektive ab, aber Yao ist sich sicher: Die Ära des individuellen Heldentums ist vorbei, und das ist auch gut so.