Google DeepMind im Gespräch: Yao Shunyu über das Training von Claude 3.7 und Gemini 3, das Ende des Einzelheldentums und die fundamentale Einfachheit von KI
Interview aus dem ersten Quartal 2026 mit dem Google DeepMind-Forscher Yao Shunyu über die Entwicklung an der Front der Large Language Models
Einleitung: Die zwei Yao Shunyus des Silicon Valley
Xiaojun: Hallo zusammen, ich bin Xiaojun. Heute ist Yao Shunyu, Forscher bei Google DeepMind, unser Gast. Es gibt im Silicon Valley tatsächlich zwei bekannte Persönlichkeiten mit dem Namen Yao Shunyu. Einer arbeitete früher bei OpenAI, wechselte dann als Chief AI Scientist zu Tencent und war bereits bei uns zu Gast. Heute habe ich den anderen Yao Shunyu eingeladen, der zuvor bei Anthropic tätig war und nun bei Google DeepMind arbeitet. Wir beginnen mit einem Gespräch über die jüngsten massiven Veränderungen in der Modell-Landschaft. Tauchen wir ein in mein Interview mit Shunyu.
Yao Shunyu: Mein Name ist Yao Shunyu. Es gibt offensichtlich einen weiteren Forscher mit fast identischem Namen, der derzeit Chief AI Scientist bei Tencent und ehemaliger OpenAI-Forscher ist. Unsere Karrierewege überschneiden sich teilweise, daher ist es vielleicht schwer, uns zu unterscheiden. Ich habe ursprünglich Physik studiert, mein Grundstudium an der Tsinghua University absolviert, wo ich an der Theorie der kondensierten Materie arbeitete, und ging dann an die Stanford University, um theoretische Hochenergiephysik, Quanteninformation und Schwarze-Loch-Physik zu studieren. Nach Stanford war ich kurzzeitig für zwei Wochen als Postdoc in Berkeley, bevor ich kündigte, um bei Anthropic einzusteigen, wo ich ein Jahr blieb. Etwa zwischen Ende September und Anfang Oktober letzten Jahres kam ich zum Gemini-Team bei Google DeepMind. Wenn man uns unterscheiden will: Der größte Unterschied ist, dass der andere Shunyu von Anfang an Informatik studiert hat, während ich nach meinem Physikstudium erst auf halbem Weg in dieses Feld eingestiegen bin.
Xiaojun: Seid ihr gut befreundet? Ihr scheint euch seit dem College zu kennen und seid im gleichen Jahrgang, richtig? Wie würdest du ihn und dich selbst einschätzen?
Yao Shunyu: Ja, wir kennen uns seit unserer Studienzeit an der Tsinghua. Er studierte von Anfang an Informatik in der „Yao Class“, dem experimentellen Informatik-Studiengang, während ich Physik in der „Ji Class“ studierte. Später ging er nach Princeton und ich nach Stanford. Das ist vielleicht ein weiterer verwirrender Punkt, da die Leute normalerweise denken, Stanford sei der Ort für Informatikstudenten und Princeton der für Physikstudenten, aber bei uns war es genau umgekehrt. Wir sind wirklich sehr verschieden. Ich halte ihn für eine viel interessantere Persönlichkeit als mich selbst, und ich habe viel von ihm gelernt. Er verbringt viel Zeit damit, über Mensch-KI-Interaktion und produktbezogene Konzepte nachzudenken. Als wir im Silicon Valley waren, haben wir uns recht häufig getroffen, vielleicht alle paar Wochen, meistens nur zum Abhängen, Spazierengehen, Plaudern, Essen oder Kartenspielen. Selbst nachdem er nach China zurückgekehrt ist, telefonieren wir alle paar Monate, um uns auszutauschen und auf den neuesten Stand zu bringen.
Xiaojun: Hat er versucht, dich für sein Team bei Tencent anzuwerben?
Yao Shunyu: Wahrscheinlich schon, aber ich glaube nicht, dass das eine Rolle spielt. Ich persönlich habe meine nächsten langfristigen Schritte noch nicht festgelegt. Ich habe mich keinem chinesischen Unternehmen angeschlossen, weil meine größte Motivation, als ich Anthropic im September letzten Jahres verließ, einfach darin bestand, etwas anderes zu lernen. Ich war nicht darauf fokussiert, ein riesiges Projekt zu leiten; ich wollte neue technische Bereiche priorisieren, weshalb ich mich für das Gemini-Team entschieden habe.
Der Wandel im KI-Wettbewerb: Ein ausgeglicheneres Spielfeld
Xiaojun: Der andere Yao Shunyu sagte letztes Jahr treffend, dass die KI in die zweite Hälfte ihres Entwicklungszyklus eingetreten sei. In welchem Stadium befindet sich die KI heute Ihrer Meinung nach?
Yao Shunyu: Für mich war die Definition einer ersten und zweiten Hälfte nie besonders klar. Die KI ist jedoch definitiv in eine Phase eingetreten, in der sich die Akteure in der Industrie weniger Sorgen darüber machen, ob ein Modell eine bestimmte Fähigkeit erreichen kann, sondern eher darüber, ob das Zielproblem selbst klar definiert ist. Vor einem Jahr, als ich bei Anthropic war, waren alle besorgt, ob wir eine Chance hätten, die Reasoning-Fähigkeiten von OpenAI einzuholen oder zu übertreffen. Heute macht sich bei den Top-Laboren wie Google Gemini, OpenAI und Anthropic niemand mehr ernsthaft Sorgen, den Anschluss zu verlieren. Der schwierigere Teil ist nun herauszufinden, was die Modelle eigentlich tun sollen. Das erfordert tiefgreifende menschliche Einsichten und beinhaltet große strategische Wetten.
Xiaojun: Bedeutet das, dass sich die Modellfähigkeiten angeglichen haben und homogen geworden sind, sodass auf dem Papier kaum noch Raum für Differenzierung bleibt?
Yao Shunyu: Auf dem Papier, also bei standardisierten öffentlichen Benchmarks, liegen alle extrem nah beieinander. Standardisierte Messrahmen wie SWE-bench, AIME oder IMO konnten Modelle früher klar unterscheiden und zeigen, welches bei Reasoning oder Coding stärker war. Jetzt drängen sich die Top-Modelle alle im gleichen hohen Bereich, oft bei etwa achtzig Prozent bei komplexen Benchmarks, wo ein Unterschied von ein oder zwei Prozentpunkten eher Rauschen als ein Signal für echte Überlegenheit ist. Dennoch können die Nutzer im täglichen Gebrauch Unterschiede spüren. Claude bleibt das fähigste Allzweckmodell für Tool-nutzende Agenten. Beim reinen Programmieren haben andere Wettbewerber die Lücke geschlossen, und Gemini glänzt bei reinem Reasoning und alltäglichen Konversationsszenarien.
Xiaojun: Sind diese Fähigkeiten das Ergebnis bewusster Priorisierung durch die Unternehmen oder handelt es sich um technische Einschränkungen?
Yao Shunyu: Priorisierung ist ein massiver Faktor. Früher, als Modellunterschiede auf dem Papier sichtbar waren, erlaubte die Bereitschaft, eine bestimmte Richtung zu priorisieren, den Teams, die nötige Arbeit in Daten-Pipelines und Infrastruktur zu investieren. Die Kuratierung von Daten erfordert enorm viel Zeit und Mühe. Derzeit spielen sowohl die Priorisierung als auch grundlegende Definitionsfragen eine Rolle. Wenn ein Problem nicht klar definiert ist, resultieren die tatsächlichen Leistungsunterschiede der Modelle oft aus Faktoren, an die wir anfangs gar nicht denken würden. Vor Jahren bemerkten Forscher beispielsweise, dass Modelle, die mit Webdaten trainiert wurden, überraschend gut im Programmieren waren. Es stellte sich heraus, dass GitHub-Daten von Natur aus strukturierter und besser formatiert sind als typische Webseiten, wodurch die Gesamtqualität der Pre-training-Daten unbeabsichtigt erhöht wurde.
Produkt-Burggräben und die Evolution von KI-Assistenten
Xiaojun: Was denken Sie als Forscher an vorderster Front über die jüngste Begeisterung für Open-Source-KI-Computer-Use-Agenten wie OpenClaw? Welche Diskussionen finden innerhalb der Forschungsgemeinschaft statt?
Yao Shunyu: Interessanterweise scheint die Diskussion außerhalb der Industrie intensiver zu sein als innerhalb. Für Brancheninsider ist diese Produktform nicht besonders überraschend. Innerhalb der Top-Unternehmen hatten Forscher bereits ähnliche interne Demos und Experimente gebaut; sie hatten sie nur nicht als öffentliche Konsumentenprodukte verpackt, poliert und vermarktet. Die frühe Version des Codes für OpenClaw auf GitHub war nicht außergewöhnlich sauber, aber sie war wichtig, weil sie die Machbarkeit des Konzepts für die Öffentlichkeit bewies. Kurz nach der Präsentation dieser Möglichkeit wechselte der Schöpfer von OpenClaw zu OpenAI. Die großen KI-Labore werden schnell aufholen und diese Fähigkeiten zu robusten, konsumentenfertigen Produkten verfeinern. Schon vor der Veröffentlichung von OpenClaw arbeitete Google aktiv an ähnlichen Agenten, aber große Konzerne haben naturgemäß längere Entwicklungs- und Release-Prozesse. Technisch gesehen waren diese agentischen Fähigkeiten bereits mit der Veröffentlichung von Claude 3.5 Opus gegeben, da es überlegene Tool-Use-Fähigkeiten im Vergleich zu seinen Zeitgenossen besaß.
Xiaojun: Was ist der qualitative Unterschied zwischen früheren Agent-Frameworks wie Manus und neueren wie OpenClaw? Warum entschieden sich beide, ihre Technologie an größere Player wie Meta und OpenAI zu verkaufen?
Yao Shunyu: Um ehrlich zu sein, bin ich mir immer noch nicht ganz sicher, was der qualitative Unterschied ist oder warum ältere Frameworks nicht den gleichen viralen Erfolg erzielen konnten; vielleicht lag es an der Ausführung und dem Timing. Dass sie sich zum Verkauf entschieden haben, zeigt, dass ein KI-Startup ein Alleinstellungsmerkmal (einen "Moat") braucht, um langfristig zu überleben, und derzeit liegt dieser primäre Burggraben auf der Modellseite. Wir haben noch keine konsumentenorientierte, KI-native Anwendung gesehen, die erfolgreich ein echtes Daten-Flywheel etabliert hat. Abgesehen von entwicklerorientierten agentischen Coding-Tools gibt es nur sehr wenige rein KI-native Anwendungen, die massiven Erfolg erzielt haben. Chatbots selbst sind weitgehend eine interaktive Erweiterung traditioneller Suchmaschinen. Sie befriedigen ein ähnliches Informationsbedürfnis, bieten aber eine hochgradig interaktive, iterative Erfahrung, die Antworten zusammenfasst und destilliert.
Xiaojun: Beweist die Übernahme dieser „Wrapper“-Anwendungen durch Modellunternehmen, dass Startups der Anziehungskraft der grundlegenden Modellanbieter nicht leicht entkommen können?
Yao Shunyu: Derzeit gibt es zwei verschiedene Wege für Wrapper-Startups, um zu überleben. Der erste ist das Erreichen der Fluchtgeschwindigkeit durch Hyper-Wachstum. Wenn man schnell genug wächst, hat man, bis die Modellunternehmen die eigene Produktform einholen, bereits das Mindshare der Nutzer erobert und kann beginnen, eigene spezialisierte Modelle zu trainieren. Cursor ist ein Paradebeispiel für diese Strategie. Sie begannen als nahtloser Partner von Anthropic, aber als Anthropic eigene Entwicklertools wie Claude Code entwickelte, begann Cursor, sein eigenes Composer-Modell zu trainieren, was sie in ein hart umkämpftes Verhältnis brachte. Bei Produktivitäts- und Entwicklertools ist der Markt oft eine „Winner-takes-all“-Dynamik, was einen starken Dringlichkeitsdruck für Startups und Modellanbieter gleichermaßen erzeugt. Der zweite Weg ist, in einem Markt zu operieren, der klein genug ist, dass sich die großen Modellunternehmen nicht die Mühe machen, direkt zu konkurrieren. Midjourney ist ein großartiges Beispiel dafür. Während ein Unternehmen wie Google leicht Ressourcen zuweisen könnte, um das zu replizieren, was Midjourney tut, ist die Marktgröße nicht groß genug, um den Fokus von den zentralen Allzweckmodellen abzulenken.
Xiaojun: Wenn Sie es wären, welchen Weg würden Sie wählen?
Yao Shunyu: Ich persönlich würde gerne aufs Ganze gehen und die massive Eins-zu-zehntausend-Chance jagen. Aber realistisch gesehen erreicht man das nicht über Nacht, daher ist die Sicherung einer kleineren Nische mit hohem Potenzial oft die praktischere Strategie. Was Übernahmen betrifft: Wenn große Unternehmen externe Produktteams kaufen, ist ein wesentlicher Vorteil der Erwerb von erstklassigen Produkt- und Ingenieurstalenten, insbesondere in Regionen wie Asien. Während die USA bei der Forschung an grundlegenden Modellen immer noch führend sind, verfügt China über einen tiefen Pool an außergewöhnlichen Produkt- und Ingenieurstalenten. Startups können sich schnell bewegen, unsauberen Code schreiben und experimentelle Funktionen starten. Große Unternehmen stehen vor massiven rechtlichen, markenbezogenen und ressourcenbedingten Einschränkungen, die sie daran hindern, hochgradig experimentelle Produkte auszuliefern, die tiefe Systemberechtigungen auf dem Computer eines Benutzers anfordern.
Scaling Laws und der Mythos der Pre-training-Beschränkungen
Xiaojun: Was sind Ihre persönlichen Erwartungen für die Modell-Landschaft im kommenden Jahr, mit Blick auf das erste Quartal 2026?
Yao Shunyu: Es gibt so viele spannende Möglichkeiten. Auf der technischen Seite bin ich ein starker Befürworter der Philosophie des Trainings mit endlichem Kontext, aber der Nutzung, als wäre er unendlich. Das bedeutet, Modelle auf begrenzte Kontextlängen zu trainieren, sie aber zu befähigen, während der Inferenz nahezu unendliche Kontextfenster zu verarbeiten. Wenn wir das erreichen, werden völlig neue Anwendungen möglich, wie ein kontinuierlicher persönlicher Assistent, der ständig mit Ihnen interagiert, die Konversation dynamisch bewertet, unwichtige Informationen verwirft und wichtige Kontexte über lange Zeiträume beibehält. Ich glaube, wir werden das technisch in diesem Jahr definitiv erreichen. Die Industrie hat noch keinen Konsens über den genauen technischen Pfad gefunden, aber wir haben mehrere vielversprechende Ideen, die wir aktiv unter realen Nutzerszenarien testen, um den effizientesten Ansatz zu finden.
Xiaojun: Haben Sie das Gefühl, dass sich das Tempo der Modellverbesserung verlangsamt?
Yao Shunyu: Überhaupt nicht. Es ist schwer, die Geschwindigkeitskurve zu quantifizieren, denn wenn man nur auf Standard-Benchmarks schaut, wird sich der Fortschritt natürlich verlangsamen, wenn sich die Ergebnisse einhundert Prozent nähern. Der qualitative Unterschied, den der Nutzer spürt, skaliert jedoch nicht linear mit den Benchmark-Gewinnen. Von siebzig auf fünfundsiebzig Prozent bei einer komplexen Aufgabe zu kommen, kann sich wie ein viel größerer Sprung in der Nutzbarkeit anfühlen als von fünfzig auf sechzig Prozent. Als Forscher ist meine persönliche Beobachtung, dass die grundlegende Lernfähigkeit der Modelle stärker wird. Aufgaben, die früher massiven technischen Aufwand erforderten, um sie einem Modell beizubringen, können jetzt mit weitaus weniger Reibung erreicht werden. Der Flaschenhals ist nicht mehr die Lernkapazität des Modells, sondern unsere Fähigkeit, das Problem klar zu definieren und qualitativ hochwertige Datenumgebungen zu konstruieren.
Xiaojun: Warum wird die Lernkapazität stärker? Manche argumentieren, dass das Scaling Law für das Pre-training an eine Wand stößt.
Yao Shunyu: Meine Erfahrung ist, dass das Pre-training-Scaling nicht an eine Wand gestoßen ist, und ich sehe keine Anzeichen für ein Plateau. Wenn Leute behaupten, das Scaling Law erreiche sein Limit, liegt das meist an einem von drei Dingen: Entweder sie glauben, die physikalischen Grenzen des Paradigmas seien erreicht, oder sie glauben, uns seien die nutzbaren Daten ausgegangen, um weiter zu skalieren, oder sie haben schlicht einen unbemerkten Fehler in ihrer eigenen Implementierung. In der überwiegenden Mehrheit der Fälle, in denen Teams an eine Wand stoßen, liegt es am dritten Grund. In dieser Branche kann die Behebung eines einzigen subtilen Fehlers in der Scaling-Wissenschaft oder der Daten-Pipeline Fortschritte bringen, die jeden ausgefallenen algorithmischen Trick weit in den Schatten stellen. Wenn man auf einen Fehler stößt und glaubt, das Paradigma sei begrenzt, erklärt man, man sei an eine Wand gestoßen. Wenn man glaubt, dass es repariert werden kann, gräbt man weiter. Deshalb ist systematisches Problemlösen, was sowohl Gemini als auch Anthropic außergewöhnlich gut machen, so entscheidend. Man muss saubere Ablationsexperimente entwerfen, um jede Variable zu isolieren und zu testen.
Xiaojun: Was ist der Haupttreiber dieses kontinuierlichen Fortschritts: Rechenleistung, Daten oder Algorithmen?
Yao Shunyu: Alle tragen dazu bei, aber Daten und Rechenleistung sind stark korreliert; wenn die Rechenleistung skaliert, benötigt und zieht man natürlich mehr Daten an, und umgekehrt. Algorithmische Durchbrüche treten tendenziell phasenweise auf. Wenn man an einem konzeptionellen Engpass feststeckt, ist ein algorithmischer Durchbruch absolut entscheidend, weil er das Unmögliche plötzlich möglich macht, so wie es die Erfindung der Transformer-Architektur tat. Sobald das Framework etabliert ist, wird der algorithmische Fortschritt gradueller und konzentriert sich auf die Verbesserung der Rechen- und Dateneffizienz. Innerhalb unserer aktuellen, klaren Frameworks von Pre-training und Post-training bleiben Rechenleistung und Daten die primären Treiber. In ungelösten wissenschaftlichen Bereichen wie der multimodalen Generierung ist das Paradigma jedoch noch nicht festgelegt, was algorithmische Innovation dort zum dominierenden Faktor macht. Für natürliche Sprache ist das wissenschaftliche Framework relativ klar, und die Herausforderung liegt in der massiven technischen Ausführung.
Die Explosion von KI-Coding-Tools
Xiaojun: Warum war das Programmieren in den letzten Monaten der sich am schnellsten entwickelnde Anwendungsbereich für KI-Modelle?
Yao Shunyu: Das Programmieren hat zwei massive Vorteile, die es perfekt für KI machen. Erstens hat es ein hochgradig objektives und klar definiertes Belohnungssignal. Wenn man ein Modell bittet, Code für eine bestimmte Funktion zu schreiben, kann man leicht Tests durchführen, um zu sehen, ob die Eingabe mit der erwarteten Ausgabe übereinstimmt. Die Feedbackschleife ist unmittelbar und eindeutig. Zweitens hat das Programmieren eine unglaubliche, jahrzehntelange Datenbasis in GitHub, die ein riesiges Repository an qualitativ hochwertigem Code bietet, der von exzellenten Programmierern geschrieben wurde. Dies ermöglicht es Forschern, hochgradig robuste Simulationsumgebungen zu bauen. Aus Produktperspektive sind die Benutzeranforderungen an das Programmieren relativ singulär und standardisiert. Im Gegensatz zu sozialen Medien oder Spielen, wo der Geschmack der Nutzer hochgradig subjektiv und vielfältig ist, sind sich exzellente Programmierer im Allgemeinen einig, was sauberen, prägnanten, strukturell klaren und gut abstrahierten Code ausmacht. Dieser Konsens macht die Entwicklung von Coding-Produkten viel geradliniger.
Xiaojun: Wie viel Prozent Ihres Codes wird in Ihrer täglichen Arbeit als Forscher von KI generiert?
Yao Shunyu: Eine konservative Schätzung ist, dass über neunzig Prozent des Rohcodes, den ich verwende, modellgeneriert sind. Wenn ich weniger konservativ bin, liegt es näher bei neunundneunzig oder einhundert Prozent. Ich verbringe jedoch immer noch viel Zeit damit, die Logik zu überprüfen, zu bearbeiten und zu verifizieren, um sicherzustellen, dass sie mit meinem genauen Design übereinstimmt. Der Kern des Software-Engineerings hat sich vom Schreiben von Syntax hin zum Entwerfen von Systemarchitekturen, dem Definieren von Logik und dem Bereitstellen des richtigen Kontexts und der richtigen Referenzdateien für das Modell verschoben. Der Teil des Codes, den das Modell nicht schreiben kann, schrumpft rapide. Im Vergleich zu vor achtzehn Monaten ist die Effizienz bei der Umsetzung von Ideen und der Durchführung von Forschungsexperimenten um das Zwanzig- bis Fünfzigfache gestiegen. Man kann mehrere experimentelle Ideen parallel ausführen und das Modell die Läufe überwachen und die Ergebnisse analysieren lassen. Das hat meine Arbeitszeiten tatsächlich länger und intensiver gemacht; weil der Iterationszyklus so schnell ist, gibt es ständig mehr Ideen, die ich sofort testen möchte. Im Bereich der generativen KI ruht sich niemand aus. Wenn man selbstmotiviert ist und sich für die Technologie begeistert, ist das Tempo unglaublich fordernd.
Xiaojun: Werden Programmierer irgendwann vollständig durch KI ersetzt?
Yao Shunyu: Ich glaube, dieser Tag wird kommen, aber es wird ein gradueller, phasenweiser Prozess sein, anstatt einer Entlassung aller Entwickler über Nacht. Wir können bereits sehen, dass dies beginnt. KI ist eine hochgradig zentralisierte Technologie; sie befähigt eine kleine Gruppe hochfähiger Individuen, unglaublich produktiv zu werden, aber sie könnte den einzigartigen Wert von durchschnittlichen Einsteiger-Entwicklern schmälern. Das Endergebnis für das traditionelle Software-Engineering könnte sein, dass ein Tausendstel der Leute die Arbeit der gesamten früheren Belegschaft erledigt und dabei deutlich höhere Vergütungen erhält. Mein Rat an Programmierer ist, diese neuen Werkzeuge anzunehmen und sich darauf zu konzentrieren, wie man effektiv mit KI zusammenarbeitet. Konzentrieren Sie sich auf High-Level-Systemdesign, strategische Planung und das Verständnis, wie sich Ihre technische Arbeit in eine große Organisation integriert. KI kann spezifische Codeblöcke unglaublich gut schreiben, aber das Zerlegen eines massiven, mehrdeutigen Projekts in umsetzbare, modulare Schritte ist – zumindest vorerst – eine menschlich dominierte Fähigkeit.
Bewertung der Lücke zwischen chinesischen und westlichen KI-Modellen
Xiaojun: Was denken Sie über die jüngsten Erfolge von ByteDance im Bereich der multimodalen Generierung, wie etwa ihr Seed-Modell? Übt das Druck auf das Team bei Google DeepMind aus?
Yao Shunyu: Es übt sicherlich einen gewissen Druck aus, insbesondere auf die Teams, die direkt für die multimodale Generierung verantwortlich sind. Ich glaube jedoch nicht, dass es einen grundlegenden Paradigmenwechsel widerspiegelt. ByteDance hatte historisch gesehen starke Vorteile bei Nutzerdaten und Produkt-Engineering, und sie führen diese Details unglaublich gut aus. Die multimodale Generierung bleibt ein hochgradig aktives wissenschaftliches Problem, bei dem die Trainingsparadigmen in der Industrie noch nicht vollständig standardisiert sind. Wenn ich raten müsste, kommt ByteDances starke Leistung von überlegener Datenkuration und akribischer Aufmerksamkeit für technische Details. Was Wu Yonghui betrifft, der das Large-Model-Team von ByteDance leitet: Ich habe nicht direkt mit ihm zusammengearbeitet, aber wenn man sich seine früheren Beiträge und Code-Commits bei Google ansieht, ist er einer der seltenen, hochrangigen Führungskräfte, die immer noch unglaublich scharfe praktische technische Fähigkeiten beibehalten.
Xiaojun: Wenn wir eine Momentaufnahme der Industrie im ersten Quartal 2026 machen: Vergrößert oder verkleinert sich die Fähigkeitslücke zwischen chinesischen und westlichen KI-Modellen?
Yao Shunyu: Die absolute Fähigkeitslücke verkleinert sich, und chinesische Modellentwickler sind unglaublich gut darin geworden, wettbewerbsfähige Modelle zu bauen, obwohl sie mit schwerwiegenden Hardware- und Rechenleistungsbeschränkungen konfrontiert sind. Ob sie die Lücke jedoch vollständig schließen oder westliche Modelle übertreffen können, bleibt eine offene Frage. Der Nachteil bei der Rechenleistung hat chinesische Labore gezwungen, in anderen Bereichen hochgradig innovativ zu sein, wie etwa bei der Modelldestillation und Multi-Agenten-Trainingssystemen.
Die Dynamik zwischen harter und weicher Destillation
Xiaojun: Der CEO von Anthropic kritisierte kürzlich mehrere Wettbewerber dafür, Daten von ihren Modellen zu destillieren. Wie sehen Sie die Praxis der Modelldestillation?
Yao Shunyu: Modelldestillation ist ein offenes Geheimnis in der Industrie, aber es gibt einen großen Unterschied zwischen Brute-Force-Destillation und intelligenter, weicher Destillation. Brute-Force, oder harte Destillation, beinhaltet einfach das Nehmen einer massiven Menge von Ausgaben, die von einem Modell wie Claude generiert wurden, und das direkte Training des eigenen Modells auf diesen Tokens. Kommerziell ist das fragwürdig, und intellektuell ist es etwas töricht, weil es zeigt, dass ein Team nicht weiß, was es bauen will; sie kopieren lediglich die Verteilung eines anderen, um bei Standard-Benchmarks besser abzuschneiden. Auf der anderen Seite beinhaltet weiche Destillation die Nutzung anderer Modelle als Assistenten oder Evaluatoren innerhalb der eigenen proprietären Datengenerierungs-Pipeline. Das ist ein faszinierender wissenschaftlicher Ansatz. Er hat einige chinesische Labore effektiv zu Pionieren von Multi-Agenten-Trainingssystemen gemacht, da sie diverse Modellverteilungen in ein einziges kohärentes Trainings-Ökosystem integrieren. ByteDances Doubao ist ziemlich unverwechselbar; obwohl es vielleicht nicht die rohe Reasoning-Intelligenz von Gemini oder Claude erreicht, ist seine Echtzeit-Sprachgenerierung wohl die beste der Welt. Sie haben stark für ihre spezifische Konsumentenbasis optimiert und dabei niedrige Latenz und ansprechende Nutzererfahrung gegenüber der reinen Benchmark-Leistung priorisiert.
Xiaojun: Warum haben US-Unternehmen diese Echtzeit-Konsumentenfunktionen nicht im gleichen Maße priorisiert?
Yao Shunyu: Der primäre Fokus für US-Modellentwickler lag auf der Maximierung der Arbeitseffizienz und der rohen kognitiven Intelligenz. In China gibt es einen viel stärkeren Fokus auf die Konsumentenseite, um Produkte zu schaffen, die ansprechend sind und in den Alltag passen. Zum Beispiel ist das Doubao-Telefon ein exzellentes Produktkonzept, das Aufgaben in Echtzeit ausführt, obwohl der zugrunde liegende technische Overhead sorgfältig optimiert werden muss, um sicherzustellen, dass die Kosten für den Betrieb des Modells den Wert des Dienstes nicht übersteigen. Apple versucht auch, diesen Konsumenten-Assistenten-Bereich durch seine Partnerschaft mit Gemini anzugehen, wohl wissend, dass sie sich zwar sehr für Siri und ihre KI-Strategie interessieren, ihre interne Modellentwicklung aber hinter der Front zurückgeblieben ist.
Die Zukunft der Robotik und Weltmodelle
Xiaojun: Es gibt viel Begeisterung für humanoide Roboter. Haben Sie Beobachtungen zum Robotik-Bereich, und wie lässt er sich mit dem Entwicklungszeitplan von Large Language Models vergleichen?
Yao Shunyu: Ich habe mir einige der humanoiden Roboter und ihre Preise angesehen; die Hardware-Lieferkette in China ist unglaublich ausgereift, was diese physischen Plattformen überraschend billig macht. Auf der Softwareseite befindet sich die Robotik jedoch noch sehr in ihrer Feature-Engineering-Ära. Roboter können optimiert werden, um in hochspezifischen, deterministischen Umgebungen unglaublich gut zu funktionieren, aber es fehlt ihnen an Generalisierbarkeit. Wenn man einen Roboter darauf trainiert, Kleidung zu falten oder Wasser einzuschenken, abstrahiert und generalisiert diese Fähigkeit nicht natürlich auf andere Aufgaben. Sprachmodelle haben diese kritische Schwelle überschritten, an der das Hochskalieren des Basismodells alle nachgelagerten Fähigkeiten gleichzeitig anhebt. Die Robotik hat ihren GPT-1-Moment noch nicht erreicht; wir haben noch nicht herausgefunden, wie man das Training physischer Aktionsmodelle wirklich skaliert. Viele Robotik-Labore experimentieren jetzt damit, multimodale Sprachmodelle als Basis zu verwenden und Vision-Language-Action-Modelle zu trainieren, um diese Lücke zu schließen. Diese Labore zu besuchen macht unglaublich viel Spaß – sie sind weitaus dynamischer als Büros für Sprachmodelle, mit Forschern, die ständig physische Daten sammeln und Maschinen steuern.
Xiaojun: Was ist Ihre Definition eines Weltmodells? Es scheint in der Industrie erhebliche Meinungsverschiedenheiten über diesen Begriff zu geben.
Yao Shunyu: In der Tat, fragen Sie zehntausend Leute und Sie werden zehntausend verschiedene Definitionen erhalten. Die Weltmodelle, die von akademischen Laboren gebaut werden, sind sehr anders als die End-to-End-Modelle, auf die wir uns konzentrieren. Für Gemini wird ein Weltmodell End-to-End trainiert, sodass es nicht nur ein statisches Video aus einer Beschreibung generiert, sondern tatsächlich ein physisches Szenario modelliert. Das Modell generiert einen Zustand, nimmt eine Aktionseingabe entgegen und sagt den nachfolgenden Zustand als direkte Funktion des vorherigen Zustands und der Aktion voraus. Es befindet sich noch in einer hochgradig explorativen Phase, und wir haben noch keinen singulären branchenweiten Konsens über die ultimative Form eines Weltmodells.
Yao Shunyus Reise von der theoretischen Physik zur künstlichen Intelligenz
Xiaojun: Lassen Sie uns über Ihren persönlichen Hintergrund sprechen. Sie haben theoretische Physik an der Tsinghua und in Stanford studiert, bevor Sie zur KI wechselten. Wie kam es zu diesem Wechsel?
Yao Shunyu: Ich wurde in Dawukou geboren, einer kleinen Kohlebergbaustadt in Ningxia, zog aber während der Grundschule mit meinen Eltern nach Shanghai. Ich besuchte eine relativ normale Mittel- und Oberschule, und ich war ziemlich mittelmäßig, als ich jung war. Ich kam nicht über den Elite-Olympiaden-Wettbewerbsweg an die Tsinghua. In der Oberschule hatte ich die Wahl zwischen dem Besuch einer regulären Klasse an einer der vier besten Oberschulen Shanghais oder dem Beitritt zur wettbewerbsorientierten Physikklasse an der Gezhi High School, die als Außenseiter galt. Ich wählte die Außenseiterklasse, weil ich es liebe, mich mit Dingen herauszufordern, in denen ich nicht von Natur aus gut bin. Diese Entscheidung führte mich schließlich zur Physikabteilung der Tsinghua. Während meines letzten Oberschuljahres schrieb ich mutig an das Zulassungsbüro der Tsinghua und fragte, warum sie unabhängige Einschreibungstests nur für Pekinger Schüler öffneten. Sie stimmten zu, uns die Prüfung machen zu lassen, und ich kam rein. Das lehrte mich eine massive Lektion fürs Leben: Sei mutig und kämpfe für Gelegenheiten, denn wenn du nicht fragst, ist die Antwort immer Nein.
Xiaojun: An der Tsinghua und in Stanford arbeiteten Sie an der Theorie der kondensierten Materie und nicht-hermiteschen Systemen. Können Sie diese Forschung in einfachen Worten erklären?
Yao Shunyu: Ich werde versuchen, in menschlichen Worten zu sprechen. In der grundlegenden Quantenmechanik gehen wir davon aus, dass isolierte Systeme eine unitäre Evolution durchlaufen, die durch eine hermitesche Matrix beschrieben wird, was bedeutet, dass die Energiezustände mathematisch konsistent sind. Reale Systeme sind jedoch nie perfekt isoliert; sie tauschen ständig Informationen und Materie mit ihrer Umgebung aus. Das sind offene Quantensysteme, die durch nicht-hermitesche Hamilton-Operatoren beschrieben werden. Während meiner Forschung im Grundstudium bemerkten wir, dass unsere analytischen Berechnungen für diese Systeme nicht mit unseren numerischen Simulationen übereinstimmten. Wir entdeckten schließlich, dass sich die Energie-Eigenzustände in nicht-hermiteschen Systemen physisch an den Rändern des Materials ansammeln können, ein Phänomen, das wir systematisch modellierten und für das wir ein mathematisches Framework etablierten. Diese Forschung lehrte mich eine entscheidende Lektion, die direkt auf KI anwendbar ist: Vertraue der reinen Theorie nicht zu sehr und nutze numerische Simulationen, um dein Verständnis komplexer Systeme ständig zu verifizieren und zu verfeinern.
Xiaojun: Warum haben Sie sich entschieden, die Hochenergiephysik während Ihres Doktorats in Stanford zu verlassen?
Yao Shunyu: Hochenergiephysik ist unglaublich schön und intellektuell herausfordernd, aber sie hat sich bis zu einem Punkt entwickelt, an dem Theorien zu unseren Lebzeiten nicht experimentell verifiziert werden können. Ohne empirische Daten verlässt sich das Feld stark auf mathematische Konsistenz und die subjektiven Meinungen hochrangiger Akademiker. Ich erkannte, dass ich mein Leben nicht damit verbringen wollte, dem akademischen Establishment eines Feldes zu dienen, dem es an objektivem, realem Feedback fehlte. Ich wollte an Dingen arbeiten, die die Welt aktiv beeinflussen konnten und klare, objektive Erfolgskriterien hatten. Während der letzten Jahre meines Doktorats erforschte ich Quantencomputing und KI. Ich erkannte, dass der primäre Flaschenhals beim Quantencomputing das experimentelle Hardware-Engineering ist, was nicht meine Stärke ist. KI hingegen ist ein digitaler Sandkasten, in dem man eine Idee konzipieren und sofort numerische Experimente durchführen kann, um sie zu verifizieren. Es fühlte sich sehr wie das goldene Zeitalter der Physik des neunzehnten Jahrhunderts an, in dem theoretische Spekulation und aktive Experimente Hand in Hand gingen.
Arbeit an Claude 3.7 und 4.5 bei Anthropic
Xiaojun: Wie begann Ihre Reise bei Anthropic und wie war die Kultur während der Entwicklung von Claude 3.7 und 4.5?
Yao Shunyu: Ich hatte ehemalige akademische Kollegen bei Anthropic, das historisch gesehen viele Forscher mit theoretischem Physik-Hintergrund eingestellt hat. Als ich Ende 2024 zum Vorstellungsgespräch kam, war das Reinforcement-Learning-Team sehr klein – etwa zehn oder elf Leute im Kernteam. Zu der Zeit war RL für Large Language Models noch sehr unreif; OpenAIs o1 war noch nicht öffentlich veröffentlicht worden, und die meisten Labore versuchten immer noch herauszufinden, wie man groß angelegtes RL stabil macht. Der Teamleiter, der ebenfalls einen Physik-Hintergrund hatte, lud mich ein, an diesen Scaling-Herausforderungen zu arbeiten. Ich habe meine eigenen grundlegenden GPT-Systeme mithilfe von Open-Source-Projekten wie Andrej Karpathys nanoGPT selbst zusammengestellt, um mich auf die technischen Interviews vorzubereiten, und trat dem Team kurz darauf bei.
Xiaojun: Was machte Anthropic als Forschungsorganisation in dieser Zeit einzigartig?
Yao Shunyu: Anthropic hat eine hocheffektive, Top-Down-Entscheidungsstruktur. Da die technischen Kernleiter wie Jared Kaplan und Sam McCandlish auch Mitgründer des Unternehmens sind, besitzen sie immense technische Glaubwürdigkeit und unternehmerische Autorität. Wenn sie ein klares technisches Signal erhalten, können sie sofort das gesamte Unternehmen darauf ausrichten, alles auf eine bestimmte Wette zu setzen, wie etwa die Priorisierung von Coding-Fähigkeiten. Das ist für andere Unternehmen sehr schwer zu replizieren. Bei OpenAI störten interne politische Kämpfe diese Ausrichtung, und bei Google ist die Organisation historisch gesehen viel Bottom-Up-orientierter und verteilter. Das Mitgründer-Team von Anthropic hat ein tiefes gegenseitiges Vertrauen, das seit ihrer gemeinsamen Zeit bei OpenAI gewachsen ist, was die Organisation unglaublich reaktiv und fokussiert hält.
Xiaojun: Wie wurde Claude 3.7 entwickelt und welche Rolle spielten Sie bei diesem Projekt?
Yao Shunyu: Vor Claude 3.7 war Post-training weitgehend ein Prozess des Patchens von vortrainierten Modellen, anstatt ein skalierbares Paradigma für sich. Der Durchbruch kam, als die Industrie herausfand, wie man Reinforcement Learning skaliert, indem man saubere, objektive Umgebungen mit klaren Feedbacksignalen nutzt – insbesondere Software-Engineering-Umgebungen. Die Kernentwicklung von Claude 3.7 dauerte etwa vier bis fünf Monate. Meine Arbeit konzentrierte sich auf die algorithmische Stabilität von groß angelegtem RL und den Aufbau der modularen Trainingsumgebungen. KI-Entwicklung in diesem Maßstab ist jedoch eine massive, hochgradig kollaborative System-Engineering-Anstrengung. Die Ära des Einzelheldentums in der KI ist vorbei; die Technologie ist eine unaufhaltsame Welle, und Forscher sind einfach Surfer, die versuchen, den Kamm zu erwischen. Wenn ein Individuum eine bestimmte Entdeckung nicht macht, wird ein anderes Team in einem gut finanzierten Labor dies unweigerlich ein paar Wochen später tun.
Gegenüberstellung der Kulturen von OpenAI, Anthropic und Google DeepMind
Xiaojun: Warum haben Sie sich entschieden, Anthropic zu verlassen, um dem Gemini-Team bei Google DeepMind beizutreten?
Yao Shunyu: Es gab mehrere Faktoren. Erstens wuchs Anthropic sehr schnell und verdoppelte seine Mitarbeiterzahl auf fast zweitausend Leute, während ich dort war. Dieses schnelle Wachstum führte zu einer erheblichen kulturellen Verwässerung und internen Reibungen. Ich persönlich mag keine Kulturen, in denen Leute ihre Tage auf Slack damit verbringen, über große, abstrakte Prinzipien zu sprechen, anstatt die harte, akribische Ingenieursarbeit zu leisten, die zur Umsetzung von Ideen erforderlich ist. Zweitens war ich nicht mit der zunehmend extremen und emotionalen antichinesischen politischen Haltung einverstanden, die von Anthropics Führung vorangetrieben wurde. Schließlich ist Anthropic sehr auf ein enges Produktspektrum fokussiert, was bedeutet, dass sie nicht in Low-Level-Infrastrukturforschung oder multimodale Generierung investieren. Ich wollte von einem breiteren Spektrum menschlicher Geister lernen und die Freiheit haben, diverse Forschungsrichtungen zu erkunden, und Google DeepMind bietet ein unvergleichliches Umfeld für dieses Maß an Forschungsfreiheit.
Xiaojun: Viele Forscher verlassen Google, weil sie das Gefühl haben, die Unternehmensstruktur sei zu langsam oder restriktiv. Warum haben Sie die entgegengesetzte Ansicht?
Yao Shunyu: Es hängt ganz davon ab, was man will. Wenn Ihr Ziel ist, Ihre spezifische Idee sofort in ein Konsumentenprodukt zu zwingen, können Googles massive Größe und komplexe Release-Prozesse hochgradig frustrierend sein. Aber wenn Ihr Ziel Forschungsfreiheit ist und der Zugang zu erstklassigen Ingenieurstalenten über ein riesiges Spektrum an Technologien hinweg, gibt es keinen besseren Ort. Googles technische Reserven sind unübertroffen. Zudem hat OpenAIs früher Erfolg Google tatsächlich gerettet, indem er den Riesen aufgeweckt hat. Er zwang Google dazu, seine Entscheidungsfindung neu zu organisieren und zu straffen, was Pre-training in einen hochgradig disziplinierten, vorhersehbaren Ingenieursprozess verwandelte, der vollständig innerhalb von Googles Komfortzone operiert.
Warum KI-Forschung fundamental einfach ist
Xiaojun: Sie haben die kontroverse Aussage gemacht, dass KI fundamental einfach ist und keine außergewöhnliche Intelligenz erfordert. Können Sie erklären, was Sie damit meinen?
Yao Shunyu: In der Physik kann man einfach nicht weitermachen, wenn man keine experimentellen Daten auf einer bestimmten Energieskala hat. KI steht nicht vor dieser fundamentalen Einschränkung. Es ist ein hochgradig empirisches Feld, in dem wir nicht durch einen Mangel an Ideen blockiert sind, sondern durch die Zeit und Rechenleistung, die erforderlich sind, um die Tausenden von Ideen zu testen, die wir bereits haben. Es ist fundamental einfach, weil man keine brillanten, paradigmenverändernden Erkenntnisse braucht, um Fortschritte zu machen; man muss außergewöhnlich zuverlässig, detailorientiert und systematisch in seiner Ausführung sein. Man muss sauberen Code schreiben, subtile Fehler eliminieren und seine empirischen Daten sorgfältig analysieren. Die meisten Durchbrüche sind das Ergebnis kollektiven, disziplinierten Engineerings statt individueller Genialität.
Xiaojun: Wie gestalten Sie Ihren Interviewprozess, um zuverlässige, hochqualitative KI-Forscher zu identifizieren?
Yao Shunyu: Ich habe eine Interviewaufgabe entworfen, bei der der Kandidat vierundzwanzig Stunden Zeit hat, ein komplettes Reinforcement-Learning-Projekt von Grund auf zu bauen und zu trainieren. Sie müssen das Modell, die Daten und den Algorithmus auswählen und dann ihre Implementierung eine Stunde lang mit mir diskutieren. In der modernen KI-Ära ist das Schreiben des Rohcodes einfach, weil der Kandidat KI dafür verwenden kann. Der wahre Test ist, ob sie das System, das sie gebaut haben, wirklich verstehen. Wenn sie blind die KI alles generieren lassen, ohne tiefes, systematisches Verständnis, werden sie in unserer technischen Diskussion sofort scheitern. Es testet auch ihre Hingabe und ihren Hunger – ob sie bereit sind, eine Nachtschicht einzulegen, um unter engen Zeitvorgaben ein außergewöhnliches Ergebnis zu liefern.
Engineering-Führung und das Management von KI-Großprojekten
Xiaojun: Wie organisieren verschiedene Labore ihre Forschungsteams, um die Kompromisse zwischen Pre-training und Post-training zu managen?
Yao Shunyu: Sowohl Anthropic als auch Google unterhalten separate, dedizierte Teams für Pre-training und Post-training. OpenAIs Struktur war historisch gesehen flüssiger und manchmal chaotisch, wobei ihre Post-training-, Reinforcement-Learning- und Produktteams gelegentlich in ihren Verantwortlichkeiten überlappten. Eine effektive Organisationsstruktur beruht letztendlich darauf, einen technischen Leiter mit immenser Glaubwürdigkeit zu haben. Dieser Leiter muss die praktische Fähigkeit haben, an die Front zu treten und kritische technische Brände zu löschen, wenn etwas schiefgeht, aber auch die Toleranz haben, diverse, explorative Ideen zu verstehen und zu unterstützen, die sie selbst vielleicht nicht konzipiert haben. Google hat in dieser Hinsicht ein starkes Gleichgewicht gefunden, mit Führungskräften wie Koray Kavukcuoglu, die die zentralen Gemini-Scaling-Projekte leiten, während Demis Hassabis sich auf breitere wissenschaftliche Anwendungen wie die Wirkstoffforschung konzentriert.
Xiaojun: Was ist Googles Wettbewerbsvorteil, wenn es um kundenspezifische Hardware wie TPUs im Vergleich zu den branchenüblichen NVIDIA-GPUs geht?
Yao Shunyu: Aus reiner Hardware-Perspektive ist keine von beiden inhärent überlegen für groß angelegte Deployments. Der primäre Vorteil von GPUs ist ihr ausgereiftes Open-Source-Software-Ökosystem, während TPUs erfordern, dass Google massiv in den Bau eigener kundenspezifischer Compiler und Infrastruktur investiert. In einem Maßstab von Hunderttausenden von Chips ist diese Softwareinvestition jedoch absolut gerechtfertigt. Die architektonischen Designphilosophien sind sehr unterschiedlich. NVIDIAs GPU-Pods konzentrieren sich auf unglaublich schnelle NVLink-Interconnects innerhalb eines relativ kleinen Knotens von Karten. Googles TPUs nutzen eine 3D-Torus-Netzwerktopologie, wobei sie etwas paarweise Interkonnektionsgeschwindigkeit opfern, um massenhaft Karten direkt innerhalb eines einzigen Clusters zu verknüpfen. Wenn Ihre Compiler und Daten-Sharding-Strategien gut genug geschrieben sind, um diese Topologie zu nutzen, können Sie massive Speicherkapazität erreichen und Kommunikationsengpässe während des groß angelegten Trainings erheblich reduzieren.
Der Ausblick für LLM-Paradigmen und Karrieretipps für Programmierer
Xiaojun: Ist das Feld für junge Leute, die heute in den KI-Bereich einsteigen, immer noch ein „Blue Ocean“ voller Möglichkeiten?
Yao Shunyu: Reine natürliche Sprachverarbeitung und Standard-LLM-Scaling sind keine Blue Oceans mehr; der letzte Zug ist bereits abgefahren, und die Landschaft wird von massiven, konsolidierten Engineering-Teams dominiert. KI ist jedoch ein unglaublich weites Feld. Es gibt massive Möglichkeiten in der multimodalen Generierung, physischen Robotik und der Nutzung von KI zur Lösung fundamentaler wissenschaftlicher und mathematischer Probleme. Die beste Wahl für junge Forscher ist nicht, dem lautesten Trend von heute hinterherzujagen, sondern sich auf die ungelösten, vernachlässigten Herausforderungen von morgen zu konzentrieren.
Xiaojun: Was sind Ihre eigenen persönlichen Pläne für die Zukunft?
Yao Shunyu: Ich werde wahrscheinlich nicht für immer bei einem riesigen Tech-Konzern bleiben. Ich möchte mich weiterhin herausfordern, schwierige Probleme finden, die es zu lösen gilt, und neue technische Bereiche lernen. Im Moment ist meine höchste Priorität, unsere ML-Coding- und Long-Horizon-Trainingssysteme in einen hochgradig stabilen, produktionsreifen Zustand zu bringen. Sobald das erreicht ist, werde ich nach der nächsten schwierigen Herausforderung suchen, die ich angehen kann.
Xiaojun: Jeder Gast in unserer Sendung empfiehlt ein Buch, das ihn tief beeinflusst hat. Was würden Sie unserem Publikum empfehlen?
Yao Shunyu: Ich bin ehrlich gesagt nicht sehr belesen und lese nicht gerne traditionelle Bücher. Das meiste, was ich lese, sind professionelle Forschungsarbeiten. Ich habe jedoch kürzlich die Autobiografie von Hideki Yukawa, dem Nobelpreisträger für Physik, mit dem Titel „Tabibito“ gelesen, was „Der Reisende“ bedeutet. Es ist ein sehr authentischer und tröstlicher Blick auf einen äußerst erfolgreichen Wissenschaftler, der in seiner Jugend mit Selbstzweifeln und Herausforderungen kämpft. Wenn Sie eine großartige Fiktionsempfehlung wünschen, empfehle ich sehr den japanischen Roman „From the New World“.
Xiaojun: Danke, Shunyu, dass Sie heute Ihre unglaublich direkten und wertvollen Einblicke mit uns geteilt haben.
Yao Shunyu: Danke. Es war mir ein Vergnügen, mit Ihnen zu plaudern.