Google DeepMind-transcript: Yao Shunyu over het trainen van Claude 3.7 en Gemini 3, de ondergang van individueel heldendom en waarom AI fundamenteel eenvoudig is
Interview uit het eerste kwartaal van 2026 met Google DeepMind-onderzoeker Yao Shunyu over de evoluerende grens van Large Language Models
Introductie: De twee Yao Shunyus van Silicon Valley
Xiaojun: Hallo iedereen, ik ben Xiaojun. Vandaag is onze gast Yao Shunyu, onderzoeker bij Google DeepMind. Er zijn in Silicon Valley eigenlijk twee bekende personen die Yao Shunyu heten. De een werkte voorheen bij OpenAI en stapte later over naar Tencent om daar Chief AI Scientist te worden; hij is al eens in onze show geweest. Vandaag heb ik de andere Yao Shunyu uitgenodigd, die voorheen bij Anthropic werkte en nu bij Google DeepMind zit. We beginnen met een gesprek over de recente reeks ingrijpende veranderingen in het modellandschap. Laten we beginnen met mijn interview met Shunyu.
Yao Shunyu: Mijn naam is Yao Shunyu. Het is duidelijk dat er een andere onderzoeker is met een vrijwel identieke naam die momenteel Chief AI Scientist is bij Tencent en voorheen bij OpenAI werkte. Onze carrièrepaden vertonen enige overlap, dus het kan erg lastig zijn om ons uit elkaar te houden. Ik heb oorspronkelijk natuurkunde gestudeerd en mijn bachelor afgerond aan de Tsinghua University, waar ik werkte aan de theorie van gecondenseerde materie. Daarna ging ik naar Stanford University voor theoretische hoge-energiefysica, kwantuminformatie en zwartegatfysica. Na mijn vertrek bij Stanford verbleef ik twee weken als postdoctoraal onderzoeker in Berkeley voordat ik stopte om bij Anthropic te gaan werken, waar ik een jaar ben gebleven. Rond eind september tot begin oktober vorig jaar kwam ik bij het Gemini-team van Google DeepMind. Als mensen ons willen onderscheiden: het grootste verschil is dat de andere Shunyu vanaf het begin informatica heeft gedaan, terwijl ik na mijn studie theoretische natuurkunde halverwege in dit veld ben beland.
Xiaojun: Zijn jullie goede vrienden? Jullie lijken elkaar al sinds de universiteit te kennen en waren van dezelfde lichting, toch? Hoe zou je hem en jezelf beoordelen?
Yao Shunyu: Ja, we kennen elkaar sinds onze studietijd aan Tsinghua. Hij studeerde vanaf het begin informatica in de 'Yao Class', de experimentele klas voor informatica, terwijl ik natuurkunde studeerde in de 'Ji Class'. Later ging hij naar Princeton en ik naar Stanford. Dit is misschien een ander verwarrend punt, omdat mensen meestal denken dat Stanford de plek is waar informaticastudenten heengaan en Princeton de plek voor natuurkundestudenten, maar wij deden het tegenovergestelde. We zijn echt behoorlijk verschillend. Ik vind hem een veel interessanter persoon dan ikzelf en ik heb veel van hem geleerd. Hij besteedt veel tijd aan het nadenken over mens-AI-interactie en productgerelateerde concepten. Toen we in Silicon Valley waren, zagen we elkaar vrij vaak, misschien wel elke paar weken, meestal gewoon om wat rond te hangen, te wandelen, over willekeurige dingen te praten, te eten en te kaarten. Zelfs nadat hij naar China was teruggekeerd, bellen we elkaar nog steeds elke paar maanden om bij te praten en updates te delen.
Xiaojun: Heeft hij geprobeerd je te werven voor zijn team bij Tencent?
Yao Shunyu: Dat heeft hij waarschijnlijk wel gedaan, maar ik denk niet dat het ertoe doet. Persoonlijk weet ik nog niet wat mijn volgende stappen op de lange termijn zijn. Ik ben niet bij een Chinees bedrijf gaan werken omdat mijn grootste motivatie toen ik Anthropic rond september vorig jaar verliet, simpelweg was om iets anders te leren. Ik was niet gefocust op het leiden van een enorm project; ik wilde prioriteit geven aan het leren van nieuwe technische domeinen, en daarom koos ik ervoor om bij het Gemini-team te gaan werken.
De verschuiving in AI-concurrentie: het speelveld gelijktrekken
Xiaojun: De andere Yao Shunyu verklaarde vorig jaar beroemd dat AI de tweede helft van zijn ontwikkelingscyclus is ingegaan. In welk stadium bevindt AI zich volgens jou vandaag de dag?
Yao Shunyu: Voor mij is de definitie van een eerste en tweede helft nooit echt duidelijk geweest. AI is echter zeker in een fase beland waarin spelers in de sector zich minder zorgen maken over de vraag of een model een bepaald vermogen kan bereiken, en meer over de vraag of het doelprobleem zelf wel goed gedefinieerd is. Een jaar geleden, toen ik bij Anthropic werkte, was iedereen angstig over de vraag of we een kans hadden om de redeneervaardigheden van OpenAI in te halen of te overtreffen. Tegenwoordig maakt niemand zich bij de top-labs zoals Google Gemini, OpenAI en Anthropic nog echt zorgen om achterop te raken. Het lastige is nu om te bepalen wat we de modellen daadwerkelijk willen laten doen. Dit vereist aanzienlijk menselijk inzicht en brengt grote strategische keuzes met zich mee.
Xiaojun: Betekent dit dat de mogelijkheden van modellen zijn genivelleerd en gehomogeniseerd, waardoor er op papier weinig ruimte overblijft voor differentiatie?
Yao Shunyu: Op papier, dus op gestandaardiseerde publieke benchmarks, ligt iedereen extreem dicht bij elkaar. Gestandaardiseerde meetkaders zoals SWE-bench, AIME of IMO konden modellen voorheen duidelijk onderscheiden, waarbij zichtbaar werd wie sterker was in redeneren of coderen. Nu zitten de topmodellen allemaal in dezelfde hoge categorie, vaak rond de tachtig procent op complexe benchmarks, waarbij een verschil van één of twee procentpunt meestal ruis is in plaats van een signaal van echte superioriteit. Desondanks kunnen gebruikers in de dagelijkse praktijk nog steeds de verschillen voelen. Claude blijft het meest capabele model voor algemeen gebruik voor agents die tools gebruiken. Bij puur coderen hebben andere concurrenten de achterstand ingelopen, en Gemini blinkt uit in puur redeneren en alledaagse gesprekken.
Xiaojun: Zijn deze mogelijkheden het resultaat van bewuste prioritering door de bedrijven, of is het een kwestie van technische beperkingen?
Yao Shunyu: Prioritering is een enorme factor. In het verleden, toen de verschillen tussen modellen op papier zichtbaar waren, stelde de bereidheid om een specifieke richting prioriteit te geven teams in staat om de nodige inspanningen te leveren voor het bouwen van de juiste datapijplijnen en infrastructuur. Het cureren van data kost enorm veel tijd en moeite. Momenteel spelen zowel prioritering als fundamentele definitiekwesties een rol. Wanneer een probleem niet duidelijk gedefinieerd is, komen de werkelijke prestatieverschillen tussen modellen vaak voort uit factoren waar we in eerste instantie niet eens aan zouden denken. Jaren geleden merkten onderzoekers bijvoorbeeld op dat modellen die getraind waren op webdata verrassend goed waren in het schrijven van code. Het bleek dat omdat GitHub-data van nature gestructureerd is en van een hogere standaard is dan typische webpagina's, de algehele kwaliteit van de pre-training data onbedoeld was verhoogd.
Productgrachten en de evolutie van AI-assistenten
Xiaojun: Wat vind je als onderzoeker in de frontlinie van de recente opwinding rond open-source AI computer-use agents zoals OpenClaw? Welke discussies vinden er plaats binnen de onderzoeksgemeenschap?
Yao Shunyu: Interessant genoeg lijkt de discussie buiten de sector intenser dan daarbinnen. Voor insiders in de sector is deze productvorm niet bijzonder verrassend. Binnen de topbedrijven hadden onderzoekers al vergelijkbare interne demo's en experimenten gebouwd; ze hadden ze alleen nog niet verpakt, gepolijst en op de markt gebracht als publieke consumentenproducten. De vroege versie van de code voor OpenClaw op GitHub was niet uitzonderlijk schoon, maar het was belangrijk omdat het de levensvatbaarheid van het concept aan het publiek bewees. Kort nadat deze mogelijkheid werd getoond, stapte de maker van OpenClaw over naar OpenAI. De grote AI-labs zullen snel volgen en deze mogelijkheden polijsten tot robuuste, consumentvriendelijke producten. Zelfs voordat OpenClaw werd uitgebracht, werkte Google actief aan vergelijkbare agents, maar grote bedrijven hebben van nature langere ontwikkelings- en releaseprocessen. Technisch gezien waren deze agent-mogelijkheden al levensvatbaar toen Claude 3.5 Opus werd uitgebracht, aangezien het superieure mogelijkheden voor tool-gebruik bezat in vergelijking met zijn tijdgenoten.
Xiaojun: Wat is het kwalitatieve verschil tussen eerdere agent-frameworks zoals Manus en nieuwere zoals OpenClaw? Waarom kozen beide ervoor om hun technologie te verkopen aan grotere spelers zoals Meta en OpenAI?
Yao Shunyu: Om eerlijk te zijn weet ik nog steeds niet precies wat het kwalitatieve verschil is of waarom oudere frameworks niet hetzelfde virale succes konden behalen; misschien kwam het neer op uitvoering en timing. Wat betreft de reden waarom ze ervoor kozen om te verkopen: het illustreert dat een AI-startup een gracht nodig heeft om op lange termijn te overleven, en momenteel ligt de primaire gracht aan de kant van het model. We hebben nog geen enkele consumentgerichte AI-native applicatie gezien die met succes een echt data-vliegwiel heeft opgebouwd. Afgezien van op ontwikkelaars gerichte agent-coderingstools zijn er maar heel weinig puur AI-native applicaties die massaal succes hebben geboekt. Chatbots zelf zijn grotendeels een interactief verlengstuk van traditionele zoekmachines. Ze voorzien in een vergelijkbare informatiebehoefte, maar bieden een zeer interactieve, iteratieve ervaring die antwoorden samenvat en destilleert.
Xiaojun: Bewijst de overname van deze 'wrapper'-applicaties door modelbedrijven dat startups niet gemakkelijk kunnen ontsnappen aan de zwaartekracht van de aanbieders van fundamentele modellen?
Yao Shunyu: Momenteel zijn er twee verschillende paden voor wrapper-startups om te overleven. De eerste is om ontsnappingssnelheid te bereiken door hypergroei. Als je snel genoeg groeit, heb je tegen de tijd dat de modelbedrijven je productvorm inhalen al de aandacht van de gebruiker veroverd en kun je beginnen met het trainen van je eigen gespecialiseerde modellen. Cursor is een uitstekend voorbeeld van deze strategie. Ze begonnen als een naadloze partner van Anthropic, maar toen Anthropic zijn eigen ontwikkelaarstools zoals Claude Code ontwikkelde, begon Cursor zijn eigen Composer-model te trainen, wat hen in een zeer competitieve relatie bracht. In productiviteits- en ontwikkelaarstools is de markt vaak een 'winner-takes-all'-dynamiek, wat een sterk gevoel van urgentie creëert voor zowel startups als modelaanbieders. Het tweede pad is om te opereren in een markt die klein genoeg is dat de grote modelbedrijven niet de moeite nemen om direct te concurreren. Midjourney is hier een goed voorbeeld van. Hoewel een bedrijf als Google gemakkelijk middelen zou kunnen toewijzen om na te bootsen wat Midjourney doet, is de marktomvang niet groot genoeg om de focus weg te halen van de kernmodellen voor algemeen gebruik.
Xiaojun: Als jij het was, welk pad zou je kiezen?
Yao Shunyu: Persoonlijk zou ik graag vol voor de enorme, één-op-tienduizend kans gaan. Maar realistisch gezien kun je daar niet van de ene op de andere dag komen, dus is het vaak de meer praktische strategie om eerst een kleinere niche met een hoog opwaarts potentieel veilig te stellen. Wat betreft overnames: wanneer grote bedrijven externe productteams kopen, is een aanzienlijk voordeel het verwerven van toptalent op het gebied van product en techniek, vooral in regio's als Azië. Hoewel de VS nog steeds voorop loopt in baanbrekend fundamenteel modelonderzoek, heeft China een diepe vijver van uitzonderlijk product- en technisch talent. Startups kunnen snel bewegen, rommelige code schrijven en experimentele functies lanceren. Grote ondernemingen worden geconfronteerd met enorme juridische, merk- en middelenbeperkingen, waardoor ze geen zeer experimentele producten kunnen verzenden die diepe systeemrechten op de computer van een gebruiker vereisen.
Scaling Laws en de mythe van beperkingen bij pre-training
Xiaojun: Wat zijn, staande in het eerste kwartaal van 2026, je persoonlijke verwachtingen voor het modellandschap in het komende jaar?
Yao Shunyu: Er zijn zoveel opwindende mogelijkheden. Aan de technische kant ben ik een groot voorstander van de filosofie van trainen met een eindige context, maar deze gebruiken alsof deze oneindig is. Dit betekent modellen trainen op beperkte contextlengtes, maar ze in staat stellen om tijdens inferentie met een bijna oneindig contextvenster te werken. Als we dit bereiken, zal dit volledig nieuwe toepassingen ontsluiten, zoals een continue persoonlijke assistent die constant met je communiceert, het gesprek dynamisch evalueert, onbelangrijke informatie verwijdert en cruciale context over lange perioden behoudt. Ik geloof dat we dit technisch gezien dit jaar zeker zullen bereiken. De sector heeft nog geen consensus bereikt over het exacte technische pad, maar we hebben meerdere veelbelovende ideeën die we actief testen in praktijkscenario's om de meest efficiënte aanpak te vinden.
Xiaojun: Heb je het gevoel dat het tempo van modelverbetering vertraagt?
Yao Shunyu: Helemaal niet. Het is moeilijk om de snelheidscurve te kwantificeren, want als je alleen naar standaard benchmarks kijkt, zal de vooruitgang natuurlijk lijken te vertragen naarmate de scores de honderd procent naderen. Het kwalitatieve verschil dat de gebruiker voelt, schaalt echter niet lineair met benchmarkwinsten. Van zeventig naar vijfenzeventig procent gaan op een complexe taak kan aanvoelen als een veel grotere sprong in bruikbaarheid dan van vijftig naar zestig procent. Als onderzoeker is mijn persoonlijke observatie dat het fundamentele leervermogen van de modellen sterker wordt. Taken waarvoor vroeger enorme technische inspanningen nodig waren om een model te onderwijzen, kunnen nu met veel minder wrijving worden bereikt. De bottleneck is niet langer het leervermogen van het model, maar ons vermogen om het probleem duidelijk te definiëren en hoogwaardige dataomgevingen te construeren.
Xiaojun: Waarom wordt het leervermogen sterker? Sommigen hebben betoogd dat de Scaling Law voor pre-training tegen een muur aanloopt.
Yao Shunyu: Mijn ervaring is dat pre-training scaling niet tegen een muur is aangelopen en ik zie geen tekenen van plateauvorming. Wanneer mensen beweren dat de Scaling Law zijn limiet bereikt, komt dit meestal door een van de drie dingen. Of ze geloven dat de fysieke limieten van het paradigma zijn bereikt, of ze geloven dat we geen bruikbare data meer hebben om verder te schalen, of ze hebben simpelweg een onopgemerkte bug in hun eigen implementatie. In de overgrote meerderheid van de gevallen waarin teams tegen een muur aanlopen, is dat de derde reden. In deze sector kan het repareren van een enkele subtiele bug in je scaling science of datapijplijn vooruitgang opleveren die veel groter is dan welke chique algoritmische truc dan ook. Wanneer je tegen een bug aanloopt en je gelooft dat het paradigma beperkt is, verklaar je dat je tegen een muur bent aangelopen. Als je gelooft dat het kan worden opgelost, blijf je graven. Daarom is systematisch probleemoplossend vermogen, waar zowel Gemini als Anthropic uitmuntend in zijn, zo cruciaal. Je moet schone ablatie-experimenten ontwerpen om elke variabele te isoleren en te testen.
Xiaojun: Wat is de primaire drijfveer van deze voortdurende vooruitgang: rekenkracht, data of algoritmen?
Yao Shunyu: Ze dragen allemaal bij, maar data en rekenkracht zijn sterk gecorreleerd; naarmate rekenkracht schaalt, heb je van nature meer data nodig en trek je die aan, en vice versa. Algoritmische doorbraken hebben de neiging om in fasen plaats te vinden. Wanneer je vastzit in een conceptuele bottleneck, is een algoritmische doorbraak absoluut cruciaal omdat het plotseling het onmogelijke mogelijk maakt, net zoals de uitvinding van de Transformer-architectuur dat deed. Zodra het raamwerk is vastgesteld, wordt algoritmische vooruitgang geleidelijker, gericht op het verbeteren van de reken- en data-efficiëntie. Binnen onze huidige, duidelijke raamwerken van pre-training en post-training blijven rekenkracht en data de primaire drijfveren. In onopgeloste wetenschappelijke domeinen zoals multimodale generatie is het paradigma echter nog niet vastgelegd, waardoor algoritmische innovatie daar de dominante factor is. Voor natuurlijke taal is het wetenschappelijke kader relatief duidelijk en ligt de uitdaging in de enorme technische uitvoering.
De explosie van AI-coderingstools
Xiaojun: Waarom is coderen de afgelopen maanden het snelst ontwikkelende toepassingsgebied voor AI-modellen geworden?
Yao Shunyu: Coderen heeft twee enorme voordelen die het perfect maken voor AI. Ten eerste heeft het een zeer objectief en goed gedefinieerd beloningssignaal. Als je een model vraagt om code te schrijven om een specifieke functie te implementeren, kun je eenvoudig tests uitvoeren om te zien of de invoer overeenkomt met de verwachte uitvoer. De feedbackloop is onmiddellijk en ondubbelzinnig. Ten tweede heeft coderen een ongelooflijk, decennialang datafundament in GitHub, dat een enorme opslagplaats biedt van hoogwaardige code geschreven door uitstekende programmeurs. Hierdoor kunnen onderzoekers zeer robuuste simulatieomgevingen bouwen. Vanuit productperspectief zijn de gebruikersvereisten voor coderen relatief enkelvoudig en gestandaardiseerd. In tegenstelling tot sociale media of gaming, waar de smaak van gebruikers zeer subjectief en divers is, zijn uitstekende programmeurs het er over het algemeen over eens wat schone, beknopte, structureel heldere en goed geabstraheerde code is. Deze consensus maakt het ontwikkelen van codeerproducten veel eenvoudiger.
Xiaojun: Welk percentage van je code wordt in je dagelijkse werk als onderzoeker door AI gegenereerd?
Yao Shunyu: Een conservatieve schatting is dat meer dan negentig procent van de ruwe code die ik gebruik door modellen is gegenereerd. Als ik minder conservatief ben, is het dichter bij de negenennegentig of honderd procent. Ik besteed echter nog steeds veel tijd aan het beoordelen, bewerken en verifiëren van de logica om ervoor te zorgen dat deze aansluit bij mijn exacte ontwerp. De kern van software-engineering is verschoven van het schrijven van syntaxis naar het ontwerpen van systeemarchitectuur, het definiëren van logica en het voorzien van het model van de juiste context en referentiebestanden. Het deel van de code dat het model niet kan schrijven, krimpt snel. Vergeleken met achttien maanden geleden is de efficiëntie van het implementeren van ideeën en het uitvoeren van onderzoeksexperimenten met twintig tot vijftig keer toegenomen. Je kunt meerdere experimentele ideeën parallel uitvoeren en het model de runs laten monitoren en de resultaten laten analyseren. Dit heeft mijn werkuren eigenlijk langer en intenser gemaakt; omdat de iteratiecyclus zo snel is, zijn er constant meer ideeën die ik onmiddellijk wil testen. Op het gebied van generatieve AI is niemand aan het 'kustelen'. Als je zelfgedreven bent en gepassioneerd bent over de technologie, is het tempo ongelooflijk veeleisend.
Xiaojun: Zullen programmeurs uiteindelijk volledig worden vervangen door AI?
Yao Shunyu: Ik geloof dat die dag zal komen, maar het zal een geleidelijk, gefaseerd proces zijn in plaats van een ontslag van alle ontwikkelaars van de ene op de andere dag. We kunnen dit al zien gebeuren. AI is een zeer gecentraliseerde technologie; het stelt een kleine groep zeer capabele individuen in staat om ongelooflijk productief te worden, maar het kan de unieke waarde van gemiddelde, beginnende ontwikkelaars verminderen. Het eindresultaat voor traditionele software-engineering zou kunnen zijn dat een duizendste van de mensen het werk van het hele verleden doet, tegen een aanzienlijk hogere vergoeding. Mijn advies aan programmeurs is om deze nieuwe tools te omarmen en zich te concentreren op het leren hoe ze effectief kunnen samenwerken met AI. Focus op systeemontwerp op hoog niveau, strategische planning en begrijpen hoe je technische werk integreert in een grote organisatie. AI kan specifieke codeblokken ongelooflijk goed schrijven, maar het opbreken van een enorm, ambigu project in actiegerichte, modulaire stappen is nog steeds een vaardigheid die door mensen wordt gedomineerd—althans voor nu.
Het evalueren van de kloof tussen Chinese en westerse AI-modellen
Xiaojun: Wat vind je van de recente successen van ByteDance op het gebied van multimodale generatie, zoals hun Seed-model? Zet dit het team bij Google DeepMind onder druk?
Yao Shunyu: Het brengt zeker enige druk met zich mee, vooral voor de teams die direct verantwoordelijk zijn voor multimodale generatie. Ik denk echter niet dat het een fundamentele paradigmaverschuiving weerspiegelt. ByteDance heeft historisch gezien sterke voordelen in gebruikersdata en productengineering, en ze voeren deze details ongelooflijk goed uit. Multimodale generatie blijft een zeer actief wetenschappelijk probleem waarbij de trainingsparadigma's nog niet volledig gestandaardiseerd zijn in de sector. Als ik moest gokken, komt de sterke prestatie van ByteDance voort uit superieure datacuratie en nauwgezette aandacht voor technische details. Wat betreft Wu Yonghui die het grote modelteam van ByteDance leidt: ik heb niet direct met hem samengewerkt, maar kijkend naar zijn eerdere bijdragen en code-commits bij Google, is hij een van de zeldzame, zeer senior leiders die nog steeds ongelooflijk scherpe technische vaardigheden behoudt.
Xiaojun: Als we in het eerste kwartaal van 2026 een momentopname van de sector maken, wordt de kloof in mogelijkheden tussen Chinese en westerse AI-modellen dan groter of kleiner?
Yao Shunyu: De absolute kloof in mogelijkheden wordt kleiner en Chinese modelontwikkelaars zijn ongelooflijk goed geworden in het bouwen van competitieve modellen ondanks ernstige hardware- en rekenkrachtbeperkingen. Of ze de kloof volledig kunnen dichten of westerse modellen kunnen overtreffen, blijft echter een open vraag. Het nadeel op het gebied van rekenkracht heeft Chinese labs gedwongen om zeer innovatief te worden op andere gebieden, zoals modeldistillatie en multi-agent trainingssystemen.
De dynamiek tussen harde en zachte distillatie
Xiaojun: De CEO van Anthropic bekritiseerde onlangs verschillende concurrenten voor het distilleren van data van hun modellen. Hoe kijk je naar de praktijk van modeldistillatie?
Yao Shunyu: Modeldistillatie is een publiek geheim in de sector, maar er is een groot verschil tussen brute-force distillatie en slimme, zachte distillatie. Brute-force, of harde distillatie, houdt in dat je simpelweg een enorme batch outputs neemt die zijn gegenereerd door een model als Claude en je eigen model direct op die tokens traint. Commercieel gezien is dit twijfelachtig, en intellectueel gezien is het enigszins dwaas omdat het laat zien dat een team niet weet wat ze willen bouwen; ze kopiëren slechts de distributie van iemand anders om hoger te scoren op standaard benchmarks. Aan de andere kant houdt zachte distillatie in dat je andere modellen gebruikt als assistenten of beoordelaars binnen je eigen eigenlijke datageneratiepijplijn. Dit is een fascinerende wetenschappelijke benadering. Het heeft sommige Chinese labs effectief veranderd in pioniers van multi-agent trainingssystemen, omdat ze diverse modeldistributies integreren in één samenhangend trainingsecosysteem. Doubao van ByteDance is vrij onderscheidend; hoewel het misschien niet overeenkomt met de rauwe redeneerintelligentie van Gemini of Claude, is de real-time stemgeneratie misschien wel de beste ter wereld. Ze hebben zwaar geoptimaliseerd voor hun specifieke consumentenbasis, waarbij ze prioriteit geven aan lage latentie en een boeiende gebruikerservaring boven rauwe benchmarkprestaties.
Xiaojun: Waarom hebben Amerikaanse bedrijven die real-time consumentenfuncties niet in dezelfde mate geprioriteerd?
Yao Shunyu: De primaire focus voor Amerikaanse modelontwikkelaars is het maximaliseren van werkefficiëntie en rauwe cognitieve intelligentie. In China is er een veel sterkere focus op de consumentenkant, waarbij producten worden gecreëerd die boeiend zijn en in het dagelijks leven passen. De Doubao-telefoon is bijvoorbeeld een uitstekend productconcept dat taken in real-time uitvoert, hoewel de onderliggende technische overhead zorgvuldig moet worden geoptimaliseerd om ervoor te zorgen dat de kosten voor het draaien van het model de waarde van de dienst die het levert niet overschrijden. Apple probeert deze ruimte voor consumentenassistenten ook aan te pakken via zijn partnerschap met Gemini, in het besef dat hoewel ze diep geven om Siri en hun AI-strategie, hun eigen modelontwikkeling achterblijft bij de frontlinie.
De toekomst van robotica en wereldmodellen
Xiaojun: Er is veel opwinding rond humanoïde robots. Heb je observaties over de roboticaruimte en hoe verhoudt dit zich tot de ontwikkelingstijdlijn van large language models?
Yao Shunyu: Ik heb naar enkele humanoïde robots en hun prijzen gekeken; de hardware-toeleveringsketen in China is ongelooflijk volwassen, waardoor deze fysieke platforms verrassend goedkoop zijn. Aan de softwarekant bevindt robotica zich echter nog steeds in het tijdperk van 'feature engineering'. Robots kunnen worden geoptimaliseerd om ongelooflijk goed te presteren in zeer specifieke, deterministische omgevingen, maar ze missen generaliseerbaarheid. Als je een robot traint om kleren op te vouwen of water in te schenken, abstraheert en generaliseert dat vermogen niet op natuurlijke wijze naar andere taken. Taalmodellen zijn die kritieke drempel overschreden waar het opschalen van het basismodel alle downstream-mogelijkheden tegelijkertijd verhoogt. Robotica heeft zijn GPT-1-moment nog niet bereikt; we hebben nog niet uitgevogeld hoe we het trainen van fysieke actiemodellen echt kunnen schalen. Veel roboticatlabs experimenteren nu met het gebruik van multimodale taalmodellen als basis, waarbij ze visie-taal-actiemodellen trainen om deze kloof te overbruggen. Het bezoeken van deze labs is ongelooflijk leuk—ze zijn veel dynamischer dan kantoren voor taalmodellen, met onderzoekers die constant fysieke data verzamelen en machines besturen.
Xiaojun: Wat is jouw definitie van een wereldmodel? Er lijkt aanzienlijke onenigheid in de sector over deze term.
Yao Shunyu: Inderdaad, vraag tienduizend mensen en je krijgt tienduizend verschillende definities. De wereldmodellen die door academische labs worden gebouwd, zijn heel anders dan de 'end-to-end'-modellen waar wij ons op richten. Voor Gemini wordt een wereldmodel 'end-to-end' getraind, zodat het niet alleen een statische video genereert op basis van een beschrijving, maar daadwerkelijk een fysiek scenario modelleert. Het model genereert een toestand, neemt een actie-input en voorspelt de daaropvolgende toestand als een directe functie van de vorige toestand en actie. Het bevindt zich nog in een zeer verkennende fase en we hebben nog geen unieke consensus in de hele sector over de ultieme vorm van een wereldmodel.
Yao Shunyu’s reis van theoretische natuurkunde naar kunstmatige intelligentie
Xiaojun: Laten we praten over je persoonlijke achtergrond. Je studeerde theoretische natuurkunde aan Tsinghua en Stanford voordat je overstapte naar AI. Hoe heb je die overstap gemaakt?
Yao Shunyu: Ik ben geboren in Dawukou, een kleine steenkoolmijnstad in Ningxia, maar verhuisde tijdens de basisschool met mijn ouders naar Shanghai. Ik zat op een relatief gewone middelbare school en ik was behoorlijk middelmatig toen ik jong was. Ik kwam niet via het elitaire olympiade-pad bij Tsinghua terecht. Op de middelbare school had ik de keuze tussen een reguliere klas op een van de vier beste middelbare scholen van Shanghai of meedoen aan de competitieve natuurkundeklas op Gezhi High School, die als underdog werd beschouwd. Ik koos voor de underdog-klas omdat ik ervan houd mezelf uit te dagen met dingen waar ik niet van nature goed in ben. Die beslissing leidde uiteindelijk tot de natuurkundeafdeling van Tsinghua. Tijdens mijn laatste jaar op de middelbare school stuurde ik brutaal een bericht naar het toelatingsbureau van Tsinghua met de vraag waarom ze onafhankelijke inschrijvingstests alleen openstelden voor studenten uit Peking. Ze stemden ermee in om ons het examen te laten maken, en ik werd toegelaten. Dat leerde me een enorme levensles: wees brutaal en vecht voor kansen, want als je het niet vraagt, is het antwoord altijd nee.
Xiaojun: Aan Tsinghua en Stanford werkte je aan de theorie van gecondenseerde materie en niet-Hermitische systemen. Kun je dat onderzoek in eenvoudige bewoordingen uitleggen?
Yao Shunyu: Ik zal proberen in mensentaal te spreken. In de basiskwantummechanica gaan we ervan uit dat geïsoleerde systemen een unitaire evolutie ondergaan die wordt beschreven door een Hermitische matrix, wat betekent dat de energietoestanden wiskundig zelfconsistent zijn. Echter, systemen in de echte wereld zijn nooit perfect geïsoleerd; ze wisselen constant informatie en materie uit met hun omgeving. Dit zijn open kwantumsystemen, beschreven door niet-Hermitische Hamilton-operatoren. Tijdens mijn bacheloronderzoek merkten we dat onze analytische berekeningen voor deze systemen niet overeenkwamen met onze numerieke simulaties. We ontdekten uiteindelijk dat in niet-Hermitische systemen de energietoestanden zich fysiek kunnen ophopen aan de randen van het materiaal, een fenomeen dat we systematisch hebben gemodelleerd en waarvoor we een wiskundig kader hebben opgesteld. Dat onderzoek leerde me een cruciale les die direct van toepassing is op AI: vertrouw niet te veel op pure theorie en gebruik numerieke simulaties om je begrip van complexe systemen constant te verifiëren en te verfijnen.
Xiaojun: Waarom koos je ervoor om de hoge-energiefysica te verlaten tijdens je PhD aan Stanford?
Yao Shunyu: Hoge-energiefysica is ongelooflijk mooi en intellectueel uitdagend, maar het heeft zich ontwikkeld tot een punt waarop theorieën tijdens ons leven niet experimenteel kunnen worden geverifieerd. Zonder empirische data leunt het veld zwaar op wiskundige zelfconsistentie en de subjectieve meningen van senior academici. Ik realiseerde me dat ik mijn leven niet wilde wijden aan het dienen van het academische establishment van een veld dat geen objectieve feedback uit de echte wereld had. Ik wilde werken aan dingen die de wereld actief konden beïnvloeden en duidelijke, objectieve criteria voor succes hadden. Tijdens de laatste jaren van mijn PhD verkende ik kwantumcomputing en AI. Ik realiseerde me dat de primaire bottleneck in kwantumcomputing experimentele hardware-engineering is, wat niet mijn sterke punt is. AI is echter een digitale zandbak waar je een idee kunt bedenken en onmiddellijk numerieke experimenten kunt uitvoeren om het te verifiëren. Het voelde erg als de gouden eeuw van de negentiende-eeuwse natuurkunde, waar theoretische speculatie en actieve experimenten hand in hand gingen.
Werken aan Claude 3.7 en 4.5 bij Anthropic
Xiaojun: Hoe begon je reis bij Anthropic en hoe was de cultuur tijdens de ontwikkeling van Claude 3.7 en 4.5?
Yao Shunyu: Ik had voormalige academische collega's bij Anthropic, dat historisch gezien veel onderzoekers met een achtergrond in theoretische natuurkunde heeft aangenomen. Toen ik eind 2024 solliciteerde, was het team voor 'reinforcement learning' erg klein—ongeveer elf mensen in het kernteam. Destijds was RL voor grote taalmodellen nog erg onvolwassen; OpenAI's o1 was nog niet publiekelijk uitgebracht en de meeste labs probeerden nog steeds uit te vogelen hoe ze grootschalige RL stabiel konden maken. De teammanager, die ook een achtergrond in natuurkunde had, nodigde me uit om aan deze schaaluitdagingen te werken. Ik heb mijn eigen basis GPT-systemen gemaakt met behulp van open-source projecten zoals Andrej Karpathy's nanoGPT om me voor te bereiden op de technische interviews, en kwam kort daarna bij het team.
Xiaojun: Wat maakte Anthropic uniek als onderzoeksorganisatie in die periode?
Yao Shunyu: Anthropic heeft een zeer effectieve, 'top-down' besluitvormingsstructuur. Omdat de technische kernleiders zoals Jared Kaplan en Sam McCandlish ook mede-oprichters van het bedrijf zijn, bezitten ze een enorme technische geloofwaardigheid en zakelijk gezag. Wanneer ze een duidelijk technisch signaal ontvangen, kunnen ze het hele bedrijf onmiddellijk afstemmen om 'all-in' te gaan op een specifieke inzet, zoals het prioriteren van codeermogelijkheden. Dit is voor andere bedrijven erg moeilijk te kopiëren. Bij OpenAI verstoorden interne politieke strijd deze afstemming, en bij Google is de organisatie historisch gezien veel meer 'bottom-up' en gedistribueerd. Het mede-oprichtersteam van Anthropic heeft een diep niveau van onderling vertrouwen dat is opgebouwd door samen gevechten te leveren sinds hun dagen bij OpenAI, wat de organisatie ongelooflijk reactief en gefocust houdt.
Xiaojun: Hoe werd Claude 3.7 ontwikkeld en welke rol speelde jij in dat project?
Yao Shunyu: Vóór Claude 3.7 was post-training grotendeels een proces van het patchen van vooraf getrainde modellen in plaats van een schaalbaar paradigma op zich. De doorbraak kwam toen de sector uitvond hoe ze reinforcement learning konden schalen door gebruik te maken van schone, objectieve omgevingen met duidelijke feedbacks-signalen—specifiek software-engineering-omgevingen. De kernontwikkeling van Claude 3.7 duurde ongeveer vier tot vijf maanden. Mijn werk was gericht op de algoritmische stabiliteit van grootschalige RL en het bouwen van de modulaire trainingsomgevingen. AI-ontwikkeling op deze schaal is echter een enorme, zeer collaboratieve systeem-engineering-inspanning. Het tijdperk van individueel heldendom in AI is voorbij; de technologie is een niet te stoppen golf en onderzoekers zijn simpelweg surfers die proberen de top te bereiken. Als één individu een specifieke ontdekking niet doet, zal een ander team in een goed gefinancierd lab dat onvermijdelijk een paar weken later doen.
De culturen van OpenAI, Anthropic en Google DeepMind contrasteren
Xiaojun: Waarom besloot je Anthropic te verlaten om bij het Gemini-team van Google DeepMind te gaan werken?
Yao Shunyu: Er waren verschillende factoren. Ten eerste groeide Anthropic erg snel, meer dan een verdubbeling van het personeelsbestand naar bijna tweeduizend mensen terwijl ik daar was. Deze snelle groei zorgde voor aanzienlijke culturele verwatering en interne wrijving. Persoonlijk houd ik niet van culturen waarin mensen hun dagen op Slack doorbrengen met praten over grootse, abstracte principes in plaats van het harde, nauwgezette engineeringwerk te doen dat nodig is om ideeën te implementeren. Ten tweede was ik het niet eens met de steeds extremere en emotionelere anti-China politieke houding die door de leiding van Anthropic werd gepusht. Ten slotte is Anthropic erg gefocust op een smalle productset, wat betekent dat ze niet investeren in infrastructuuronderzoek op laag niveau of multimodale generatie. Ik wilde leren van een bredere set menselijke geesten en de vrijheid hebben om diverse onderzoeksrichtingen te verkennen, en Google DeepMind biedt een ongeëvenaarde omgeving voor die schaal van onderzoeksvrijheid.
Xiaojun: Veel onderzoekers verlaten Google omdat ze het gevoel hebben dat de bedrijfsstructuur te traag of beperkend is. Waarom heb jij de tegenovergestelde mening?
Yao Shunyu: Het hangt er volledig vanaf wat je wilt. Als je doel is om je specifieke idee onmiddellijk in een consumentenproduct te forceren, kan de enorme omvang en de complexe releaseprocessen van Google erg frustrerend zijn. Maar als je doel is onderzoeksvrijheid en toegang tot technisch toptalent over een enorm spectrum van technologieën, is er geen betere plek. De technische reserves van Google zijn ongeëvenaard. Bovendien heeft het vroege succes van OpenAI Google eigenlijk gered door de reus wakker te schudden. Het dwong Google om zijn besluitvorming te reorganiseren en te stroomlijnen, waardoor pre-training werd getransformeerd in een zeer gedisciplineerd, voorspelbaar engineeringproces dat volledig binnen de comfortzone van Google opereert.
Waarom AI-onderzoek fundamenteel eenvoudig is
Xiaojun: Je hebt de controversiële uitspraak gedaan dat AI fundamenteel eenvoudig is en geen uitzonderlijke intelligentie vereist. Kun je uitleggen wat je daarmee bedoelt?
Yao Shunyu: In de natuurkunde kun je simpelweg niet verder als je geen experimentele data op een specifieke energieschaal hebt. AI wordt niet geconfronteerd met deze fundamentele beperking. Het is een zeer empirisch veld waar we niet worden geblokkeerd door een gebrek aan ideeën, maar eerder door de tijd en rekenkracht die nodig zijn om de duizenden ideeën die we al hebben te testen. Het is fundamenteel eenvoudig omdat je geen briljante, paradigmaverschuivende inzichten nodig hebt om vooruitgang te boeken; je moet uitzonderlijk betrouwbaar, detailgericht en systematisch zijn in je uitvoering. Je moet schone code schrijven, subtiele bugs elimineren en je empirische data zorgvuldig analyseren. De meeste doorbraken zijn het resultaat van collectieve, gedisciplineerde engineering in plaats van individueel genie.
Xiaojun: Hoe ontwerp je je interviewproces om betrouwbare, hoogwaardige AI-onderzoekers te identificeren?
Yao Shunyu: Ik heb een interviewtaak ontworpen waarbij de kandidaat vierentwintig uur de tijd krijgt om vanaf nul een compleet reinforcement learning-project te bouwen en te trainen. Ze moeten het model, de data en het algoritme kiezen en vervolgens een uur lang hun implementatie met mij bespreken. In het moderne AI-tijdperk is het schrijven van de ruwe code eenvoudig omdat de kandidaat AI kan gebruiken om het te doen. De echte test is of ze het systeem dat ze hebben gebouwd echt begrijpen. Als ze de AI blindelings alles laten genereren zonder diep, systematisch begrip, zullen ze onmiddellijk falen tijdens onze technische discussie. Het test ook hun toewijding en honger—of ze bereid zijn een nacht door te halen om onder strakke beperkingen een uitzonderlijk resultaat te leveren.
Engineering-leiderschap en het beheren van grootschalige AI-projecten
Xiaojun: Hoe organiseren verschillende labs hun onderzoeksteams om de afwegingen tussen pre-training en post-training te beheren?
Yao Shunyu: Zowel Anthropic als Google onderhouden aparte, toegewijde teams voor pre-training en post-training. De structuur van OpenAI is historisch gezien vloeiender en soms chaotisch geweest, waarbij hun post-training-, reinforcement learning- en productteams af en toe overlappen in hun verantwoordelijkheden. Een effectieve organisatiestructuur berust uiteindelijk op het hebben van een technisch leider met enorme geloofwaardigheid. Deze leider moet het praktische vermogen hebben om in de frontlinie te stappen en kritieke technische branden te blussen als er iets misgaat, maar ook de tolerantie hebben om diverse, verkennende ideeën te begrijpen en te ondersteunen die ze zelf misschien niet hadden bedacht. Google heeft hierin een sterke balans gevonden, waarbij leiders als Koray Kavukcuoglu de kernprojecten van Gemini beheren, terwijl Demis Hassabis zich richt op bredere wetenschappelijke toepassingen zoals medicijnontwikkeling.
Xiaojun: Wat is het concurrentievoordeel van Google als het gaat om aangepaste hardware zoals TPU's versus de industriestandaard NVIDIA GPU's?
Yao Shunyu: Vanuit puur hardwareperspectief is geen van beide inherent superieur voor grootschalige implementaties. Het primaire voordeel van GPU's is hun volwassen, open-source software-ecosysteem, terwijl TPU's vereisen dat Google zwaar investeert in het bouwen van zijn eigen aangepaste compilers en infrastructuur. Op de schaal van honderdduizenden chips is deze software-investering echter volledig gerechtvaardigd. De filosofieën achter het architectonisch ontwerp zijn heel anders. NVIDIA's GPU-pods focussen op ongelooflijk snelle NVLink-interconnects binnen een relatief kleine node van kaarten. Google's TPU's gebruiken een 3D Torus-netwerktopologie, waarbij ze wat snelheid van paarsgewijze interconnectie opofferen om enorme aantallen kaarten direct binnen één cluster te koppelen. Als je compilers en data-sharding-strategieën goed genoeg zijn geschreven om deze topologie te benutten, kun je een enorme geheugencapaciteit bereiken en communicatiebottlenecks tijdens grootschalige training aanzienlijk verminderen.
De toekomstverwachting voor LLM-paradigma's en carrièreadvies voor programmeurs
Xiaojun: Is het voor jonge mensen die vandaag het AI-veld betreden nog steeds een 'blue ocean' van kansen?
Yao Shunyu: Puur natuurlijke taalverwerking en standaard LLM-scaling zijn geen 'blue oceans' meer; de laatste trein is al vertrokken en het landschap wordt gedomineerd door enorme, geconsolideerde engineeringteams. AI is echter een ongelooflijk uitgestrekt domein. Er zijn enorme kansen in multimodale generatie, fysieke robotica en het gebruik van AI om fundamentele wetenschappelijke en wiskundige problemen op te lossen. De beste keuze voor jonge onderzoekers is niet om de luidste trend van vandaag na te jagen, maar om zich te concentreren op de onopgeloste, verwaarloosde uitdagingen van morgen.
Xiaojun: Wat zijn je eigen persoonlijke plannen voor de toekomst?
Yao Shunyu: Ik zal waarschijnlijk niet voor altijd bij een enorm technologiebedrijf blijven. Ik wil mezelf blijven uitdagen, moeilijke problemen vinden om op te lossen en nieuwe technische domeinen leren. Op dit moment is mijn hoogste prioriteit om onze ML-codering en 'long-horizon' trainingssystemen in een zeer stabiele, productiegereede staat te krijgen. Zodra dat is bereikt, zal ik op zoek gaan naar de volgende moeilijke uitdaging om aan te pakken.
Xiaojun: Elke gast in onze show beveelt een boek aan dat hen diep heeft beïnvloed. Wat zou je ons publiek aanraden?
Yao Shunyu: Ik ben eerlijk gezegd niet erg belezen en lees niet graag traditionele boeken. Het meeste wat ik lees zijn professionele onderzoeksrapporten. Ik heb echter onlangs de autobiografie van Hideki Yukawa, de Nobelprijswinnaar in de natuurkunde, gelezen, getiteld *Tabibito*, wat vertaald 'De reiziger' betekent. Het is een zeer authentieke en troostende blik op een zeer succesvolle wetenschapper die in zijn jeugd worstelt met zelftwijfel en uitdagingen. Als je een geweldige fictie-aanbeveling wilt, raad ik de Japanse roman *From the New World* ten zeerste aan.
Xiaojun: Dank je, Shunyu, voor het delen van je ongelooflijk directe en waardevolle inzichten met ons vandaag.
Yao Shunyu: Dank je. Het was een genoegen om met je te praten.