DruckFin

Yao Shunyu: Pre-training is nog lang niet uitgeput, AI-onderzoek is fundamenteel simpel en het tijdperk van het individuele genie is voorbij

Voormalig onderzoeker bij Anthropic en Google DeepMind over de training van Claude 3.7, 4.5 en Gemini 3 — Opgenomen in maart 2026

Yao Shunyu arriveerde voor het interview met een bril met amberkleurige glazen die van kleur veranderen onder invloed van het licht. Er zijn twee Yao Shunyus in de AI-kringen van Silicon Valley, beiden afgestudeerd in dezelfde lichting aan de Tsinghua-universiteit. De eerste stapte in 2025 over van OpenAI naar Tencent. De tweede, onze gast van vandaag, verruilde in datzelfde jaar Anthropic voor Google DeepMind. De afgelopen twee jaar droeg hij bij aan sleutelmodellen zoals Claude 3.7, 4.5 en Gemini 3. Zijn carrièrepad vertelt een groter verhaal over hoe AI-onderzoek is geëvolueerd van een tijdperk van individuele genialiteit naar een tijdperk van collectieve executie.

De meest controversiële stelling: de vooruitgang in pre-training is niet vertraagd

Als onderzoeker in de frontlinie in het eerste kwartaal van 2026 biedt Yao een perspectief dat haaks staat op het heersende narratief. "Ik denk van niet," zegt hij stellig op de vraag of de verbetering van modellen afvlakt. "Mijn ervaring is dat dit niet het geval is. En ik zie ook voor de komende vier maanden geen enkel teken dat dit zal stoppen."

Deze visie is enigszins controversieel. Enkele maanden geleden discussieerden velen over de vraag of de Scaling Law zijn limiet had bereikt. Yao is eenduidig: dat is niet zo. "Mijn vermoeden is dat wanneer iemand denkt dat een patroon zijn limiet heeft bereikt, er sprake is van een van deze twee situaties. Eén situatie is dat ze het gevoel hebben dat het toepassingsgebied van dit patroon zijn grens heeft bereikt. Een andere mogelijkheid is dat deze persoon vindt dat aan een van de voorwaarden niet langer kan worden voldaan, zoals dat data tegen een muur is aangelopen. Maar er is eigenlijk een derde mogelijkheid: er zit een bug in hun werk die ze zelf nog niet hebben opgemerkt."

Volgens Yao's observaties loopt de overgrote meerderheid van de mensen die tegen een muur aanlopen vast om die derde reden. "Een mogelijkheid is bijvoorbeeld dat bij het werken aan Scaling Laws bepaalde wetenschappelijke aannames niet helemaal klopten. Of er is simpelweg een bug. Ik denk niet dat dit verrassend is in deze sector. Vaak levert het herstellen van één enkele bug veel grotere vooruitgang op dan allerlei ingewikkelde trucs."

Pre-training is de afgelopen maanden juist sterker geworden, onthult Yao. "Model pre-training is de afgelopen maanden daadwerkelijk sterker geworden. Mijn gevoel is dat ik ook voor de komende vier maanden geen enkel teken van een einde zie." Op de vraag waarom mensen denken dat de limiet is bereikt, zegt hij: "Ik weet uiteraard niet waarom mensen dat denken, omdat ik zelf niet het gevoel heb dat die limiet is bereikt."

Wat drijft de vooruitgang: data, rekenkracht of algoritmen?

Over de vraag wat de capaciteiten van modellen drijft, gelooft Yao dat alle drie bijdragen, maar dat data en rekenkracht (compute) sterk gecorreleerd zijn. "Wanneer je rekenkracht toeneemt, trek je natuurlijk meer data aan. Wanneer data toeneemt, heb je natuurlijk meer rekenkracht nodig." Wat betreft algoritmen stelt hij dat algoritmische vooruitgang vaak faseovergangen kent: er is een fase waarin je nog niet weet wat je moet doen en algoritmen cruciaal zijn. Maar na het ontdekken van het belangrijkste algoritmische inzicht worden verbeteringen geleidelijk.

"Neem bijvoorbeeld de pre-training van taalmodellen: die algoritmische sprong was de ontwikkeling van de Transformer. Maar nadat de Transformer was ontdekt, is het vooral geleidelijk en soepel gegaan," legt hij uit. Binnen relatief heldere kaders zoals pre-training en post-training zijn de belangrijkste drijfveren inderdaad rekenkracht en data. Maar op andere gebieden, zoals multimodale generatie, is het nog steeds een wetenschappelijk probleem dat niet volledig is doorgrond.

Yao verwerpt het idee dat AI tegen fundamentele grenzen aanloopt. "Ik heb niet het gevoel dat AI mensen het idee geeft dat het tegen een muur aanloopt, omdat je ten eerste veel dingen kunt proberen. Ten tweede is het niet zo dat iedereen geen ideeën meer heeft. Het is vaker zo dat er te veel ideeën zijn en dat je ze een voor een moet testen." Hij voorspelt dat AI zeer binnenkort, binnen zes tot twaalf maanden, zelf experimenten zal gaan uitvoeren—niet alleen code schrijven en experimenten draaien, maar ook resultaten analyseren, nieuwe hypothesen voorstellen, nieuwe code ontwerpen en nieuwe experimenten uitvoeren in een volledige cyclus.

Hoe Anthropic inzette op coderen

Yao kwam in september 2024 bij Anthropic, precies op het moment dat het bedrijf zich opmaakte voor zijn belangrijkste koerswijziging. Destijds was het doel helder: grootschalige reinforcement learning toegepast op coderen. "Ik denk dat toen ik kwam, iedereen al wel had gezien dat dit kon en dat het belangrijk was. Maar men wist niet precies hoe. En toen ik binnenkwam, was ik samen met iedereen aan het onderzoeken hoe we dit moesten aanpakken."

De oorsprong van deze inzet ligt bij Claude 3. Nadat dat model was uitgebracht, discussieerden velen op Twitter dat Claude 3 beter code leek te schrijven dan GPT-4. "Dus in staat zijn om één belangrijk ding beter te doen dan GPT-4 was behoorlijk indrukwekkend," herinnert Yao zich. Dit was marktfeedback die Anthropic zeer serieus nam.

Maar waarom specifiek coderen? Yao wijst op twee grote voordelen. "Het eerste voordeel is dat het beloningssignaal—oftewel het feedbacksysteem—zeer goed gedefinieerd is. Een software-engineeringtaak is vaak: ik moet code schrijven om een functie te implementeren. Dit is zeer eenvoudig te testen. Als je input en output overeenkomen, betekent dit dat je implementatie succesvol is." Het tweede voordeel is data: GitHub heeft decennialang hoogwaardige code van uitstekende programmeurs verzameld, wat een enorme basis vormt voor het bouwen van omgevingen.

Het resulterende model, Claude 3.7, werd een keerpunt voor Anthropic's post-training. "Vóór 3.7 bevond post-training zich in een relatief kleinschalige fase, meer zoals het oplappen van dingen," legt Yao uit. In die tijd had niemand echt door hoe post-training opgeschaald moest worden. Maar in die periode realiseerden OpenAI, Anthropic en zelfs het Chinese DeepSeek zich hoe ze dit moesten aanpakken: "Je moet de juiste omgeving vinden waar het feedbacksysteem helder genoeg is en de omgeving zelf een sterke databron is. En dan kun je de training zeer stabiel maken. Dan werkt het."

De ontwikkeling van 3.7 naar 4.5 omvatte zowel pre-training als post-training op veel grotere schaal, hoewel Yao opmerkt dat er qua paradigma niets fundamenteels veranderde. De sleutel was systematische executie op schaal.

Anthropic's unieke organisatorische voordeel

Wat stelde Anthropic in staat om zo besluitvaardig te handelen op het gebied van coderen? Yao wijst op de ongebruikelijke organisatiestructuur van het bedrijf. "Anthropic als bedrijf kan dit relatief top-down mechanisme implementeren, dat is iets heel unieks." De cruciale factor is dat de persoon die technische beslissingen neemt, ook de beslisser van het bedrijf moet zijn. "Je moet technisch overtuigend zijn, dan kun je de onderzoekers onder je overtuigen om dit te doen. Aan de andere kant moet je de beslisser bij het bedrijf zijn, je moet verantwoordelijkheid kunnen nemen voor het bedrijf."

Anthropic heeft dit mee: de technische leiders, Jared Kaplan en Sam McCandlish, zijn beiden medeoprichters. "Zij nemen deze beslissing zelf, het is hun bedrijf. Dus ze hebben de autoriteit om dit top-down te doen." Yao vergelijkt dit met OpenAI: "Toen Ilya daar was, was het misschien mogelijk. Maar Ilya leek later, om welke reden dan ook, het vermogen om beslissingen te nemen te hebben verloren. En daarna vertrok hij."

Toen Yao bij Anthropic kwam, telde het bedrijf in totaal zo'n zeven- tot achthonderd mensen. Zijn eerste indruk was er een van zeer sterke executie en een relatief top-down structuur. "Het is gewoon een relatief top-down bedrijf. Dus nadat veel dingen zijn besloten, gaan ze er volledig voor." De sfeer onder medewerkers was uitstekend—iedereen kende elkaar en er werd geen informatie achtergehouden.

Het oprichtersteam van het bedrijf is intact gebleven, wat Yao als cruciaal beschouwt. "Niemand heeft het bedrijf verlaten. Als je naar hun verleden kijkt, zijn ze een groep mensen die echt samen de strijd zijn aangegaan. Ze kwamen allemaal voort uit hun vorige omgeving, ze waren allemaal voormalig OpenAI-medewerkers." Velen waren co-auteurs van sleutelpublicaties zoals Scaling Law en GPT-3. "Het zijn mensen die samen in de loopgraven hebben gestaan. Ik denk dat onderling vertrouwen nog steeds heel erg belangrijk is."

Waarom coderen een vlucht nam en wat er nu komt

Het codeerscenario is in snelle ontwikkeling sinds Claude 3.5 (of 3.6, zoals sommigen de bijgewerkte versie noemden) werd uitgebracht. Volgens Yao's conservatieve schatting is 90% van de code die hij vandaag schrijft door AI gegenereerd. "Als ik niet conservatief ben, misschien wel 99% of 100%. De resterende 10% is wat het niet kan schrijven of waarom ik het niet liet schrijven."

Wat het niet kan schrijven, wordt steeds minder. Ongeveer anderhalf jaar geleden kon alleen Claude daadwerkelijk software-engineeringcode schrijven, en zelfs toen had het model veel gebreken. "Soms concentreerde het zich bij het schrijven van code alleen op dat ene bestand, en besteedde het niet veel aandacht aan de relaties tussen meerdere bestanden. En als een klassedefinitie vele lagen diep begraven lag, kon het model die waarschijnlijk niet vinden. Nu denk ik dat dit steeds minder gebeurt."

De efficiëntiewinst is dramatisch. Vergeleken met een jaar of zelfs anderhalf jaar geleden kan de efficiëntie van het uitvoeren van experimenten en het implementeren van ideeën 20 of zelfs 50 keer hoger liggen. "Het kan behoorlijk bizar zijn. Je kunt er verschillende tegelijk openen en je hebt meerdere ideeën en test ze gelijktijdig. En soms kan het model je zelfs helpen bij het monitoren van experimenten, het monitoren van resultaten, enzovoort."

Maar dit heeft de werkuren niet verkort—het heeft ze juist verlengd. "Omdat de ontwikkelingssnelheid is toegenomen, wil je steeds meer proberen. Er zijn steeds meer ideeën om te testen." Yao komt meestal rond 10 uur 's ochtends op kantoor en blijft tot 10 of 11 uur 's avonds als hij in de VS is. "In het veld van GenAI kan niemand het zich veroorloven om op de automatische piloot te varen."

Vooruitkijkend gelooft Yao dat uitmuntendheid in coderen meer zal vereisen dan alleen technische kracht. "Goede programmeurs in de toekomst zullen technisch gezien zeker heel sterk zijn. Want als je technisch zwak bent, is er geen reden waarom AI je niet kan vervangen. Maar technisch sterk zijn is misschien niet het enige—het zal geen noodzakelijke voorwaarde zijn, het is misschien een voldoende voorwaarde." Wat zal tellen is begrijpen hoe je werk in een grote organisatie past, een sterk vermogen om complexe taken op te splitsen voor AI, en misschien wel het belangrijkste: het vermogen om je aan te passen naarmate AI-capaciteiten blijven evolueren.

Van natuurkunde naar AI: het verwerpen van individueel heldendom

Yao's weg naar AI was onconventioneel. Hij studeerde theoretische fysica van gecondenseerde materie als bachelor aan Tsinghua, met een focus op niet-Hermitische systemen en open kwantummechanica. Zijn onderzoek naar topologische fenomenen in open kwantumsystemen leidde tot belangrijk werk dat een nieuw kader schepte voor het beschrijven van dergelijke systemen. Maar ondanks dit succes veranderde hij voor zijn PhD aan Stanford van richting om zich op hoge-energiefysica te storten.

"Dit is de zwakte van de menselijke natuur. Ik heb het gevoel dat ik mezelf altijd graag uitdaag met dingen die ik niet ken," legt hij uit. Terugkijkend ziet hij zijn PhD als een periode waarin hij persoonlijk veel heeft geleerd, maar "voor deze wereld heeft het geen enkele bijdrage geleverd." De hogere-energietheorie was ontwikkeld tot het punt waarop experimenten het tempo niet meer konden bijhouden. Vooruitgang hing af van wiskundige zelfconsistentie in plaats van experimentele validatie, en "wanneer dit veld volledig verstoken is van experimenten en objectieve standaarden, verschijnt er zeker niet slechts één zelfconsistent kader. Wie het dan goed doet en wie niet, hangt eigenlijk af van de subjectieve oordelen van wat oudgedienden in het veld."

Dit inzicht leidde hem ertoe werk te zoeken met "relatief objectieve evaluatiecriteria" of "dingen die impact kunnen hebben op deze wereld." Tussen kwantumcomputing en AI koos hij voor AI, omdat de grootste bottleneck van kwantumcomputing experimentele implementatie was, niet algoritmisch ontwerp. "AI gaat meer over het hebben van een idee en dan kun je wat cijfers gebruiken om het te verifiëren. Dit numerieke aspect in AI is misschien het trainen van een model of zoiets. En dit lijkt eigenlijk behoorlijk op het doen van natuurkunde."

Wat hij in AI vond, was iets fundamenteels: "Ik denk dat AI als veld fundamenteel simpel is." In tegenstelling tot de natuurkunde, waar je een theorie op een bepaalde energieschaal niet kunt begrijpen zonder experimentele data op die schaal, "is AI niet gebonden aan deze beperking. Het maakt niet uit of je het niet begrijpt, het kan nog steeds vooruitgaan. En bovendien is het feit dat ik elk experiment kan doen dat ik kan bedenken. Het is alleen zo dat ik misschien wat tijd nodig heb om de rekenkracht op te schalen of de infrastructuur klaar te krijgen, maar er is geen fundamentele moeilijkheid."

Deze eenvoud heeft diepgaande implicaties. "Ik denk dat in dit tijdperk de belangrijkste eigenschap is om betrouwbaar te zijn, oog voor detail te hebben en verantwoordelijkheid te nemen voor wat je doet. Dat zijn de belangrijkste eigenschappen." Op de vraag of AI hersens vereist, is Yao bot: "Vereist niet veel hersens. Echt niet veel hersens."

Dit wereldbeeld vormt zijn meest controversiële standpunt: "Ik denk dat het tijdperk van individueel heldendom voor taalmodellen waarschijnlijk voorbij is." Hij dateert dat tijdperk tot het Transformer-moment. "Nadat die technologie was gevonden, is het aan de kant van het model waarschijnlijk lange tijd meer gegaan over collectivisme—of deze groep kan samenwerken, of ze samen hun tijd en energie kunnen inzetten voor een gemeenschappelijk doel. Dat is het allerbelangrijkste."

Wanneer gevraagd naar zijn persoonlijke bijdragen aan modellen zoals Claude 3.7 of Gemini 3, wijst Yao dit consequent van de hand. "Ik denk dat mijn persoonlijke bijdrage, ikzelf, mijn bijdrage aan welk model dan ook, mijn verklaring is altijd: ik heb het gevoel dat ik niet zo belangrijk ben voor dat ding. Ik denk dat ik vooral veel geluk had dat ik de kans kreeg om op dat moment bij een belangrijk project te komen en wat dingen te doen." Hij legt uit: "Ik denk dat iedereen nu een surfer is. In essentie is het een golf, niet jij de surfer. Het is AI, dit ding zelf is die golf. Het zal vooruitgaan, of je nu op die golf surft of niet."

Google's comeback: van chaos naar technische uitmuntendheid

Yao verliet Anthropic in september 2025 voor Google DeepMind, niet aangetrokken door het publieke succes van Gemini 2.5, maar door de mensen en de kans om andere dingen te leren. "Ik was het niet echt eens met de anti-China-houding van Dario," merkt hij op als een factor, die misschien 40% van zijn beslissing uitmaakte. Maar belangrijker nog, hij wilde werken aan dingen die Anthropic niet deed—multimodale generatie, engineering-infrastructuur op lager niveau en leren van een bredere groep mensen.

Wat hij bij Google aantrof, was een organisatie die uit de chaos kwam. In de beginperiode was pre-training volgens beschrijvingen van collega's "zeer chaotisch." Maar tegen de tijd dat Yao arriveerde, waren de dingen veranderd. "De organisatie heeft nu meer duidelijkheid. Zodra de organisatie helder is, is vooral pre-training nu heel, heel duidelijk. Dat wil zeggen: wie is waarvoor verantwoordelijk, en op elk punt, wie is de verantwoordelijke persoon bij elke node. Deze dingen zijn heel helder."

Deze helderheid, gecombineerd met de sterke technische achtergrond en systematische aanpak van Google, maakte pre-training "iets heel, heel controleerbaars, iets voorspelbaars. Je kunt weten dat de volgende generatie niet slecht zal zijn." De kracht van Google ligt in het vinden van een extreem eenvoudige productvorm waarbij iedereen er hetzelfde uitziet, en dan meedogenloos concurreren op technologie. "Dat is precies waar Google goed in is. Omdat zoekmachines precies zo zijn. Iedereen heeft hetzelfde zoekvak, één knop, maar het zoekt gewoon sneller dan jij en nauwkeuriger dan jij. Daar kun je niets aan doen."

Het organisatiemodel verschilt fundamenteel van dat van Anthropic. Terwijl Anthropic top-down opereert voor startups die inzetten op specifieke richtingen, opereert Google meer bottom-up met reserves op elk gebied. "Grote bedrijven zeggen meer: als dit soort relatief deterministische dingen zoals pre-training al een relatief deterministisch paradigma zijn, dan maakt Google er misschien meer een engineeringproject van. Google's managementvermogen op het gebied van engineering is zeer sterk."

Twee gebeurtenissen zorgden voor de marktdoorbraak van Gemini: Nano Banana en Gemini 3, vlak na elkaar. "Als er alleen Gemini 3 was geweest, had het waarschijnlijk niet zulke goede resultaten gehad. Want wanneer je marktaandeel minder dan 10% is, of je model nu iets beter of slechter is, verspreidt het zich gewoon te langzaam. Maar wat Nano Banana deed was: het ging viraal in de markt, het was een enorme hit. Daarna downloadden een ton mensen de Gemini-app. En toen werd Gemini 3 direct daarna uitgebracht, waardoor die gebruikers behouden bleven."

Yao ziet dit als Google dat munt slaat uit een strategische fout van OpenAI. "OpenAI redde het leven van Google," betoogt hij. "Iedereen was vroeger bang dat deze chatbot de zoekfunctie volledig zou vervangen. Als dit echt zou gebeuren, zou Google er slecht voorstaan. Maar gelukkig deed OpenAI dit als eerste, waardoor Google besefte dat dit belangrijk was, maar ze zetten niet volledig door, ze roeiden de zoekfunctie niet volledig uit. Misschien aten ze alleen wat marktaandeel weg. Het resultaat is dat Google zelf ook chatbots kon inhalen. Nu is degene die in een lastig parket zit, OpenAI."

De technische realiteit van lange context en post-training

Over de lange-contextcapaciteiten van Gemini biedt Yao een onthullend commentaar: "Er zijn wat trucs." Wanneer hij wordt doorgevraagd, geeft hij toe dat "er wat trucs zijn die me echt verrasten" met betrekking tot pre-training, hoewel hij geen details kan onthullen. Het principe dat hij verwoordt, is dat het goed doen van lange context zowel pre-training als post-training-benaderingen vereist.

Vooruitkijkend werkt Yao aan twee hoofdrichtingen: ML-coding en 'long horizon'. ML-coding beoogt het volledige proces waarbij AI zichzelf traint te bereiken, waarbij AI een heel onderzoeksproject van begin tot eind kan voltooien—niet alleen code schrijven en draaien, maar ook resultaten zien, ze analyseren, weten waar het misging, nieuwe hypothesen voorstellen, nieuwe code ontwerpen en nieuwe experimenten uitvoeren. "Deze keten is nog niet compleet. Maar ik denk dat deze keten het volgende zou kunnen zijn dat geleidelijk compleet wordt."

Het 'long horizon'-werk volgt zijn mantra: "Train met eindige context, gebruik als oneindige context." De oplossing is niet om enkele trainingssegmenten langer te maken, maar om modellen te leren informatie selectief te vergeten en op te halen, net zoals mensen dat doen. "Menselijke context is eigenlijk heel erg kort. Als je me nu vraagt wat ik gisteravond at, kan ik me dat helemaal niet herinneren, omdat het niet cruciaal is voor mijn huidige scenario. Dus ik kies ervoor om het te vergeten." De benaderingen die worden onderzocht omvatten zowel pre-training-oplossingen zoals 'sparse attention' als post-training-oplossingen met contextbeheer.

Over het onderscheid tussen pre-training en post-training biedt Yao nuanceringen die vaak ontbreken in het publieke debat. "Vanuit puur technisch perspectief is het moeilijk om het essentiële verschil tussen SFT en RL te zeggen. Pre-training en SFT zijn in essentie niet zo verschillend—je neemt gewoon de data die je krijgt als je 'ground truth', behandelt dat als je expert-output, en lijnt dan uit naar die verdeling. Reinforcement learning is misschien een breder niveau waarbij de oorspronkelijke output geen gegeven expert is, maar iets wat ik zelf heb geproduceerd, en daartussen zijn er goede en slechte resultaten."

Voor hem ligt het grootste verschil in data. "Voor pre-training-data is het belangrijker om een goede verdeling te hebben—de verdeling moet breed genoeg zijn, of goed genoeg uitgelijnd met de reikwijdte die je wilt bestrijken. Maar datakwaliteit hoeft niet extreem hoog te zijn. Maar voor post-training is het tegenovergestelde waar. Wat verdeling betreft kan het veel smaller zijn, maar voor de data die het wel heeft, zijn de kwaliteitseisen zeer hoog."

Waarom 'wrappers' niet kunnen ontsnappen aan modelbedrijven

Over de vraag naar AI-producten en 'wrappers' is Yao karakteristiek bot. Zowel Manus als OpenClaw kozen ervoor om te verkopen aan modelbedrijven (respectievelijk Meta en OpenAI, hoewel de overname van Manus door Meta later werd teruggedraaid). "Ik denk dat er voor wrappers twee manieren zijn om te overleven in de huidige omgeving. Eén manier is: ontsnap snel genoeg—dat wil zeggen, mijn groei is snel genoeg dat tegen de tijd dat modelbedrijven het doorhebben, ik al aanzienlijk marktaandeel onder gebruikers heb veroverd."

Cursor probeert dit pad te bewandelen, maar zelfs zij voelen een sterke crisisdruk. "De relatie met Anthropic is nu in een zeer delicate fase beland. Ze waren vroeger nauwe, naadloze partners. Anthropic leverde het model, Cursor leverde het product. Later ontwikkelde Anthropic zelf Claude Code. Claude Code is zeer succesvol geworden. En Cursor probeert nu zijn eigen model te bouwen. Dus ze zitten al in een behoorlijk competitieve relatie."

Het fundamentele probleem is dat "wanneer het op coderen aankomt, het in de kern in essentie een professionele behoefte is die professionele gebruikers dient. Het is een productiviteitstool. Een veelvoorkomend scenario bij productiviteitstools is 'winner takes all'." De andere overlevingsroute is om klein genoeg te zijn dat modelbedrijven zich er niet mee bemoeien—Midjourney is daar misschien een voorbeeld van, hoewel Yao opmerkt dat de markt "zo klein is dat, hoewel Gemini een poging zou kunnen doen om te kopiëren wat Midjourney doet, Gemini waarschijnlijk niet veel tijd aan zoiets wil besteden."

Over de overname van OpenClaw door OpenAI speculeert Yao: "Ik denk dat voor hen het grootste voordeel was—afgezien van hoeveel ze hebben uitgegeven—het binnenhalen van een zeer sterk productteam in Azië. Uiteraard zijn er veel getalenteerde AI-mensen in China. Hoewel misschien momenteel op technologisch vlak, puur vanuit technisch standpunt, Chinese AI de VS nog niet echt heeft ingehaald. Maar uiteraard zijn er veel getalenteerde AI-mensen in China, zowel in pure technologie als in product. Wat product betreft, denk ik dat China in essentie beter talent heeft dan de VS."

Het destillatiedebat en Chinese laboratoria

Yao introduceert een nuttig onderscheid bij het bespreken van Chinese modelbedrijven: "harde destillatie" versus "zachte destillatie." Harde destillatie is "het nemen van een hoop tokens gegenereerd door Claude en daar geforceerd op trainen. Als je zoiets doet, heb ik het gevoel dat het ten eerste zakelijk gezien niet erg ethisch is. En intellectueel is het nogal dwaas, omdat de bedrijven die dit doen in essentie één ding aantonen: ze weten niet eens wat ze willen doen. Het enige wat ze kunnen doen is anderen kopiëren."

Zachte destillatie omvat slimmere benaderingen, zoals het gebruiken van andere modellen als assistenten bij het genereren van je eigen trainingsdatapijplijn of als beoordelaars voor antwoorden gegenereerd door je eigen model. "Dit is eigenlijk, denk ik, commercieel een beetje een grijs gebied. Maar vanuit technisch perspectief is het behoorlijk interessant. Want als je erover nadenkt, zijn Chinese laboratoria in zekere zin misschien pioniers geworden in multi-agent training."

Hij weigert specifieke bedrijven bij naam te noemen voor de record, maar suggereert dat het patroon duidelijk is in de sector. Wat volgens hem kenmerkend is voor ByteDance, is dat "Doubao zeker niet zo slim is als Gemini of Claude, maar de stemgeneratie van Doubao is extreem goed. En ik merk dat ik voor levensvragen gewoon Doubao wil vragen omdat het zo snel is."

Waarom optimaliseren Amerikaanse bedrijven deze productfunctie niet? "In de VS denk ik dat mensen meer gefocust zijn op hoe ze de werkefficiëntie kunnen verbeteren. Het feit is dat als je over deze dagelijkse onderwerpen vraagt, je zult merken dat Gemini van generatie op generatie beter en beter wordt. Maar voorlopig zitten deze Amerikaanse bedrijven allemaal nog in de fase van hard werken om de bovengrenzen van intelligentie vooruit te duwen. En ByteDance, natuurlijk duwt het ook de bovengrenzen, maar ik denk dat het misschien ook gewoon heel goed bezig is met gebruikersoptimalisatie."

Wat maakt een goede AI-onderzoeker?

Yao heeft zijn eigen aannemingsmethodologie ontwikkeld die zijn filosofie over AI-onderzoek weerspiegelt. Hij geeft kandidaten 24 uur de tijd om een reinforcement learning-project vanaf nul te voltooien met alle middelen die ze willen. "Dit ding is niet zo moeilijk in het AI-tijdperk. Zonder AI zou dit onmogelijk zijn. Niemand zou het in 24 uur kunnen. Maar met AI is het eigenlijk heel gemakkelijk omdat AI het hele ding voor je kan doen."

De test evalueert twee dingen. "In dit tijdperk is het evalueren van iemand, zoals of ze goede code schrijven, eigenlijk nutteloos, omdat de meeste mensen niet meer zelf code hoeven te schrijven. Wat belangrijker is, is of ze AI effectief kunnen inzetten." Maar er is een valstrik: "Als je AI alles laat doen, maar je probeert niet echt te begrijpen wat AI voor je heeft gedaan, zul je tijdens die discussie van een uur door de mand vallen."

Er is ook wat Yao "wat nogal duistere slimheid" noemt in het ontwerp. "Waarom het als 24 uur was ontworpen, is om te zien hoeveel deze persoon deze kans waardeert. Kunnen ze de hele nacht opblijven? Als ze bereid zijn om een nacht door te halen, kunnen ze deze 24 uur overleven. Als ze het niet redden, betekent het gewoon dat ze deze kans waarschijnlijk niet zo waarderen."

Voor Yao zijn de belangrijkste eigenschappen in AI-onderzoek betrouwbaarheid, aandacht voor detail en verantwoordelijkheid nemen voor wat je doet. "Ik denk dat in dit tijdperk de belangrijkste eigenschap is om betrouwbaar te zijn, oog voor detail te hebben en verantwoordelijkheid te nemen voor wat je doet. Dat zijn de belangrijkste eigenschappen." Hij legt uit dat moderne AI-training een groot systeem is dat een holistisch begrip vereist. "Je moet eigenlijk alle aspecten van dit systeem begrijpen om een holistisch begrip te hebben van wat iets nuttig maakt vanwege wat, in plaats van te zeggen dat het ding zelf nuttig is."

Dit vereist dat je tegen de menselijke natuur ingaat. "Ieders menselijke natuur is misschien om hun eigen dingen beter te laten uitkomen. Maar voor een bedrijf of een organisatie is het meest gunstige ding om het hele systeem van het bedrijf systematisch zeer solide te maken. Dit is eigenlijk het beste voor jezelf persoonlijk, want zodra dit systeem solide is, kun je dit systeem inzetten om meer output te produceren. Maar het slechte is dat dit systeem je individuele heldendom niet zal laten schitteren. Maar je kunt erop vertrouwen dat anderen hun individuele heldendom ook niet zal schitteren."

Het toekomstige landschap

Kijkend naar de huidige staat van het veld, ziet Yao modellen als steeds meer gecommoditiseerd op het niveau van capaciteiten. "Vanuit de werkelijke gebruikerservaring kun je de verschillen tussen de modellen van deze drie bedrijven voelen. Maar het moeilijke is dat je in het verleden dit verschil ook op papier kon zien. Nu is iedereen op papier eigenlijk behoorlijk dichtbij. En als je naar de cijfers op papier kijkt, zoals kijken naar SWE-bench, zul je merken dat de beste misschien maar één of twee procentpunt beter is dan de minder goede, maar eigenlijk zit iedereen rond de 80%."

De concurrentie is verschoven van ruwe capaciteiten naar productexecutie en marktpositionering. "Nu voelt het alsof alleen vertrouwen op het behalen van deze publiekelijk erkende modelcapaciteiten eigenlijk niet veel betekenis meer heeft. Snel releasen laat ook zien dat dit probleem eigenlijk voor iedereen gemakkelijk is geworden. Iedereen kent de 'knowhow' nu. Er zijn geen geheimen meer."

Over de positie van OpenAI biedt Yao een genuanceerde beoordeling. "Ik denk dat de trends in China en de VS al uiteenlopen. Waar China echt sterk in is, is de consumentenkant. Het kan met echt, echt complexe productfuncties of structuren komen. Maar dat werkt niet voor productiviteitssoftware. Productiviteitssoftware is heel rechttoe rechtaan." Hij gelooft dat het voordeel van OpenAI ligt in de productexecutie, hoewel zelfs dat wordt uitgedaagd nu Google inhaalt.

Voor de toekomst ziet Yao geen positie als veilig. "Ik denk niet dat iemands positie op dit moment veilig is. De vorm van AI heeft nog een lange weg te gaan. We zijn nog bij geen enkel eindspel." Hij is verbaasd over het sentiment in China dat bedrijven vechten om een 'super-app' alsof het een nulsomspel is. "Is deze vorm de super-app-vorm? Wat als iemand anders op een dag met een compleet andere vorm komt, en jouw functionaliteit een subset van dat ding wordt? Dat is heel goed mogelijk, toch?"

De volgende paradigma-veranderingen kunnen komen uit gebieden die nog in vroege verkenning zijn. "ML-coding en 'long horizon'" zijn waardevol, maar niet echt paradigma-verschuivend. "Paradigma-niveau kan nog steeds die meer onzekere dingen zijn, zoals multimodale generatie. Ik denk dat er misschien een held of een groep helden zal zijn." Maar hij is afwijzend over vage concepten zoals wereldmodellen, waar "tienduizend mensen tienduizend wereldmodellen hebben" en definities onduidelijk blijven.

Voor jonge mensen die AI-onderzoek overwegen, is zijn advies scherp. "Ik denk dat puur werken aan taalmodellen geen 'blue ocean' meer is. Ik denk dat het te laat is—de laatste trein is al vertrokken." Hij beschouwt zichzelf als gelukkig dat hij die laatste trein heeft gehaald. "Er zijn veel andere dingen. Zoals de multimodale generatie die we net noemden, daar kunnen nog veel kansen zijn. Robotica heeft waarschijnlijk nog meer kansen. En nog extremer, er is zoiets als of je AI kunt gebruiken om te helpen bij echte wetenschappelijke problemen."

Een werkfilosofie

Gedurende het gesprek keert Yao terug naar thema's die in strijd lijken met de cultus van genialiteit rond AI. Hij heeft geen mentoren in de sector, geen oude vrienden die hij moet beschermen, waardoor hij "iedereen kan bekritiseren die ik wil." Hij is openlijk afwijzend tegenover onderzoekers die tijd besteden op Slack aan "praten over grote principes" in plaats van echt werk te doen. Hij gelooft dat "ideeën goedkoop zijn" en dat implementatie alles is.

Zijn persoonlijke traject weerspiegelt deze filosofie. Van het kiezen van de wedstrijdklas van de Gezhi High School boven de vier topscholen van Shanghai ("Ik voelde dat deze wedstrijdklas, in hedendaagse termen, een underdog is. Ik voelde dat degenen op blote voeten niet bang zijn voor degenen met schoenen aan. Het proberen waard"), tot het sms'en naar het toelatingsbureau van Tsinghua om gelijke behandeling voor studenten uit Shanghai te eisen, tot het overstappen van succesvol onderzoek naar gecondenseerde materie naar hoge-energiefysica omdat hij "altijd graag dingen uitdaag waar ik niet goed in ben," Yao heeft consequent het moeilijkere, minder voor de hand liggende pad gekozen.

Maar hij heeft ook geleerd van teleurstelling. Zijn PhD in hoge-energiefysica leerde hem de waarde van objectieve evaluatiecriteria. "Ik denk dat het grootste verschil tussen empirische wetten en wetenschappelijke wetten behoorlijk wazig is," reflecteert hij, maar in AI "kun je experimenten uitvoeren. Het maakt niet uit of je het niet begrijpt. Het kan nog steeds vooruitgaan."

Wat zijn eigen toekomst betreft, is Yao karakteristiek onzeker. "Ik denk waarschijnlijk van niet," op de vraag of hij langdurig bij Google zal blijven. "Ik zal mezelf nog steeds proberen uit te dagen. Moet mezelf martelen. Maar ik moet misschien gewoon iets vinden dat het waard is om mezelf voor te martelen." Wat duidelijk is, is dat individuele prestaties minder voor hem betekenen dan deel uitmaken van systemen die werken. "Ik denk dat in dit tijdperk de belangrijkste eigenschap is om betrouwbaar te zijn, oog voor detail te hebben en verantwoordelijkheid te nemen voor wat je doet. Dat zijn de belangrijkste eigenschappen."

Het is een filosofie die bij het moment past. Naarmate AI-onderzoek volwassen wordt van een veld gedreven door individuele genialiteit naar een veld dat enorme coördinatie, systematische strengheid en collectieve executie vereist, vertegenwoordigen onderzoekers zoals Yao een nieuw archetype. Geen helden, maar zeer capabele operators die begrijpen dat in het tijdperk van AI de golf meer telt dan de surfer, het systeem meer telt dan de ster, en betrouwbaarheid meer telt dan genialiteit. Of dit vooruitgang of verlies markeert, hangt af van je perspectief, maar Yao is duidelijk over het zijne: het tijdperk van het individuele genie is voorbij, en gelukkig maar.