DeepMind’s Yao Shunyu: Pre-training is niet voorbij, het tijdperk van de helden is voorbij en de volgende grens ligt bij langetermijntaken
Podcastinterview met Zhang Xiaojun, opgenomen in maart 2026
Yao Shunyu, onderzoeker bij Google DeepMind en voorheen werkzaam bij Anthropic aan de training van Claude 3.7 en 4.5, geeft een ongezouten analyse van de huidige staat van AI: het tijdperk van individueel heldendom is voorbij, pre-training heeft nog aanzienlijk groeipotentieel en, in tegenstelling tot wat algemeen wordt aangenomen, zijn modellen op geen enkel fundamenteel plafond gestuit. Vanuit zijn rol bij de ontwikkeling van Gemini 3 biedt Yao een van de meest openhartige inkijkjes in wat er zich werkelijk afspeelt in de toonaangevende AI-laboratoria.
Pre-training is verre van dood
Wellicht het meest tegendraadse standpunt van Yao is zijn weerlegging van het narratief dat pre-training is gestagneerd. "Mijn ervaring is dat dit niet zo is", stelt hij stellig op de vraag of de Scaling Laws hun limieten hebben bereikt. "En ik heb ook niet het gevoel dat daar de komende vier maanden verandering in komt." Dit spreekt de verwachtingen tegen die velen hadden na de aanvankelijke euforie rondom reasoning-modellen en verbeteringen in de post-trainingfase.
Yao betoogt dat de meeste mensen die beweren tegen een muur te zijn aangelopen, in werkelijkheid te maken hebben met bugs, niet met fundamentele beperkingen. "Naar mijn waarneming komt het bij de overgrote meerderheid die vastloopt door de derde factor: er zit ergens een bug in hun werk die ze zelf niet hebben opgemerkt. Dus denken ze dat de limiet is bereikt." Hij wijst op onjuiste wetenschappelijke aannames over token-horizons, datakeuzes of eenvoudige implementatiefouten als de echte boosdoeners.
De technische nuance is cruciaal. Gevraagd naar wat er nu precies verbetert, legt Yao uit: "Het vermogen van het model om te leren wordt steeds sterker. Vroeger kostte het veel moeite om een model iets aan te leren. Nu vergt dat waarschijnlijk veel minder inspanning. Het belangrijkste is dat je het probleem helder definieert en uitzoekt hoe je de juiste data opbouwt."
Waarom programmeren als eerste doorbrak
Over de vraag waarom agentic coding de eerste grote toepassing werd, biedt Yao ongebruikelijke helderheid over wat er bij Anthropic gebeurde. Het voordeel van programmeren was structureel, niet willekeurig. "Het scenario van programmeren heeft twee grote voordelen. Het eerste is het rewardsignaal – het feedbacksysteem – dat zeer goed gedefinieerd is", legt hij uit. Bij het implementeren van een functie zijn inputs en outputs testbaar. Succes of falen is binair en direct.
Het tweede voordeel was de datainfrastructuur. "GitHub heeft de afgelopen decennia enorm veel hoogwaardige code verzameld, geschreven door vele uitstekende programmeurs. Op basis van die code kun je een enorm aantal omgevingen bouwen." Deze combinatie van duidelijke feedback en overvloedige, hoogwaardige data maakte programmeren het ideale eerste domein voor grootschalige reinforcement learning.
Maar er was ook sprake van toeval. Yao onthult dat de programmeerkwaliteiten van Claude 3.5 min of meer per ongeluk ontstonden door technische keuzes die toevallig de kwaliteit van de code in de pre-trainingdata bevoordeelden. "Als je willekeurig data van het web verzamelt zonder filtering, is de kwaliteit van codedata van nature iets hoger dan die van andere data; als je naar webpagina's kijkt, zie je dat de kwaliteit op GitHub aanzienlijk hoger ligt dan op normale webpagina's." Zodra Anthropic dit voordeel in de praktijk opmerkte via gebruikersfeedback, zette het bedrijf er volledig op in – een besluit dat mogelijk werd gemaakt door de unieke organisatiestructuur.
De structurele voorsprong van Anthropic en de grenzen daarvan
Yao beschrijft Anthropic als een bedrijf met een "zeer sterke executie", mogelijk gemaakt door een top-down besluitvorming die de meeste bedrijven niet kunnen kopiëren. Het geheim? Technische geloofwaardigheid geconcentreerd in het oprichtersteam. Hij wijst specifiek naar Jared Kaplan en Sam McCandlish: "De technisch leider is een medeoprichter van het bedrijf. Zij nemen deze beslissingen zelf. Het is hun bedrijf. Ze hebben dus de autoriteit om dit top-down te doen."
Deze structuur stelde Anthropic in staat om agressief in te zetten op programmeren toen de kans zich voordeed. "Toen ik er kwam werken, had iedereen al gezien dat dit kon en belangrijk was. Maar men wist nog niet precies hoe. Ik heb samen met iedereen onderzocht hoe we dit moesten aanpakken." Het bedrijf kon middelen razendsnel mobiliseren voor grootschalige reinforcement learning, op een manier die organisaties met gescheiden technisch en zakelijk leiderschap niet kunnen.
Yao verliet Anthropic echter na ongeveer een jaar, waarbij hij zowel culturele verschuivingen door de snelle groei als onenigheid met de "anti-China-houding" van CEO Dario Amodei aanhaalde; dit laatste was volgens hem verantwoordelijk voor ongeveer 40% van zijn besluit om te vertrekken. "Ik was het niet eens met Dario's anti-China-standpunt. Als CEO mag hij persoonlijk vinden wat hij wil, dat is prima. Maar als CEO van een bedrijf vond ik het extreem doordrukken van dit standpunt een zeer emotionele reactie."
De andere aanpak van Google
Bij Google DeepMind trof Yao een compleet ander organisatiemodel aan dat desondanks werkt. In tegenstelling tot de top-down-weddenschappen van Anthropic, hanteert Google een portfolio-aanpak. "Grote bedrijven en startups hebben fundamenteel andere speelboeken. Voor startups is het belangrijk om weddenschappen te plaatsen. Ik moet ergens op inzetten. En inzetten betekent risico."
Het voordeel van Google is anders: "De mentaliteit van een groot bedrijf is niet alleen het minimaliseren van gokken, maar ook het hebben van reserves op elk gebied. Als iets slaagt, kan ik aanhaken. En als ik zelf ergens in slaag, kan ik zelfs de leiding nemen." Dit betekent dat Google niet dezelfde geconcentreerde technische leiding nodig heeft als Anthropic.
Pre-training bij Google is "iets heel erg beheersbaars, iets voorspelbaars geworden. Je weet dat de volgende generatie niet slecht zal zijn." De organisatie heeft de verantwoordelijkheden verduidelijkt, waardoor modelontwikkeling een engineeringproject is geworden dat inspeelt op de traditionele krachten van Google. "Het engineering-managementvermogen van Google is erg sterk. Ze kunnen het dus langzaam maar goed doen."
Het kantelpunt voor Gemini was volgens Yao niet alleen Gemini 3, maar de combinatie van het virale succes van Nano Banana en het opbouwen van gebruikersvolume, direct gevolgd door het feit dat Gemini 3 die gebruikers vasthield dankzij een superieure modelkwaliteit. "Ik denk dat als er alleen Gemini 3 was geweest, het waarschijnlijk niet zo'n geweldig resultaat had gehad. Want als je marktaandeel minder dan 10% is, verspreidt een model zich gewoon te langzaam, of het nu iets beter of slechter is."
Het volgende paradigma: Langetermijntaken
Gevraagd naar de volgende grote doorbraak, wijst Yao op langetermijntaken (long-horizon tasks) als de kritieke grens, niet multimodale generatie of continue leerprocessen. Zijn visie wordt gevangen in een slogan die hij intern gebruikt: "train met eindige context, gebruik als oneindige context." Het doel is om modellen zeer lange taken te laten afhandelen binnen beperkte contextvensters door middel van intelligent contextbeheer – in feite modellen leren om selectief te onthouden en te vergeten, zoals mensen dat doen.
"Menselijke context is eigenlijk heel erg kort. Als je me nu vraagt wat ik gisteravond heb gegeten, kan ik me dat totaal niet herinneren", zegt Yao. "Omdat het niet cruciaal is voor mijn huidige scenario. Dus kies ik ervoor om het te vergeten. Menselijke context is dus in essentie heel kort. Maar mensen kunnen selectief vergeten en selectief ophalen om belangrijke informatie die relevant is voor het huidige scenario terug te halen."
Deze richting is nauw verbonden met ML-programmeren – AI gebruiken om AI-onderzoek zelf te automatiseren. Yao gelooft dat binnen zes tot twaalf maanden "AI zelf experimenten zal uitvoeren", in de zin van het voltooien van volledige onderzoeksprojecten van begin tot eind: experimenten ontwerpen, uitvoeren, resultaten analyseren, nieuwe hypothesen voorstellen en itereren. "De keten is nog niet compleet. Maar ik denk dat deze keten het volgende is dat geleidelijk compleet zal worden."
Distillatie, benchmarks en wat er echt toe doet
Over het onderwerp van Chinese laboratoria die distilleren van frontier-modellen, maakt Yao een subtiel maar belangrijk onderscheid tussen "harde distillatie" en "zachte distillatie". Harde distillatie – tokens genereren met Claude en daar direct op trainen – is zowel onethisch als "intellectueel nogal dom", omdat het laat zien dat bedrijven "niet eens weten wat ze willen doen." Maar zachte distillatie, waarbij andere modellen als assistent in de datapijplijn of als evaluator worden gebruikt, "is commercieel gezien eigenlijk een beetje een grijs gebied. Maar vanuit technisch perspectief is het behoorlijk interessant."
Hij betoogt dat Chinese laboratoria die deze aanpak gebruiken "pioniers kunnen zijn geworden in multi-agent training. En het is echte multi-agent. Want als ze modellen van verschillende bedrijven met deze slimmere benaderingen gebruiken en integreren in één trainingssysteem, kan de distributie van elk model heel anders zijn."
Wat betreft de huidige benchmark-race is Yao afwijzend. "Ik denk dat in zekere zin geen enkele benchmark de aandacht waard is." De publieke benchmarks waar iedereen om strijdt, zijn in essentie verzadigd. "Iedereen strijdt om de eerste plaats op diverse benchmarks om te bewijzen dat de basiscapaciteit van hun model sterk is. Dat punt is inmiddels wel bereikt – die benchmarks zijn min of meer uitgeput."
De dood van het individuele heldendom
Wellicht de meest opvallende stelling van Yao is dat AI-onderzoek fundamenteel is verschoven van individuele genialiteit naar collectieve executie. "Ik denk dat iedereen op dit moment in feite een surfer is. Het is fundamenteel een golf, niet de surfer", zegt hij. "Het tijdperk van individueel heldendom voor taalmodellen is waarschijnlijk voorbij."
Wanneer eindigde dat heldendom? "Dat was het Transformer-moment. Op het moment dat de technologie nog niet het schaalniveau had bereikt, kon de persoon die die technologie ontdekte een held zijn. Nadat die technologie was gevonden, is het aan de modelkant waarschijnlijk al lange tijd meer om collectivisme gegaan."
Dit is geen valse bescheidenheid – Yao gelooft oprecht dat het vakgebied eenvoudig genoeg is geworden dat individuele bijdragen veel minder belangrijk zijn dan systematische executie. "AI als vakgebied is fundamenteel simpel. Ik denk niet dat er – behalve misschien dat ene sprongmoment waarvoor een idee echt diepgaande inzichten vereist – in het proces daarna veel ideeën zijn die niet triviaal zijn. Vrij dom, eigenlijk. Iedereen zou ze kunnen bedenken. Iedereen zou ze kunnen uitvoeren. Het is gewoon zo dat je geluk had en toevallig de kans greep om het te doen."
Wat nu telt is niet genialiteit, maar betrouwbaarheid. "Ik denk dat in deze industrie de belangrijkste eigenschap is: betrouwbaar zijn, dingen zorgvuldig doen en verantwoordelijkheid nemen voor wat je doet. Dat is de belangrijkste eigenschap." Hij gaat verder: "Het voelt gewoon alsof dit hele AI-gebeuren niet echt veel hersens vereist. Vereist niet veel hersens. Echt niet veel hersens."
Het wrapper-probleem en product-moats
Over de vraag waarom applicatiebedrijven zoals OpenClaw en Manus zich lieten overnemen door modellaboratoria ondanks een sterke initiële tractie, identificeert Yao het fundamentele probleem: onvoldoende ontsnappingssnelheid aan de zwaartekracht van de modelbedrijven. "Ik denk dat er voor wrappers in de huidige omgeving twee benaderingen zijn. Eén benadering is: ontsnap snel genoeg – mijn groei is zo snel dat ik, tegen de tijd dat modelbedrijven het doorhebben, al een aanzienlijk deel van de gebruikers heb veroverd."
Zelfs Cursor, "vrijwel de snelst groeiende startup die ik kan bedenken" in de AI-native programmeerruimte, bevindt zich nu in "een behoorlijk competitieve relatie" met Anthropic na de lancering van Claude Code. Het kernprobleem is de 'winner-takes-all'-dynamiek in productiviteitstools. "Als het op programmeren aankomt, is het in de kern een professionele behoefte voor professionele gebruikers. Het is een productiviteitstool. Een veelvoorkomend scenario bij productiviteitstools is dat de winnaar alles krijgt."
De andere overlevingsroute is klein genoeg blijven zodat modelbedrijven niet de moeite nemen om te concurreren – wat volgens Yao Midjourney met succes heeft gedaan. "De markt is zo klein dat, hoewel je zou kunnen zeggen dat Gemini een poging zou kunnen wagen om Midjourney te kopiëren, het wat moeite, geld en data zou kosten om dat voor elkaar te krijgen, maar het is klein genoeg dat Gemini waarschijnlijk niet veel tijd aan zoiets wil besteden."
Waarom programmeurs zich zorgen moeten maken
Yao verbloemt de toekomst voor software-engineers niet. Op de vraag wanneer programmeurs volledig vervangen zullen worden, antwoordt hij: "Ik denk dat die dag zal komen. Maar het zal niet in één keer gebeuren." Hij schat dat uiteindelijk "1/1000 van de mensen het werk van iedereen uit het verleden zal doen, en 100 keer het huidige salaris zal verdienen."
Zijn inschatting van zijn eigen programmeerproductiviteit is scherp. Conservatief gesteld: "Het model schreef meer dan 90%. Als ik niet conservatief ben, misschien 99% of 100%." Het resterende deel dat hij zelf schrijft "wordt steeds minder." Als onderzoeker is zijn experimentele snelheid "20 of zelfs 50 keer hoger" vergeleken met anderhalf jaar geleden.
Het advies voor programmeurs die willen overleven? "Omarm nieuwe dingen. Ik denk dat dat heel belangrijk is." Toekomstige programmeurs moeten technisch sterk zijn, begrijpen hoe hun werk in grotere organisaties past en over sterke planningsvaardigheden beschikken om complexe taken op te splitsen in stukken die AI kan afhandelen. Maar Yao waarschuwt dat deze vereisten nog verder kunnen krimpen: "Misschien kom je me over zes maanden opzoeken en ontdek ik dat AI die laatste taak ook al kan. Dan blijven er nog maar twee dingen over."
Wat er momenteel niet werkt
Gevraagd naar zijn promotieonderzoek in de theoretische hoge-energiefysica, onthult Yao de ervaring die zijn kijk op goed onderzoek heeft gevormd. "Ik denk dat ik persoonlijk veel heb geleerd en ben gegroeid. Maar voor deze wereld heeft het geen enkele bijdrage geleverd." Het probleem was niet de kwaliteit van het werk – "Niemand zou zeggen dat mijn proefschriften slecht waren" – maar eerder de fundamentele structuur van het vakgebied.
De hoge-energietheorie is voorbij het punt gekomen dat experimenten zaken kunnen verifiëren, waardoor alleen wiskundige zelfconsistentie en de subjectieve oordelen van senior onderzoekers als evaluatiecriteria overblijven. "Wanneer dit vakgebied volledig verstoken is van experimenten en objectieve standaarden, zal er zeker niet slechts één kader verschijnen. Wie het dan goed doet en wie niet, hangt feitelijk af van de subjectieve oordelen van enkele oudgedienden in het veld."
Deze ervaring leerde Yao om "dingen te doen met relatief objectieve evaluatiecriteria, of vanuit een ander perspectief, dingen te doen die impact kunnen hebben op deze wereld." Daarom is hij zo allergisch voor vage claims in AI die niet gefalsifieerd kunnen worden – zoals bij bepaalde prominente figuren wiens uitspraken "niet eens fout zijn, omdat ze niet goed gedefinieerd zijn."
De divergentie tussen China en de VS
Yao ziet de AI-competitie tussen China en de VS in fundamenteel verschillende richtingen bewegen, gevormd door de historische sterktes van elke regio. De Amerikaanse focus op enterprise- en productiviteitssoftware weerspiegelt makkelijke winstmarges en eenvoudige bedrijfsmodellen – "Ik help je code schrijven, mijn kosten zijn 150 per maand, ik verkoop het aan jou voor 200, ik verdien 50."
De consumentgerichte aanpak van China put uit een decennium aan ervaring met complexe indirecte verdienmodellen. "Waar China echt sterk in is, is de consumentenkant. Ze kunnen met hele, hele complexe productfuncties of structuren komen en op een manier die voor jou heel indirect lijkt, op een heel onnatuurlijke manier, om die winst te laten sneeuwballen." Het voorbeeld dat hij geeft is Douyin, dat niet per video rekent maar stilletjes geld verdient via advertenties, livestreams en e-commerce.
Deze divergentie betekent dat het super-app-narratief dat de Chinese AI-discussies domineert, weinig zin heeft voor de Amerikaanse markt. "Als je me vraagt wie van OpenAI en Anthropic als eerste zou sterven – ze zullen natuurlijk niet echt sterven, maar wie als eerste minder relevant wordt – dan zou ik denken dat Anthropic misschien als eerste minder relevant wordt. Maar later werd eerst OpenAI aangepakt door Google, en daarna kwam Anthropic zelf weer op stoom. Dus nu lijkt het erop dat Anthropic meer voordeel heeft."
Op de vraag of Amerikaanse bedrijven ByteDance begrijpen, is Yao bot: "Mijn gevoel is nee. Nog niet." Hoewel iedereen erkent dat ByteDance zwaar ondergewaardeerd is en dominant in consumentenmarkten, blijft een echt begrip van hoe het bedrijf opereert ongrijpbaar.
De echte bottleneck
Ondanks alle technische vooruitgang identificeert Yao productdefinitie als de huidige beperkende factor. "Ik denk dat het nu dat laatste is – de dingen die je wilt doen, hebben een plateau bereikt. Op dit moment weten we dat er een chatbot is, die kun je leren dit te doen. En dan is er programmeren, dat kun je leren. En dan weten we niet meer wat we het nog meer moeten leren."
Dit is geen probleem met de capaciteiten van het model. "Dit model is nog steeds een heel slim kind. Je kunt het eigenlijk veel dingen leren. Maar wij mensen als leraren weten nu niet wat het volgende is om te leren, of hoe we het op een redelijke manier kunnen leren met de huidige paradigma's." De implicatie is dat productmanagers die de juiste problemen kunnen identificeren en duidelijke trainingsdoelen kunnen definiëren, waardevoller zijn geworden dan onderzoekers die oplossingen kunnen implementeren.
Kijkend naar de huidige positie van OpenAI, merkt Yao de ironie op dat door het zoeken niet volledig te vervangen voordat Google inhaalde met chatbots, "OpenAI het leven van Google heeft gered." Had OpenAI het zoeken volledig overgenomen voordat Google reageerde, "dan was het erg lastig geweest. Maar gelukkig deed OpenAI dit eerst, waardoor Google besefte dat dit belangrijk is. Maar ze hebben het niet helemaal afgemaakt."
De eindconclusie is nuchter: "Ik denk dat niemands positie op dit moment veilig is. De vorm van AI heeft nog een lange weg te gaan. We zijn nog lang niet bij de eindfase." Voor een vakgebied dat zogenaamd naar AGI racet, is dat een ontnuchterende herinnering dat de echte uitdagingen misschien minder te maken hebben met het opschalen van rekenkracht en meer met het uitzoeken wat we eigenlijk moeten bouwen.