Saining Xie: Silicon Valley is "gehypnotiseerd door LLM's" — Bouwen aan wereldmodellen voorbij taal
Zhang Xiaojun Podcast, 16 maart 2026
In een besneeuwd appartement in Brooklyn zet Saining Xie begin 2026 een van de meest gedurfde weddenschappen in de wereld van kunstmatige intelligentie. De NYU-professor en kersverse medeoprichter van AMI Labs, samen met Turing Award-winnaar Yann LeCun, heeft zojuist een recordbrekende zaai-investeringsronde van $1,03 miljard afgerond tegen een pre-money waardering van $3,5 miljard. Ondanks alle superlatieven benadrukt Xie dat hij "de normale" is — niet de uitverkoren genie, maar iemand die door zijn carrière is gestruikeld met wat hij "mystieke logica" noemt, meer geleid door mensen en nieuwsgierigheid dan door ambitie.
Dit zeven uur durende gesprek onthult een onderzoeker die meer dan tien jaar in stilte heeft gewerkt aan het fundament voor wat volgens hem de volgende sprong van AI zal zijn: wereldmodellen die de fysieke werkelijkheid echt begrijpen, en niet slechts de schaduwen die taal werpt op de wanden van Plato's grot. Het is een tegendraads standpunt in een Silicon Valley die hij beschrijft als "volledig gehypnotiseerd" door grote taalmodellen (LLM's), en een standpunt dat hem op ramkoers brengt met de machtigste narratieven in de sector.
De fundamentele tekortkoming van taalmodellen
Xie windt er geen doekjes om als het over LLM's gaat. "Ik zie LLM's niet als een succesverhaal voor de 'Bitter Lesson' — sterker nog, ze zijn er een rebellie tegen," zegt hij, verwijzend naar het beroemde essay van Rich Sutton waarin wordt betoogd dat AI menselijk ontworpen structuren moet minimaliseren. Zijn redenering raakt de kern van wat taal werkelijk vertegenwoordigt. "Taal is geen denkkaart, het is een communicatiemiddel," legt hij uit. Wanneer mensen schrijven, comprimeren ze een enorme ervaring tot symbolen die geoptimaliseerd zijn voor overdracht tussen geesten, niet voor het vastleggen van de volledige textuur van de werkelijkheid.
Dit is cruciaal omdat de schaalwetten van LLM's volgens Xie aanzienlijk "water" bevatten — wat hij inflatie noemt. "De schaalwet van taalmodellen is gebaseerd op een representatie van kennis," stelt hij. Modellen moeten feitelijke trivia uit het hoofd leren om intelligent te lijken, wat het aantal parameters opblaast. Maar een echt wereldmodel hoeft niet elk Wikipedia-item te onthouden. "Je hoeft al die kennis niet uit je hoofd te leren — je hebt een goed begripsvermogen nodig om informatie te filteren en te verwerken," zegt hij. De beslissing zelf is belangrijker dan de database.
Het technische argument gaat dieper. Wanneer je P(y) modelleert — het voorspellen van labels of volgende tokens — concentreert je waarschijnlijkheidsmassa zich in een laagdimensionale semantische ruimte. Maar wanneer je P(x|y) modelleert, zoals videogeneratiemodellen doen, "geeft de waarschijnlijkheid die je toekent aan welke verschijnselen daadwerkelijk in de wereld bestaan, welke dingen waarschijnlijker zijn," legt Xie uit. Dit dwingt het model om te leren waarom viervoetige katten gebruikelijker zijn dan drievoetige, waarom beweging vloeiend moet zijn en waarom de natuurkunde mogelijkheden beperkt. "Wat je nu moet leren bevat veel meer intelligentie dan wat je krijgt door het modelleren van P(y)."
Nog fundamenteler is dat taal werkt met discrete tokens, terwijl de fysieke wereld werkt in een continue, hoogdimensionale en ruisgevoelige ruimte. "Als je visie op dezelfde manier verwerkt als een LLM, zou ik elk frame moeten tokeniseren en in een zeer lange reeks moeten rijgen," zegt Xie. "Je neemt deze wereldrepresentatie die erachter ligt — er is eigenlijk een soort globale toestand — en je serialiseert deze tot zeer redundante tokens." Transformers moeten vervolgens aan elk token evenveel aandacht besteden, wat "op zichzelf onredelijk is" voor het vastleggen van ruimtelijke structuren die mensen parallel in verschillende hersengebieden verwerken.
De draad van de representatie
Om te begrijpen waar Xie naartoe gaat, moet je traceren waar hij is geweest. Zijn onderzoeksreis leest als een systematische verkenning van representatie-leren over modaliteiten, doelstellingen en architecturen heen. Bij FAIR werkte hij van 2018 tot 2023 samen met Kaiming He aan de MoCo-serie, waarbij hij zelf-gesuperviseerd contrastief leren pushte om kortstondig de pre-training van ImageNet te evenaren of te overtreffen. Daarna kwam MAE (Masked Autoencoders), geleid door He, dat een eenvoudigere 'denoising'-benadering hanteerde die ook veelbelovend schaalgedrag vertoonde.
Beide liepen uiteindelijk tegen muren op. "We dachten: hé, MAE is ongelooflijk, MAE zou minstens een 'best paper'-award moeten winnen," herinnert Xie zich. "Dat gebeurde niet. En het opschalen van MAE zou alle problemen oplossen — dat bleek ook niet te schalen." De visiegemeenschap kon niet kraken wat taalmodellen wel hadden: een duidelijk pad van meer data en rekenkracht naar betere resultaten. "Op dit moment heeft visie geen schaalwet," geeft Xie toe, hoewel hij direct nuanceert: "En ik denk steeds meer dat visie geen schaalwet nodig heeft."
Het doorbraakinzicht kwam voort uit zijn werk in 2024 aan Representation Autoencoders (RAE). In plaats van 'denoising' in pixelruimte of gecomprimeerde VAE-latents, werkt RAE in de hoogdimensionale representatieruimte die is geleerd door zelf-gesuperviseerde modellen zoals DINOv2. "Je representatielaag wordt nu zeer hoogdimensionaal," legt Xie uit, "en je wilt 'denoising' en beeldgeneratie uitvoeren op deze hoogdimensionale representatie." Een student vroeg zich af of een dergelijke hoge dimensionaliteit het trainen zou kunnen schaden. Professor Ma Yi van HKU stond op en zei tegen iedereen: "Je moet niet bang zijn voor hoge dimensies. Hoge dimensionaliteit is een uiterst belangrijke hoeksteen in alle machine learning."
Dit werk overtuigde Xie ervan dat representatie het fundament is waarop al het andere moet worden gebouwd. "Er is maar één ding in deze wereld dat belangrijk is: hoe je deze representatie leert," zegt hij. Taalmodellen zullen "geleidelijk degraderen tot een eenvoudige communicatie-interface" in plaats van de drijvende kracht achter intelligentie te zijn. Videogeneratie zal op dezelfde manier voortbouwen op sterke representaties. "Wanneer we zo'n fundament hebben, kunnen we het gemakkelijk decoderen naar taal, gemakkelijk decoderen naar pixels en video's genereren, en ook decoderen naar een soort actie."
Wat is een wereldmodel?
Xie werd geanimeerd toen hij werd gepusht op definities, en erkende dat "wereldmodel" een onhandig brede modeterm is geworden. Technisch gezien is het een voorspellende functie: gegeven de huidige toestand S_t en actie a_t, voorspel de volgende toestand S_{t+1}. Deze formulering dateert uit 1943, toen psycholoog Kenneth Craik voor het eerst voorstelde dat mensen interne modellen onderhouden om de gevolgen van acties te voorspellen. De regeltechniek adopteerde het voor maanlanders in de jaren zestig. Reinforcement learning omarmde het met de Dyna-architectuur van Sutton.
Maar het concept is gefragmenteerd. Videogeneratiebedrijven noemen zichzelf wereldmodelbedrijven, gefocust op het renderen van overtuigende visuele sequenties met enige consistentie — wat Xie "wereldsimulatoren" noemt. World Labs van Fei-Fei Li streeft naar expliciete 3D-ruimtelijke representaties als frontend voor asset-generatie, wat $200 miljoen aan investeringen van Autodesk opleverde voor industriële toepassingen. Deze zijn waardevol, maar onvolledig.
Wat Xie en LeCun bouwen is iets wat hij een "voorspellend brein" noemt — intelligentie zelf, in plaats van alleen simulatie of ruimtelijke steigers. "We bewandelen een pad dat niet naar echte intelligentie kan leiden," zegt hij over de huidige benaderingen. "Iemand moet nieuwe problemen definiëren op deze grotere schaal." De kernvereisten: begrip van de fysieke wereld, een groot associatief geheugen, redeneer- en planningsvermogen, contrafeitelijke inferentie en, cruciaal, controleerbaarheid en veiligheid die voortkomen uit voorspelling in plaats van achteraf toegepaste 'alignment'.
Dit laatste punt is enorm belangrijk voor Xie. "LLM's zijn niet controleerbaar, en ook niet veilig, omdat ze geen echt wereldmodel hebben," betoogt hij. Huidige veiligheid komt volledig voort uit fine-tuning op voorbeelden van wat je niet moet zeggen of doen. Maar "bij een echt wereldmodel is dat niet nodig, omdat je kunt voorspellen tot welk gevolg je actie zal leiden." Een robot die een mes vasthoudt, kan het gevaar voorzien van het omdraaien naar een persoon zonder dat er duizenden trainingsvoorbeelden van mes-ongelukken nodig zijn. Het wereldmodel maakt veiligheid mogelijk door begrip in plaats van memorisatie.
Het dataprobleem
Als taalmodellen zich tegoed deden aan de tekst van het internet, moeten wereldmodellen op de een of andere manier de werkelijkheid zelf opnemen. "Het vorige tijdperk ging over het downloaden van het internet," zegt Xie. "Nu gaat het tijdperk over het downloaden van de mensheid." Een baby van vier maanden heeft meer visuele data gezien dan alle tokens die zijn gebruikt om de beste LLM's te trainen — zo'n 30 biljoen tokens staat ongeveer gelijk aan 30 minuten aan YouTube-uploads. De schaal is verbijsterend.
YouTube wordt het voor de hand liggende eerste doelwit, ondanks copyright- en gebruikersvoorwaardengevechten. "De ene kant bewaakt dataverzameling nauwgezet en blokkeert scraping. De andere kant probeert met alle middelen meer data te krijgen," beschrijft Xie de kat-en-muisdynamiek. Het enorme voordeel van ByteDance via TikTok en Douyin wordt duidelijk, hoewel ook zij met juridische uitdagingen kampen.
Maar video alleen zal niet volstaan. Xie voorziet 'always-on' wearables — AI-brillen die alles zien wat de drager ziet, waardoor oneindige tokenstromen van eerste-persoonservaringen ontstaan. De dichtstbijzijnde huidige analoog zijn fitnesstrackers die hartslag en slaap monitoren en eenvoudige voorspellingen doen over stress en herstel. "Als we ons een soort draagbaar apparaat voorstellen dat echt altijd aan zou kunnen staan en in realtime alles kan zien wat wij kunnen zien," mijmert hij, "dan denk ik dat dit een enorm potentieel heeft." Medische monitoring, atletische training, ouderenzorg — alles profiteert van modellen die visuele context en temporele patronen begrijpen.
Robotica biedt een andere databron en inzetgebied. De sector lijdt onder wat Jie Tan van DeepMind "extreem ongelijke ontwikkeling" noemt — fysieke capaciteiten overtreffen inmiddels die van mensen, maar cognitie loopt ver achter. "Niemand bouwt het brein, niemand bouwt een robotbrein," zegt Xie. Iedereen, van DeepMind tot Physical Intelligence, vertrouwt op VLA's (Vision-Language-Action-modellen) die via taalmodellen zoals Gemini lopen. "Dit heeft een tweede helft van pre-training nodig," betoogt hij, verwijzend naar de formulering van voormalig OpenAI-onderzoeker Shunyu Yao. "Wie gaat deze pre-training doen? Ik denk niet dat het in welk land dan ook kan worden gedaan, inclusief de Bay Area."
De achtergrond van DiT
Xie's bekendste werk, Diffusion Transformers (DiT), kwam voort uit wat hij de noodzakelijke "niet-lineariteit" van onderzoek noemt. In 2022 bij FAIR begonnen hij en stagiair Bill Peebles (nu hoofd van Sora bij OpenAI) met het verkennen van diffusiemodellen om het verband tussen discriminerend en generatief leren te begrijpen. De oorspronkelijke vraag kwam van Kaiming He: "Is dit een discriminerend model of een generatief model?" Het is een diepgaand raadsel, aangezien 'denoising' bij elke stap discriminerende voorspellingen doet, maar genereert door hun compositie.
Twee maanden lang verkenden ze de representatiekwaliteit en ontdekten dat diffusiemodellen behoorlijke kenmerken leerden, maar "veel, veel slechter dan zelf-gesuperviseerd leren — totaal niet competitief." Toen kwam de omslag. "In de laatste maand ontdekten we: hé, onze nieuwe architectuur is inderdaad efficiënter en schaalbaarder dan U-Net." Vanuit codeperspectief belichaamde DiT wat Xie 'Minimal Description Length' noemt — elegantie door eenvoud. "Als je code kort is en hetzelfde doel kan bereiken, is je methode doorgaans beter dan een methode die duizenden regels vereist."
Het paper werd afgewezen door CVPR. "Niet genoeg vernieuwing," zeiden de reviewers. "Je kwam met een heel eenvoudige structuur en hoewel je goede resultaten behaalde, waren de reviewers niet overtuigd." Yann LeCun tweette erover. Ze dienden het ongewijzigd elders in en wonnen een Oral Paper-status. "Dit is een volledig willekeurig proces," haalt Xie zijn schouders op.
FAIR wilde aanvankelijk niet dat ze de bedrijfsaffiliatie zouden vermelden, aangezien Xie al was vertrokken. Maar nadat Sora expliciet DiT als zijn ruggengraat noemde, werd de architectuur de basis voor in feite alle grote videogeneratiemodellen. De ironie is groot: "Verschillende onderzoekers kwamen naar me toe en zeiden: 'Ik heb hier twee weken aan gewerkt, maar mijn manager zei dat je dit niet meer mag doen, we hebben productcycli die eraan komen.'" De sector wist dat DiT de juiste richting was, maar miste de vrijheid om het na te streven.
De invloed van Kaiming
Niemand is belangrijker in Xie's onderzoeksformatie dan Kaiming He, de maker van ResNet en de legendarische onderzoeker van FAIR. Hun samenwerking begon bijna per ongeluk toen He halverwege de stage van Xie in 2016 bij FAIR kwam. Xie's manager droeg hem over: "Kaiming, jij komt hem begeleiden." Met nog één maand te gaan besloten ze deel te nemen aan de ImageNet Challenge, wat resulteerde in ResNeXt — deels vernoemd naar "Xie's ResNet", He's speelse manier om credits te delen.
Wat Xie opnam ging veel verder dan papers. Hij beschrijft He's workflow in bijna spirituele termen. "Kaiming's magie is dat hij alle heel gewone dingen kan nemen en ze kan veranderen in goudwaardige ideeën," zegt hij. De discipline was monastiek: presentaties waren een maand voor deadlines klaar terwijl anderen nachten doorwerkten, elke regel in papers werd gecontroleerd om ervoor te zorgen dat er niet meer dan 40 procent witruimte was, obsessieve baseline-constructie voordat men innovatie probeerde.
"Het plafond van je onderzoek hangt af van hoe goed je baseline is," leerde Xie. "Als je baseline zwak is, kun je jezelf gemakkelijk voor de gek houden." Dit contra-intuïtieve principe — maak de vergelijking moeilijker, niet makkelijker — stelde He's detectiewerk (Fast R-CNN, Mask R-CNN) in staat om te domineren door te beginnen vanaf infrastructuur die al beter was dan middelmatige CVPR-papers. "Onze baseline was al sterker dan de jouwe, dus als ik nog een stap verder ga, ga ik natuurlijk nog verder."
Maar de diepste les betrof de onderzoeksfilosofie. He gaf Xie een kopie van de Diamant-soetra, de boeddhistische tekst die leert dat "alle verschijnselen zijn als dromen, illusies, bellen en schaduwen." De resonantie met de westerse filosofie — Kants 'Ding an sich', Schopenhauers representatie versus wil — wijst op een kerninzicht over onderzoekssmaak. "Wanneer je een paper leest, is het belangrijk om door de illusie heen te breken die het paper presenteert en je af te vragen wat erachter ligt, wat voor inhoudelijke essentie het bevat," legt Xie uit.
Dit sijpelt door in elke beslissing. De eerste les voor FAIR-stagiairs was het beheersen van Excel-spreadsheets om experimenten bij te houden. "Je moet echt beslissingen nemen: op welke statistieken moet ik me concentreren, welke kolommen moeten er zijn, hoe definieer ik controlevariabelen, hoe maak ik elk experiment zo informatief mogelijk." Voer te weinig experimenten uit en het signaal blijft onduidelijk. Voer alles blindelings uit en je verdrinkt in ruis. Het vakmanschap ligt in het ontwerpen van de spreadsheet zelf.
Ilya twee keer afgewezen
Xie's niet genomen pad achtervolgt het gesprek. In 2018, net klaar met zijn PhD, solliciteerde hij bij OpenAI bij John Schulman in een "kleine donkere kamer waar we vijf of zes uur aan één probleem werkten." De handgeschreven vragen op papier met potloodstrepen raakten hem. Maar FAIR had Kaiming, Piotr Dollar, Ross Girshick — "de drie pijlers van computervisie." Toen het aanbod van OpenAI kwam, "belde Ilya me en ik zei bijna niets en wees het af."
Ilya Sutskever was boos. "Waarom heb je het niet eens besproken voordat je het afwees? Is het geld niet genoeg?" Xie's toon was verontschuldigend maar ferm. Destijds in 2018 was FAIR voor top-PhD-studenten de veiligere gok — opener, academischer. "Tenzij ze echt wilden doen wat OpenAI al deed, denk ik dat de meeste mensen nog steeds naar FAIR zouden neigen."
De tweede afwijzing kwam in juli 2024, vlak nadat Sutskever SSI had opgericht. Hij mailde met de vraag of Xie zich wilde aansluiten. Deze keer bespraken ze hoe je AI het vermogen om lief te hebben kunt geven. "De conclusie is dat dit erg belangrijk is," herinnert Xie zich. "Want zonder dat staan we voor een zeer onzekere en zeer gevaarlijke toekomst." Maar toen Xie vroeg naar multimodaliteit, was Ilya's antwoord beslissend: visie was "al goed genoeg opgelost."
Dat fundamentele meningsverschil bezegelde het. "SSI heeft zijn eigen taalgebaseerde benadering, en die benadering is niet het pad dat ik wil bewandelen," legt Xie uit. Hij ziet dit niet als bittere rivaliteit. "Broeders die een berg beklimmen, ieder met hun eigen inspanning," zegt hij, een Chinees spreekwoord citerend. "En zonder de recente ontwikkelingen in LLM's was de huidige staat van computervisie er misschien niet geweest." Maar de paden lopen scherp uiteen over wat intelligentie vereist.
De samenwerking met Yann LeCun
Het oprichtingsverhaal van AMI Labs grenst aan het mystieke dat Xie's besluitvorming kenmerkt. Een manager suggereerde eind 2025 dat Yann LeCun ongelukkig leek bij Meta. Xie's eerste instinct was ongeloof — de peetvader van AI, die vertrekt? Twee weken later, tijdens een een-op-een gesprek, begon LeCun: "Vertel het nog aan niemand, maar ik heb dit besloten. Wat ik wil doen, moet buiten de deur gebeuren. Ik wil een bedrijf bouwen."
Xie vroeg naar het bedrijfsmodel. "Toen besefte ik: wow, dit sluit volledig aan bij wat ik me had voorgesteld." Wat was het? "Ik denk dat je het wereldmodellen kunt noemen, of de logica erachter is: wat ik wil doen, kan in de huidige omgeving in geen enkel land ter wereld worden gedaan, ook niet in de Bay Area."
De overtuiging was simpel: het werk vereist onderzoeksdiepgang, maar kan niet plaatsvinden in de traditionele academische wereld (onvoldoende middelen) of in gesloten industriële laboratoria (onvoldoende vrijheid om problemen te definiëren). "We moeten terugkeren naar wat we aan het begin bespraken," zegt Xie. "In dit soort eindige spellen, in deze zeer competitieve omgeving, lijkt elk bedrijf zijn vermogen om problemen te definiëren te hebben verloren." OpenAI definieerde ooit problemen. Nu wordt zelfs OpenAI meegezogen in races die het zelf heeft gedefinieerd.
Xie tobde ongeveer een week. LeCun's pitch was ongecompliceerd: dit was een betere keuze voor Xie persoonlijk en voor het bedrijf, met autonomie om teams en roadmaps op te bouwen. "Ik ben ook ongelooflijk, ongelooflijk dankbaar dat Yann me dat vertrouwen kon geven," zegt Xie. Zes medeoprichters tekenden, waaronder een CEO, COO, VP of World Models (de oorspronkelijke JEPA-teamdirecteur) en CRIO (Chief Research and Innovation Officer, Pascale Fung uit Hongkong). Velen liepen weg van tientallen miljoenen aan niet-verveste aandelen bij OpenAI, Google of Meta.
Waarom? "Ik denk dat we misschien allemaal een beetje gek zijn," lacht Xie. Maar achter de zelfspot schuilt overtuiging. "Dit is de enige plek waar we dit kunnen doen." De missie is niet het najagen van ranglijsten of productcycli. Het is het pre-trainen van de tweede helft — het bouwen van het brein dat robotica mist, dat wearables nodig zullen hebben, dat belichaamde AI vereist.
De kritiek op Silicon Valley
Xie bewaart zijn scherpste kritiek voor het culturele moment in de Bay Area. "Silicon Valley is erg 'LLM-pilled'," zegt hij bot. "De Valley zit diep in de loopgraven van grote taalmodellen — het is volledig gehypnotiseerd." Dit is geen simpel moddergooien. Hij werkte jarenlang parttime bij het Gemini GenAI-team van Google en zag de beperkingen uit de eerste hand.
"De hele AI-industrie heeft op dit moment deze enorme waardeketen," legt hij uit. "Helemaal bovenaan staat de 'Bitter Lesson', er is een narratief van AGI en LLM. Dit heeft een reeks benchmarks gedefinieerd. Dus concurreer je op ranglijsten. De ranglijst definieert de toewijzing van middelen." Als je doel is om de LMSys Arena te toppen, kun je alleen middelen in die race storten. "Onder deze waardeketen betekent de toewijzing van middelen dat ze dit deel van het onderzoek niet kunnen doen," zelfs wanneer onderzoekers weten dat het belangrijk is.
Videobegrip is zijn voorbeeld. "Noch de academische wereld, noch de industrie doet er veel aan, of mensen doen het, maar niet met een fundamentele invalshoek van een wereldmodel." Waarom? "Zonder uitzondering, ongeacht welk bedrijf, zijn ze allemaal toegewezen aan een team voor videogeneratiemodellen." Dat is de enige positie binnen de waardeketen waar video-expertise past. "Hoewel ze allemaal weten dat we dit probleem niet hebben opgelost, dat we een beter op wereldmodellen gebaseerd videobegripsmodel nodig hebben, krijgen mensen geen ruimte om dergelijke verkenningen te doen."
De weerstand tegen de academische wereld verergert het probleem. "Mensen kijken neer op het werk dat de academische wereld doet. Ze denken niet dat het werk van de academische wereld enige impact kan genereren." Zelfs binnen bedrijven kunnen onderzoeksgroepen niet delen waar ze mee bezig zijn met productgroepen. Verschillende Google-onderzoekers vertelden Xie na zijn RAE-paper: "Ik heb hier twee weken aan gewerkt, maar mijn manager zei dat je dit niet meer mag doen, we hebben productcyclus één, twee, drie die eraan komen."
Dus vestigt AMI Labs zich in New York, niet in Palo Alto. "De Bay Area is echt een pure tech-bubbel," zegt Xie. "Iedereen kan heel erg gefocust zijn op het doen van één ding. En New York is een meer echte wereld." Die echtheid biedt houvast. Wandelen door Washington Square Park naar zijn NYU-kantoor, straatartiesten zien, moeders met kinderwagens, oude mannen die schaken, studenten die studeren — "Ik vind de wereld veel groter dan we ons voorstellen. Niet iedereen geeft om wat AI is. Ze hebben hun eigen leven."
Dit grondt de vraag: wat zou AI eigenlijk moeten doen? "Hebben we een soort sociale verantwoordelijkheid?" vraagt Xie zich af. "Meer contact met mensen, meer contact met mensen die in deze wereld leven, helpt me begrijpen wat AI is en hoe ik de volgende generatie AI op nieuwe manieren kan bouwen." Het is het gesprek dat Ilya wilde voeren, maar waar Xie nog niet aan toe was.
De ketterij van de schaalwet
Misschien is Xie's meest tegendraadse technische bewering dat visie geen schaalwetten in LLM-stijl nodig heeft en moet willen. "Het model zal niet zo groot zijn," voorspelt hij. "Je hoeft niet alles te onthouden, alle subtiele details in de wereld die je kunt zien." Een wereldmodel lost geen definitieve vergelijkingen op in hoogdimensionale ruimte om te bepalen of appels vallen. "Het heeft niet het hoogste niveau van menselijke intelligentie nodig. Het heeft een goed begripsvermogen nodig om informatie te filteren en te verwerken."
Dit spreekt het Chinchilla-schaalparadigma direct tegen, waarbij rekenkracht C ongeveer gelijk is aan 6 keer tokens N keer parameters D. "Ik denk dat de schaalwet van taalmodellen is gebaseerd op een representatie van kennis," betoogt Xie. "Het kan een relatief gebalanceerde verhouding hebben — je aantal tokens en je parameters moeten ongeveer 1:1 zijn." Maar wereldmodellen die optimaliseren voor besluitvorming in plaats van feitenopvraging zouden radicaal andere verdelingen van rekenkracht kunnen hebben.
De biologische analogie is precies. Mensen nemen ongeveer één miljard bits per seconde op via alle zintuigen samen — visie alleen al verwerkt een enorme bandbreedte. Maar de gedragsoutput is slechts 10 tot 100 bits per seconde. "Wat voor model is ons brein dat bij twintig watt aan vermogen één miljard bits per seconde opneemt en het omzet in 10 bits per seconde aan gedragsoutput?" Het filtersysteem is van het grootste belang, niet de database.
Dit suggereert kleinere modellen die veel meer data verwerken, met andere efficiëntiecurves. Het model schaalt niet lineair met het datavolume omdat het compressie en voorspelling leert, geen memorisatie. "We kunnen in verschillende fasen te werk gaan," zegt Xie. "Begin met internetdata, begin met YouTube." Maar de verdeling van rekenkracht zal verschillen — "een groter deel zou kunnen worden gebruikt voor video" met gecombineerde generatieve en discriminerende methoden plus taal, niet alleen voorspellingsverlies.
Het probleem van menselijke arrogantie
Aan het einde van het gesprek werd Xie gepassioneerd over wat hij "menselijke arrogantie" noemt — de aanname dat menselijke intelligentie intelligentie zelf definieert. Hij had "Are We Smart Enough to Know How Smart Animals Are?" van primatoloog Frans de Waal gelezen en ontdekt dat veel zogenaamd unieke menselijke eigenschappen bij verschillende diersoorten bestaan. Gereedschapgebruik, zelfherkenning in spiegels, 'theory of mind', zelfs politieke manoeuvres onder chimpansees zoals beschreven in De Waals "Chimpanzee Politics".
Struikgaaien begraven voedsel, maar als ze merken dat een soortgenoot toekijkt, wachten ze tot die vertrekt en graven ze de cache op om hem elders opnieuw te begraven — redeneren over een verborgen toestand. "Taal is inderdaad uniek, alleen mensen hebben het, maar dat betekent niet dat andere dieren niet communiceren," merkt Xie op. Walvissen hebben hun eigen taal.
Dit herkadert de uitdaging van AI. De opmerking van Rich Sutton in de podcast resoneerde diep: "Je denkt dat deze dingen geweldig en indrukwekkend zijn, dat ze moeilijk zijn? Dat denk ik niet. Ik denk dat het bouwen van de intelligentie van een eekhoorn het moeilijke probleem is." Zodra je de intelligentie van een eekhoorn kunt bouwen — met zijn eigen doelen, intrinsieke beloningen, emoties, sociale gedragingen — "zijn code schrijven, naar Mars gaan, naar de maan gaan, die dingen de makkelijke."
Vanuit menselijk perspectief lijkt dit absurd. Vanuit het perspectief van het universum is het voor de hand liggend. "Als je menselijke arrogantie opzij zet, is het bouwen van de intelligentie van een eekhoorn eigenlijk een moeilijker probleem," volhardt Xie. En robotica wordt de test. Kunnen we iets bouwen dat betrouwbaar genoeg is om te functioneren als een 12-jarig kind dat huishoudelijke klusjes doet? Huidige robots hebben bovenmenselijke ledematen maar breinen op het niveau van een zuigeling. "Niemand bouwt het brein."
De onderzoeksfilosofie
Als een rode draad door alles loopt Xie's visie op onderzoek als inherent niet-lineair. "Het slechtste werk is wanneer je startidee hetzelfde is als je eindidee," zegt hij. "Je bent geen obstakels of moeilijkheden tegengekomen. Dit laat zien dat je idee saai is." Goed werk vereist twee maanden van fladderende verkenning waarbij "je deze onderliggende melancholie hebt omdat je geen licht ziet," gevolgd door een plotselinge convergentie in de laatste maand voor de deadlines.
De verkenning kan niet doelloos zijn. Kaiming He leerde hem experimenten bij te houden in Excel-spreadsheets die ontworpen zijn om de informatiewinst te maximaliseren — niet te schaars (onduidelijk signaal) of te dicht (betekenisloze ruis). "Elk experiment moet je geven wat ik zojuist deze gradiënt noemde," legt Xie uit. Mislukte experimenten bieden vaak grotere gradiënten dan succesvolle. "Zolang je niet weet welke kant je op moet — dat is het meest gevreesde ding."
Ideeën komen voort uit dit proces, niet uit speculatie vanuit de leunstoel. "Als je een idee wilt bedenken door alleen maar na te denken, is het zeker geen goed idee," zegt Xie, terwijl hij Kaiming kanaliseert. Of je bent slimmer dan iedereen (onwaarschijnlijk), of 10.000 mensen wereldwijd denken hetzelfde (je verliest de race), of het is een slecht idee dat anderen al hebben geprobeerd (je verspilt tijd). Echte ideeën komen voort uit doen — baselines reproduceren, uitbreidingen maken, verrassende observaties vinden.
Het doel is niet impact, een woord waar Xie "een beetje een afkeer van heeft" omdat het te agressief en mannelijk is. Hij geeft de voorkeur aan de kadrering van Hannah Arendt: onderzoek is voor het begrijpen zelf, en het verspreiden van begrip creëert resonantie, een "gevoel van familie" met degenen die begrijpen wat jij hebt begrepen. "In staat zijn om bepaalde dingen te begrijpen, en wat ik begrijp kan op de een of andere manier enige invloed hebben op de ontwikkeling van de wereld of AI — ik denk dat dit iets is waar ik nu erg om geef."
Dit maakt onderzoek tot een oneindig spel, geleend van het gelijknamige boek. Je optimaliseert niet de gemiddelde kwaliteit van papers, maar de maximale — je kenmerkende werk. "Je hoeft in je leven echt maar één keer te slagen," zegt Xie. Een paar keer brengt je naar de top. Dit is waarom hij tegen studenten kan zeggen dat hij vijf stages deed tijdens zijn PhD en de helft niets opleverde, of kan toegeven dat hij geen 'best paper' heeft gehad sinds Holistically-Nested Edge Detection (HED) uit 2015, ondanks duizenden citaties.
De underdog-identiteit
Ondanks de record-zaaironde benadrukt Xie dat AMI Labs "volledig een underdog-bedrijf" is. Yann LeCun is "iemand die vasthoudt aan zichzelf en altijd probeert het volgende te doen, maar dat ding is nog niet bewezen." Het bedrijf staat onder druk van de sector, vereist een zuinige inzet van middelen en zet alles op een tegendraadse visie. "We hebben misschien veel opgehaald, maar vergeleken met de middelen die LLM's nu mobiliseren, is dit gewoon — ik weet niet welk percentage, het is zo ver weg."
Maar underdog zijn spreekt Xie's onderzoeksidentiteit aan. "Hoe meer je niet in me gelooft, hoe gelukkiger ik ben," grijnst hij. "Kan grootsheid niet worden gepland?" vraagt hij, verwijzend naar het boek "Why Greatness Cannot Be Planned." Het antwoord is ja — je hebt verkenning nodig, geleidelijke vorming van ideeën, bereidheid om te draaien. "Ik denk dat dit ook geldt voor startups."
De reis vertoont al tekenen van de niet-lineariteit die Xie beschrijft. Ze hebben "dingen om aan te werken" met "vrij veelbelovende resultaten die binnenkort komen." Een aanstaand paper genaamd Solaris (vernoemd naar de Tarkovsky-film over een oceaan die menselijke herinneringen materialiseert) zal videogeneratie demonstreren, maar belangrijker nog, het fundament van representatie-leren bevorderen. Tegen maart zullen ze waarschijnlijk meer te laten zien hebben.
Het team van 25 mensen bevat er verschillende die wegliepen van aandelenpakketten met acht cijfers bij OpenAI, Google, Meta. "Waarom? Ik denk dat we misschien allemaal een beetje gek zijn," zegt Xie. "Iedereen beseft dat dit eigenlijk nodig is. Aan de ene kant is het enigszins een tegen-consensus-visie, maar aan de andere kant is het het afgelopen jaar geleidelijk een consensus geworden." De consensus is simpel: wat er nu is, is niet genoeg. Iemand moet het voorspellende brein bouwen.
De skimetafoor
Xie is onlangs begonnen met skiën en vindt daarin een metafoor voor ondernemerschap. "Ten eerste is skiën een sport die draait om balans. Ten tweede moet je onbevreesd zijn en je schouders de helling af richten," legt hij uit. Het instinct schreeuwt om achterover te leunen, weg van het gevaar, maar dat garandeert een val. "Alleen als je angst volledig loslaat, met genoeg moed, en je schouders naar de helling richt, word je stabieler."
De hymne van de mensheid is de hymne van moed, citeert hij uit JoJo's Bizarre Adventure. En moed groeit door kameraadschap. "You never walk alone," voegt hij eraan toe, lenend van zijn geliefde Liverpool FC. Klopp's zelfbeschrijving als "niet de speciale" maar "de normale" resoneert — iemand die fungeert als een batterij voor het team, anderen oplaadt in plaats van de schijnwerpers op te eisen.
In startups, net als in onderzoek, gelooft Xie, heb je die batterijrol nodig, zelfs als je ontmoedigd bent. "Ik voel me elke dag ontmoedigd," geeft hij toe. "Ik denk dat het een soort lot van de onderzoeker is geworden. Iedereen heeft deze onderliggende melancholie omdat het proces is als tasten in een donkere, lichtloze plek." Vreugde komt alleen in korte flitsen wanneer iets werkt — misschien 5 of 10 procent van de tijd.
Maar de melancholie verdwijnt als hij door Washington Square Park wandelt en mensen hun leven ziet leiden, totaal onbezorgd over AI. "Ik vind mijn meest stressverlichtende momenten elke dag deze wandeling van ongeveer 5 tot 10 minuten," zegt hij. "De wereld is groot." En misschien is dat het diepste argument voor wereldmodellen boven taalmodellen — de eerste ambieert tenminste om zich met die grootsheid, die verbijsterende fysieke werkelijkheid, bezig te houden, in plaats van alleen de gecomprimeerde taalkundige schaduw die het werpt.
De JEPA-reis
Xie's evolutie wat betreft LeCun's JEPA (Joint-Embedding Predictive Architecture) weerspiegelt zijn reis van de academische wereld naar de startup. "Ik ging door verschillende fasen: twijfelen aan JEPA, JEPA begrijpen, JEPA worden," lacht hij. Eerst leek het "weer een zelf-gesuperviseerd leeralgoritme." Toen zag hij geleidelijk diepere logica. Recent werk zoals LeJEPA met rigoureuze bewijzen toonde aan dat goede representaties isotrope Gaussisch moeten zijn — een specifieke wiskundige eigenschap.
Maar het echte inzicht was beseffen dat "JEPA geen model is, geen specifiek algoritme. JEPA is een complete cognitieve architectuur." In LeCun's paper uit 2022 "A Path Towards Autonomous Machine Intelligence" omvat JEPA wereldbegrip, voorspelling, planning — de volledige stack. "Dit gaf me nieuwe inzichten in JEPA en ik ontdekte dat JEPA eigenlijk geen specifieke methode is zoals mensen buiten de sector vaak zeggen. Zo is het niet."
In plaats daarvan is JEPA "een zeer uitgestrekte oceaan, en in deze oceaan kunnen veel schepen varen." LLM's zijn er een onderdeel van. Videogeneratie is er een onderdeel van. De visie is niet om te krimpen naar LLM-beperkingen, maar om "bewust groot te denken, genoeg ruimte voor ons te hebben om te verkennen, op te schalen, totdat we een soort nieuwe doorbraak bereiken." Wanneer precies? Niemand weet het. Maar het is een pad waar Xie "bereid is mijn leven in te investeren om te bewandelen."
De 42-vraag
Het gesprek eindigt waar het moet eindigen: met het universum en het lot. Is deze wereld een gigantisch wereldmodel? "Natuurlijk is de wereld een gigantisch wereldmodel," antwoordt Xie. Kun je het lot dan voorspellen? "Dat denk ik niet." Waarom niet? "We hebben niet genoeg middelen. Je zou een computer zo groot als de aarde, of de grootte van het hele universum, nodig hebben om je het antwoord te geven over het leven, over het universum, over alles."
En dat antwoord, zoals Douglas Adams beloofde, zou uiteindelijk 42 kunnen zijn — tegelijkertijd precies en nutteloos zonder de vraag te kennen. Misschien is dat het punt. Wat Xie bouwt is geen systeem dat alles voorspelt, maar een systeem dat intelligent filtert, hiërarchisch verwerkt en passend handelt in een onherleidbaar complexe wereld. Geen alwetendheid, maar competentie. Niet AGI als apotheose, maar intelligentie als participatie.
Voor nu wandelt hij elke dag door Washington Square Park, kijkt hoe de wereld de wereld is, slaat dat op in welk wereldmodel er ook in zijn eigen brein draait, en vertaalt het op de een of andere manier naar de volgende architectuur, het volgende paper, de volgende stap naar het downloaden van de mensheid in plaats van alleen het internet. Of het 25-koppige team in New York dit daadwerkelijk kan waarmaken tegen het volle gewicht van de sector, valt nog te bezien. Maar de overtuiging dat iemand het moet proberen, en dat de huidige paden onvoldoende zijn, brandt door elk woord heen.