DruckFin

Physical Intelligence-transcript: Sergey Levine over de schaling van humanoïde robotica, generalisatie en ecosysteemuitdagingen

2 september 2026 | Sergey Levine in gesprek over de stand van zaken rond fysieke AI en humanoïde robotica

Inleiding

Sergey Levine: Voor mij is dat eerlijk gezegd onvoorstelbaar, omdat het basismodel helemaal niet op menselijke data is getraind.

Host: Dit is Sergey Levine, een van de toonaangevende roboticatenderzoekers ter wereld, en ik vroeg hem het hemd van het lijf over de huidige stand van zaken in de humanoïde robotica. Wat zijn de meest verbazingwekkende opkomende capaciteiten die je tot nu toe hebt gezien?

Sergey Levine: Ik denk niet dat iemand die die evaluatie bekeek, had verwacht dat de robot dit zou doen.

Host: Ik heb hier wat vragen over China. Daar valt simpelweg niet aan te ontkomen. Als humanoïde robotica er niet in slaagt om binnen een enkele jaren door te breken, wat zou volgens jou dan de meest waarschijnlijke reden voor die mislukking zijn? Hier is de volledige aflevering.

Waar we nu staan op het gebied van roboticaschaling

Host: Grote taalmodellen hebben gezorgd voor een ongekende impact en investeringsgolf in dat vakgebied. Fysieke AI en humanoïde robots zouden wel eens een nog grotere impact kunnen hebben. Ik wilde je vandaag vragen waar we nu staan met humanoïde robotica en hoe jij je voorstelt dat deze technologie daadwerkelijk in de praktijk wordt gebracht.

Sergey Levine: Wat we de afgelopen jaren – of liever gezegd het afgelopen decennium – van machine learning hebben geleerd, is dat het werkt wanneer je het op schaal toepast. Dit is nu heel logisch, maar dat is niet altijd zo geweest. Er is wel een kanttekening: je moet het juiste element schalen. Toen mensen aanvankelijk aan taalmodellen begonnen te werken, was het dominante ontwerp bijvoorbeeld LSTMs. Sommige mensen herinneren zich die misschien nog. Ze deden het redelijk. Ze waren een stuk betere dan wat eraan voorafging, maar ze schaalden niet echt goed. Het grote voordeel van transformers was niet dat ze nu zo bijzonder wiskundig elegant waren of iets dergelijks; het was simpelweg dat ze beter schaalden. Ze waren eenvoudiger te trainen op zeer grote hoeveelheden data met tal van parameters.

Technologie ontwikkelt zich in fasen. Eerst ontdek je wat je kunt schalen, oftewel wat de schaalbare technologie is, en vervolgens zet je vol in op een industriële inspanning waarbij je grote hoeveelheden data en modelgroottes toevoegt. Dat is het moment dat de magie ontstaat. Wanneer we meer fundamentele technologische ontwikkeling doormaken, is het cruciaal om te begrijpen wat die schaalbare hefbomen zijn. Je bepaalt het ontwerp, stelt grofschappelijk de mengverhoudingen vast, en dat levert op zich al iets heel moois op, maar dat is nog niet de factor die de wereld werkelijk verandert. Het is pas wanneer je aan die hefboom begint te trekken dat de boel daadwerkelijk verandert.

Bij LLM's, toen de eerste GPT-modellen met GPT-2 verschenen, deden die wel het een en ander, maar het had wat weg van een trucsje. Je kon het model een verhaal laten synthetiseren over eencorns in Peru of iets dergelijks, en het was coherent Engels, maar het was geen toepassing die tal van reële problemen oploste. De mensen die hieraan werkten, zagen min of meer in dat er iets magisch gebeurt: naarmate je meer data toevoegt en het model vergroot, worden deze systemen coherenter en effectiever. Ze begrepen dat als we dit op veel grotere schaal zouden doen, het enorm krachtig zou worden.

Om terug te komen op je vraag: over robotica zou ik willen zeggen dat we ons nog niet in het GPT-4- tot GPT-5-stadium bevinden, waarin er sprake is van een industriële inspanning om het model te vergroten en er meer capaciteit uit te persen. We bevinden ons in het stadium waarin we de fundamentele technologieën aan het vastleggen zijn. Daarom moet je op dit moment niet per se verwachten dat het model elke maand groter en krachtiger wordt volgens een voorspelbare schaalcurve. De schalingseigenschappen zelf evolueren naarmate we de juiste technologieën ontwikkelen.

Om dit weer wat dichter bij de werkelijkheid te brengen: ik ben erg tevreden met de demo's die we hier bij Physical Intelligence neerzetten, en ik vind veel van de resultaten die anderen presenteren echt indrukwekkend. Maar om dat in perspectief te plaatsen: we moeten niet verwachten dat dit de toepassingen zijn die de kracht van schaling daadwerkelijk demonstreren. We moeten verwachten dat hiermee de fundamentele technologieën worden ontwikkeld die pas daarna worden opgeschaald. Waar we naar mijn mening nu staan, is dat we al die puzzelstukjes op hun plek aan het leggen zijn, en ik denk dat we al heel dichtbij zijn. Veel puzzelstukjes vallen op hun plaats. Wat het zo lastig maakt om te voorspellen waar de technologie naartoe gaat, is dat we ons nog niet in die voorspelbare schaalconcurrerende fase bevinden. We zitten in de fase waarin we de puzzelstukjes aan het uitvogelen zijn, wat ik erg spannend vind, maar dat betekent ook dat het erg lastig is om te voorzien wat de coëfficiënten daarvan zullen zijn.

Meest verrassende capaciteiten en semantische fouten

Host: Wat zijn de meest verbazingwekkende opkomende capaciteiten die je tot nu toe hebt gezien?

Sergey Levine: Dat is het allerleukste, en we zien dat de vaart er de laatste tijd zeker flink in zit. In het prille begin ging het om kleinigheidjes, maar die voelden toch magisch aan, omdat dergelijke dingen in de robotica – ruwweg vóór 2024 – simpelweg nooit gebeurden. Die kleine dingen van zo'n twee jaar geleden: dan zagen we bijvoorbeeld dat we ons beleid trainden voor het opvouwen van was, waarbij de robot losse shirts uit de wasmand haalt en probeert ze op te vouwen. Een levendige herinnering die ik heb uit eind 2024 is dat ik keek naar een evaluatie waarin de robot twee shirts tegelijk uit de mand haalde. Ik zit te kijken en denk: 'Dit is verkeken, het is onmogelijk dat dit goed gaat.' Vervolgens legt hij de twee shirts op tafel, haalt ze uit elkaar, legt er een van terug en begint de andere op te vouwen. Achteraf kun je wat speurwerk verrichten om te herleiden uit welk trainingsgegeven hij dat heeft gehaald, maar dat was zo'n moment waarop ik denk dat niemand die naar die evaluatie keek, had verwacht dat de robot dit zou flikken. Hij vertoont het soort gezond verstand dat je van mensen verwacht.

Sterker nog, wat ik de laatste tijd eigenlijk nog interessanter vind, zijn sommige van de gemaakte fouten. Een opmerkelijke eigenschap van LLM's was dat zodra ze goed genoeg werden, zelfs hun fouten ergens op sloegen in die zin dat het geen krankzinnige fouten waren waarbij er continu willekeurige tekens werden uitgespuugd, maar fouten die semantisch steek hielden. We hadden vorig jaar een evaluatie voor π0 waarbij de robot een keuken aan het opruimen was, en de opdracht kreeg om al het keukengerei op te ruimen, zoals wat spatels en lepels. Hij probeert de la te openen waarvan hij denkt dat het bestek daarin hoort, maar krijgt die la niet open. Dus schuift hij op, opent de oven direct ernaast en begint daar de spullen in te leggen. Je kunt je voorstellen dat als je een kind vraagt om op te ruimen en spullen op te bergen, die er misschien ook voor kiest om dat zo te doen: het is immers een bak, je kunt er spullen in kwijt en niemand ziet het.

Een ander experiment betrof het afwassen van alle borden. De robot pakte de borden op, waste ze af met een spons en zette ze op het afdruiprek. Dit was een experiment rondom het geheugen, omdat hij moet bijhouden wat hij allemaal aan het doen is. Hij beschikt over een soort kladblokgeheugen waarin hij noteert dat hij 3 borden had, het grijze bord heeft schoongemaakt en het groene bord heeft schoongemaakt. Vervolgens laat hij er een van op de grond vallen, rijdt het onderstel erboven zodat je het niet meer kunt zien, en concludeert dat hij het grijze bord heeft schoongemaakt en klaar is. Uiteraard zijn dit niet de dingen die we willen zien, maar het is interessant dat sommige van de fouten bijna doen denken aan wat je zou verwachten van een kind dat een taak probeert uit te voeren. Nu moet hij alleen nog even volwassen worden.

Lessen uit de autonome autorijden

Host: Je noemde de ontwikkelingen die overal in de industrie plaatsvinden. Ik weet dat er veel partijen bezig zijn met het bouwen van humanoïde robots. Er is Figure, er is Tesla en er zijn tal van andere concurrenten. Jij hebt de expertise om te beoordelen wat lastig is en wat niet. Als je naar de concurrentie kijkt, is er dan een ontwikkeling of prestatie geweest waarvan je dacht: dat is werkelijk bewonderenswaardig en indrukwekkend?

Sergey Levine: Ik vind persoonlijk dat een van de meest inspirerende dingen in de industrie de doorbraak is die autonome rijsystemen hebben doorgemaakt. Een van de kritiekpunten die roboticatenderzoekers soms te horen krijgen, is dat het op kernfusie lijkt: de technologie van de toekomst die altijd in de toekomst blijft. Dat werd vroeger ook over zelfrijdende auto's gezegd. En kijk nu: we zijn in San Francisco, je kunt naar buiten stappen, een Waymo instappen en die brengt je daadwerkelijk naar je bestemming zonder dat er een chauffeur achter het stuur zit.

Zonder te diep op de technische details in te gaan, is het echte inspirerende hieraan het bewijs dat je zo'n technologie van de toekomst daadwerkelijk tot leven kunt wekken. Ik denk dat het geen toeval is dat dit nu, halverwege de jaren 2020, lukt; veel van de puzzelstukjes voor grootschalige machine learning zijn immers op een niveau beland waarop we ze kunnen combineren met fysieke systemen. Er zijn uiteraard talloze verschillen tussen autorijden en robotmanipulatie, maar het voorbeeld dat we op leerdomeinen gebaseerde technologieën daadwerkelijk in de echte fysieke wereld kunnen toepassen, is ontzettend inspirerend.

Impact van AI-koplopers die de robotica betreden

Host: Als OpenAI of Anthropic zwaarder zou gaan investeren in robotica, hoe zou dat volgens jou de industrie beïnvloeden? Denk je dat concurrenten zich daar zorgen over zouden maken?

Sergey Levine: Robotica is een vakgebied waar het ecosysteem, om eerlijk te zijn, lang niet zo gezond is geweest als in andere takken van machine learning. Daarmee bedoel ik dat computervision en natuurlijke taalverwerking (NLP) zich op natuurlijke wijze lenen voor een op machine learning gebaseerd ecosysteem, omdat er vrij beschikbare data voorhanden is. Mensen accepteren algemeen dat ze gebruik gaan maken van lerende systemen. Er zijn minder acute zorgen over fysieke veiligheid. Men maakt zich terecht zorgen over AI-veiligheid, maar dat is van een andere orde dan een fysiek apparaat dat daadwerkelijk lichamelijke schade berokkent. Om die reden is het een stuk eenvoudiger om op die terreinen een zeer serieus, grootschalig machine learning-initiatief van de grond te tillen.

Robotica is van oudsher geen discipline waarin het delen van data bijvoorbeeld sterk is verankerd. Hoe meer activiteit er ontstaat rondom lerend vermogen in de robotica, hoe meer ik denk dat dit de denkwijze van mensen zal verschuiven naar een toekomst waarin we accepteren dat robots worden aangestuurd door aangeleerde modellen in plaats van handmatig ontworpen regelaars. Er zullen data zijn, en die data zullen gedeeld moeten worden, want het is onmogelijk voor één enkele speler om in een specifiek marktsegment een echt grondslagenmodel (foundation model) te bouwen. Het zal in feite de hele manier van denken over robotica veranderen, zodat het meer gaat lijken op hoe we tegen vision en NLP aankijken, in plaats van de traditionele fabrieksautomatisering. In die zin ben ik trots op het werk dat we bij Physical Intelligence verrichten, maar er is meer dan één bedrijf nodig om ieders denkrichting die kant op te buigen.

Chinese robotica en ecosysteemdynamiek

Host: Als buitenstaander zie ik op Twitter van die indrukwekkende demonstraties van Chinese robotica. Het voelt bijna alsof ze op een bepaalde manier vooropliggen, maar ik mis de diepgaande domeinexpertise. Ik was benieuwd naar jouw gedachten over de Chinese robotica en of zij inderdaad verder zijn gevorderd.

Sergey Levine: Ik denk dat het voor degenen onder ons die in de Verenigde Staten en Europa aan deze technologieën werken erg nuttig en constructief is om te vragen wat we hiervan kunnen leren. Voor mij is een van de lessen dat het cruciaal is om een gezond ecosysteem te hebben. Een ecosysteem betekent dat er uiteraard goede onderzoekers en ingenieurs aan deze vraagstukken moeten werken, en dat er sprake moet zijn van gezonde open source. Maar het betekent ook dat de verschillende industrieën die bijdragen aan de robotica individueel erg gezond moeten zijn. Die industrieën beperken zich niet tot computerwetenschap, ML en modelbouw; het gaat ook om toeleveringsketens, productie en hardware-R&D. Dat zijn stuk voor stuk essentiële componenten.

Bepaalde aspecten daarvan gaan de Verenigde Staten best aardig af, terwijl op andere terreinen de teugels wat zijn laten vieren. We moeten goed kijken naar wat er wereldwijd gebeurt, letten op de uitstekende resultaten die Chinese en andere internationale laboratoria boeken, en daaruit de les trekken dat we moeten streven naar de opbouw van een gezonder ecosysteem. Dat vergt investeringen in al die verschillende facetten die hieraan bijdragen. Ik ben geen zakenman of investeerder, dus ik kan niet beweren te weten hoe je dat precies aanpakt, maar het is belangrijk om ten volle te omarmen dat dit een holistische inspanning is en niet iets waarbij we slechts één onderdeel kunnen aanpakken en al de rest kunnen uitbesteden.

Host: Als je kijkt naar al die onderdelen van het ecosysteem, zijn er dan segmenten die, mits verbeterd in de VS, de grootste impact zouden hebben op de vooruitgang van de robotica?

Sergey Levine: Zeker weten, de beschikbaarheid van betrouwbare, goedkope hardware weegt zwaar. Momenteel komt een groot deel van de hardware die in het roboticatenderzoek wordt gebruikt inderdaad uit China. Het is goed, relatief goedkoop, van hoge kwaliteit en voldoet aan de standaarden die mensen doorgaans nodig hebben. Het zou buitengewoon prettig zijn om dat ook allemaal binnenlands te kunnen betrekken. Ik denk niet dat daar iets onmogelijks aan is; het is simpelweg een kwestie van erkennen dat het hele ecosysteem ondersteund moet worden in plaats van slechts één enkel puzzelstukje.

Het data-vliegwiel en schalingsmijlpalen

Host: Je kunt je voorstellen dat het laboratorium dat als eerste opschaalt, als eerste zal doorbreken. Er treedt mogelijk een exponentiële groei-effect op waarbij inzet helpt om sneller te groeien, en sneller groeien helpt om breder in te zetten, wat dit vliegwiel creëert. Geloof jij dat dit in deze industrie gaat gebeuren: dat één lab, hetzij in de VS of China, een doorbraakpunt bereikt en plotseling ver voorliggt op alle anderen?

Sergey Levine: Daar zit een grote kern van waarheid in. Er is wel een belangrijk detail om in gedachten te houden: je moet het juiste element schalen. Het hebben van een effectieve positieve feedbackloop waarin meer ingezette robots zich vertalen naar meer modelcapaciteit, is de sleutel. De kneep zit hem in het feit dat er talloze manieren zijn om dit verkeerd aan te pakken.

Een treffend voorbeeld: stel dat ik een autobedrijf ben en ik heb een robotarm die auto's last aan de lopende band. Die last dagelijks auto's en bereikt maandelijks 1.000.000 lasverbindingen. Als ik dat simpelweg als mijn data-vliegwiel inzet, is de kans klein dat ik daarmee een capabeler systeem ontwikkel dan een robot die auto's last. Aangezien de robot er al staat en dat werk al verricht, is de marginale verbetering daarvan niet bijster waardevol. Dit illustreert waarom je het juiste element moet schalen; data zijn namelijk niet zomaar onderling uitwisselbaar zoals elektriciteit of olie. Je kunt er niet simpelweg meer van inkopen; data moeten heterogeen zijn. Je moet het juiste element schalen met de juiste technologie en de juiste bron van diverse leerervaringen. Data lijken meer op een opleidingstraject voor je robot dan op een inwisselbare grondstof.

Host: Als je nadenkt over dat data-vliegwiel en het uitrollen van het juiste platform dat data genereert die ertoe doen om dat platform te verbeteren, wanneer zie je dit dan voor het eerst echt gebeuren in de wereld?

Sergey Levine: Aan de technologische kant ontwikkelen de zaken zich in hoog tempo die kant op. Een delicate balans die sterk bepalend zal zijn voor die tijdlijn, is hoeveel structuur men bereid is los te laten. In het uiterste geval zou je direct de sprong kunnen wagen naar volledig ongestructureerde inzetdomeinen, zoals huishoudelijke robots. Dat kan erg spannend zijn omdat je meteen vanaf dag één enorm veel diversiteit hebt, maar de lat ligt veel hoger om effectief en veilig genoeg te zijn; veiligheid is immers een veel groter vraagstuk rondom mensen in hun eigen huis.

Aan de andere kant van het spectrum kun je denken aan veel meer gestructureerde taken. Misschien niet direct die lasrobot, maar de robot verderop in de gang die iets ietwat minder gestructureerd aanpakt. Dat zou een eenvoudiger domein kunnen zijn in de zin dat er minder veiligheidszorgen spelen, omdat de robot zich mogelijk rondom getrainde mensen bevindt en de taak voorspelbaarder is. Echter, de marginale waarde van elk brokje data dat je in dat domein vergaart, is lager omdat er minder variatie is. Je kunt vroeger van start gaan maar met een kleinere hellingshoek, of later met een grotere hellingshoek, en dat moet je zien te kalibreren. Mijn gevoel is dat, ongeacht van welke uiterste we spreken, we het over een tijdspanne van enkele jaren hebben in plaats van decennia. De meer gestructureerde toepassingen zien we mogelijk nu of volgend jaar al ontstaan. De minder gestructureerde duren wellicht nog enkele jaren langer, maar vermoedelijk geen heel decennium.

Roadmaps, generalisatie en tests in de praktijk

Host: Veel mensen praten over tijdlijnen en het blijft vaak nevelig. Als je mijlpalen zou moeten vastleggen richting dat ultieme doel van een robot in huis, hoe zou die roadmap er dan uitzien?

Sergey Levine: Er is één punt van groot belang over robotica dat erg gemakkelijk verloren gaat in de hype en de demonstraties die partijen tonen: het lastige punt in de robotica is altijd de generalisatie geweest. Wanneer iemand een demonstratie van zijn systeem toont, maakt die enkele demo doorgaans niet duidelijk welk niveau van generalisatie er daadwerkelijk wordt bereikt. Zeer acrobatische robotdemo's zijn bijvoorbeeld ontzettend gaaf om te zien. Maar doorgaans, als het om een ingestudeerd kunstje op een podium gaat, is het letterlijk niet meer dan een show. Dat staat mijlenver af van het betrouwbaar en onder alle omstandigheden uitvoeren van een taak in een willekeurig huis.

Dat generalisatiestuk oogt op zichzelf vaak niet eens zo indrukwekkend, omdat generalisatie nu eenmaal een eigenschap is die uit vele pogingen blijkt in plaats van uit een enkele demonstratie. Misschien zie je de robot iets heel alledaags en onopvallends doen, maar wat het spannend maakt, is dat hij dat uitvoert met een object dat hij nog nooit eerder heeft gezien in een omgeving die nooit eerder is getest. Dat is in de praktijk een stuk lastiger dan het uitvoeren van een acrobatische achterwaartse salto die hij een miljoen keer heeft geoefend.

De roadmap draait volledig om het bereiken van betere generalisatie en het inrichten van een mechanisme om meer generalisatie te vergaren naarmate je vordert. Een concrete stap op die roadmap is het tonen van een tastbaar bewijs van een robotsysteem dat beter wordt door autonome praktijkervaring opgedaan in een omgeving waarvoor het niet oorspronkelijk is getraind. Je traint het model op de achtergrond, plaatst het in een nieuwe omgeving – of dat nu een woning is of een fabriek waar echt werk wordt verricht – en het doet het redelijk. Na verloop van tijd presteert het echter steeds beter totdat het een praktisch relevant niveau van robuustheid bereikt zonder halverwege op een plafond van 50% te stuiten. Dat zou een belangrijke mijlpaal zijn. Als dat werkelijk een geautomatiseerd proces is dat zichzelf verbetert naarmate het nuttige ervaringen opbouwt, kun je het in talloze verschillende domeinen inzetten om ervaring op te doen, nuttig werk te verrichten en het model te verfijnen.

Een andere belangrijke stap is het aantonen van een concrete en praktisch bruikbare methode om gezond verstand (common sense) over te dragen teneinde robuustheid te garanderen. Dit is het scenario waarin je niet vooraf kunt oefenen. Als je over de snelweg rijdt en een brandweerauto en pylonen ziet staan, zegt je gezonde verstand je – zelfs als je nooit eerder in die situatie hebt verkeerd – om je snelheid te matigen in plaats van blind door de pylonen heen te beuken. Als we dat gezonde verstand kunnen inzetten om effectief te herstellen van onverwachte situaties – zoals toen de robot de spatel in de oven legde en zelf moet inzien dat hij die er weer uit moet halen – vertelt ons dat we gezond verstand kunnen benutten om fouten te herstellen.

Host: Ik kan me een nauw afgebakende robot voorstellen, zoals een humanoïde robot die een enkele stap op een assemblagelijn uitvoert. Naar mijn begrip ben je daar minder in geïnteresseerd, omdat dat niet echt een stap richting algemene intelligentie is.

Sergey Levine: Het is niet zo dat ik daar minder in geïnteresseerd ben. Het punt is dat de echte wereld ‘lekke abstracties’ kent die dat soort vraagstukken een stuk complexer maken dan ze lijken. In de jaren negentig, toen men volop begon te werken aan autonome voertuigen, heerste het idee dat we tal van lastige problemen konden vermijden door de omgeving te voorzien van instrumenten: magnetische sensoren langs de snelweg en zenders op auto’s zodat ze van ieders positie op de hoogte zijn, vergelijkbaar met de luchtvaart. Men dacht dat we geen geavanceerde AI nodig hadden, maar simpelweg sensoren, en dat het dan wel zou werken. Dat liep op niets uit, omdat de werkelijkheid nu eenmaal bol staat van de rommelige uitzonderingen en speciale gevallen. Zelfs als magnetische sensoren 99% van de tijd functioneren, zorgt die ene procent waarin iemand plotseling de straat op stapt of er ergens een stuk afval ligt ervoor dat alles in de soep loopt.

Wat uiteindelijk wel werkte, was de beslissing om het lastige probleem niet uit de weg te gaan: auto's direct inzetten in rommelige omgevingen zoals San Francisco en de problematiek recht in de ogen kijken. Robotmanipulatie zal niet anders zijn. Voorbij de volledig gestructureerde wereld van de fabriek geldt: als je zelfs maar een klein stapje daarbuiten wilt zetten, betekent die enkele procent aan onvoorziene gebeurtenissen dat het volledige probleem in zijn volle omvang moet worden aangepakt – zelfs als 99% van de tijd probleemloos verloopt.

Host: Dit doet me denken aan die demonstratie van Figure waarin ze live streamden hoe de robot pakketjes sorteerde. Demonstreert dat volgens jou generalisatie?

Sergey Levine: Ja, dat vind ik wel. Dit is iets wat ik erg bemoedigend vind. Omdat het lastig is om generalisatie in een video over te brengen, denken talloze partijen op creatieve wijze na over hoe ze iets in één oogopslag kunnen presenteren, waarbij ze gebruikmaken van livestream-demonstraties en lange timelapses. Dat is een uitstekende manier om het belang van generalisatie onder de aandacht van het publiek te brengen.

Toen we eind vorig jaar werkten aan het π*0 RL-project, wilden we experimenten uitvoeren met een langere horizon. We lieten onze robot gedurende enkele dagen dozen in elkaar zetten in de Dandelion Chocolate Factory. We deden ook een koffie-experiment waarbij de robot een espressomachine gebruikte om espresso te zetten, en gedurende 13 uur onafgebroken drankjes bereidde. We probeerden milieubewust te handelen en de koffie niet zomaar weg te gooien, dus na 13 uur zat iedereen op kantoor stijf van de espresso. Er ging af en toe wat mis – zoals het morsen van koffiedik dat vervolgens met een doekje moest worden weggeveegd – maar in die 13 uur is er niets ontploft.

Host: Toen de robot koffiedik morste en dat opruimde, deed hij dat dan helemaal zelf?

Sergey Levine: De manier waarop dat experiment was opgezet, is dat er sprake is van hoogwaardige aansturing (prompting) die grofweg elke 5 minuten wordt bijgewerkt tussen semantisch coherente taken door. Je geeft de opdracht om espresso te zetten of de machine schoon te maken, dus het commando om op te ruimen werd door een mens ingegeven. In beginsel zouden we dat kunnen automatiseren. We steken momenteel veel energie in het verbeteren van ons high-level beleid dat met dergelijke opdrachten overweg kan. Bij dat experiment werd elke 5 minuten door iemand bijgesteld wat er van de robot werd gevraagd, net alsof je een latte bestelt in een koffietentje, behalve dat je de robot tussendoor ook nog even moest opdragen om de boel schoon te maken voordat de volgende ronde startte.

Host: OpenAI, Anthropic, Cursor en Vercel gebruiken dit product allemaal om hun werk te vergemakkelijken. Het probleem dat het oplost is dat wanneer je een SaaS- of AI-product bouwt en dat aan andere bedrijven wilt verkopen, je tegen allerlei vereisten aanloopt: SSO, SCIM, RBAC, auditlogs. Het kost tijd om dit te integreren, terwijl dat niet de kern van je applicatie is. WorkOS is een API-laag waarmee je aan al deze eisen kunt voldoen met slechts een paar regels code. Neem een kijkje op workos.com voor meer informatie en om aan de slag te gaan. Ik ben ze dankbaar dat ze deze podcast sponsoren.

Typen data en overdracht tussen verschillende robotlichamen (cross-embodiment transfer)

Host: Op weg naar generalisatie vormen data een cruciaal onderdeel. Er is gesimuleerde data en er zijn fysieke, interactieve data. Wat is jouw visie op de beste data, de slechtste data, en de voor- en nadelen daarvan?

Sergey Levine: Er wordt in de roboticagemeenschap volop over gedebatteerd en men houdt er uiteenlopende meningen op nahouden. Mijn standpunt is dat het model tal van verschillende databronnen veel gemakkelijker kan internaliseren wanneer het deze kan verankeren in een grondig fysiek begrip van de wereld.

Als je leert om een vliegtuig te besturen, maak je tijdens een deel van je training waarschijnlijk gebruik van een simulator. Die simulator is begrijpelijk voor je omdat je al een brok wereldkennis meebrengt om de context te duiden. Je weet dat je kennis vergaart die je in een echt vliegtuig gaat toepassen. Zo is het ook als je iemand ziet koken: hoewel je niet de exacte spierbewegingen van die persoon voelt, beschik je over voorkennis om de handeling op een abstract niveau op te slaan – zoals het toevoegen van zout – zonder dat je daarvoor de gewrichtstrajecten hoeft door te rekenen. Zodra je begrijpt hoe je fysiek dingen kunt doen met je eigen lichaam, kunnen alle andere kennisbronnen daarmee worden verbonden, omdat je belichaamde basis (embodied foundation) alles verankert.

Als we beschikken over een fundamenteel robotmodel dat is getraind op grote hoeveelheden echte, belichaamde data die voor deze fundering zorgen, is het model wellicht stukken beter in staat om andere bronnen van kennis in zich op te nemen. Als we kijken naar het succes van internetdata bij LLM's, is de verleiding groot om te starten met YouTube-video's en daar vervolgens robottdata bovenop te leggen, maar ik denk dat de vork juist anders in de steek zit. Mijn collega Sudeep nam samen met Samarth van Georgia Tech ons fundamentele robotmodel en voegde daar menselijke videodata aan toe bovenop een model dat aanvankelijk op robottdata was getraind. Bij het gebruik van een klein model met minimale robottdata bleken de menselijke ervaring en de robotervaring volledig gescheiden te zijn in de kenmerkweergaven (feature representations). Maar toen het model werd getraind op enorme hoeveelheden robottdata van tal van verschillende robots, groepeerden de kenmerken zich volledig op basis van taakidentiteit in plaats van fysieke verschijningsvorm (embodiment). In de t-SNE-embeds, opgeschroefd naar 100% robottdata, sloot de taakidentiteit naadloos aan met minimale gevoeligheid voor de fysieke vorm. Het basismodel was helemaal niet getraind op menselijke data, maar zodra je menselijke data toevoegt, representeert het die op exact dezelfde wijze.

Host: Is het van belang dat de basismodeldata zijn verzameld met behulp van die specifieke set motoren en gewrichten?

Sergey Levine: We hebben veel tijd gestoken in modellen die overweg kunnen met meerdere robotvormen (cross-embodiment models) en diverse robottapes aansturen, maar over het algemeen heb je wel wat data van de doelrobot zelf nodig om goede prestaties te behalen. De maatstaf voor generalisatie is immers geen zero-shot overdracht naar een volstrekt nieuwe robot, maar juist dat je minder ervaring op die nieuwe robot nodig hebt doordat vaardigheden van andere systemen worden overgedragen.

De hoeveelheid speciale architectuur die daarvoor nodig is, valt verrassend genoeg reuze mee. Aanvankelijk had ik een lang lijstje met onderzoeksideeën om met verschillende morfologieën om te gaan, zoals het ontleden van representaties voor een arm met 6 vrijheidsgraden versus een arm met 7 vrijheidsgraden. We hebben daar niets van gedaan. Het model voert simpelweg een vector van getallen uit, en als de robot minder vrijheidsgraden heeft, vult hij de output aan met nullen (zero-pads). Het model traint over alle robots heen en voert acties uit op basis van wat het via de camera waarneemt.

Om vaardigheden over te dragen tussen robots, helpt het om een tussenliggende denkstap in te bouwen. Denken in tekst is nuttig voor het overdragen van hoogwaardige gedragsstructuren, zoals de wetenschap dat je eerst een la moet openen voordat je bestek opbergt. Voor fysieke taken op een lager niveau voerden we een experiment uit waarbij de denkfase wordt uitgedrukt in beelden: er wordt een beeld gegenereerd van de volgende mijlpaal in de taak. Daarmee kregen we een UR5-robot zo ver dat deze een T-shirt kon opvouwen, terwijl we nul data hadden over het opvouwen van T-shirts op juist die specifieke robot. Het genereren van een afbeelding van hoe een opgevouwen shirt eruitziet is eenvoudig met een generatief model, en het herleiden van de vereiste gewrichtshoeken uit dat gesynthetiseerde beeld is relatief rechttoe rechtaan. Het introduceren van een intermediaire denkstap in de juiste modaliteit maakt generalisatie over verschillende fysieke vormen een stuk eenvoudiger.

Eenvoud van de roboticastack versus autonome voertuigen

Host: Je noemde eerder al dat Waymo inspirerend werkte als bewijs van gegeneraliseerde robotica. Wat geeft jou in het geval van de humanoïde robotica het vertrouwen in een tijdlijn van enkele jaren, vergeleken met de 'long tail' van randgevallen (edge cases) en beleidsuitdagingen waar autonome voertuigen tegenaan liepen?

Sergey Levine: Een groot verschil tussen fundamentele robotmodellen en traditionele, door engineering opgebouwde systemen is dat de softwarestack buitengewoon compact is. Het trainen van een fundamenteel model is lastig vanwege dataprioritering en labelen, maar de daadwerkelijke software die op de robot draait is erg eenvoudig. In termen van het aantal regels code is deze aanzienlijk kleiner dan de stack van een traditioneel autonoom voertuig. Autonome voertuigen begonnen eerder met heel andere erfenistechnologieën (legacy technologies) en kennen strenge veiligheidskritische restricties. Het laten vallen van een breekbaar object met een robotmanipulator is vele malen minder catastrofaal dan een auto die iemand aanrijdt.

Veiligheidsuitdagingen in de robotica zijn reëel, maar vormen geen onoverkomelijk obstakel voor praktische inzet. Je kunt taken, omgevingen en hardware selecteren waar die risico's beheersbaar zijn. De combinatie van een fundamenteel eenvoudigere softwarestack, minder ingrijpende veiligheidsdrempels en het positieve data-vliegwiel maakt tijdlijnen van enkele jaren realistisch.

Premortem op faalscenario's in de humanoïde robotica

Host: Als humanoïde robotica er niet in slaagt om binnen een enkele jaren door te breken, wat zou dan de meest waarschijnlijke reden zijn waarom het is mislukt?

Sergey Levine: Willen deze systemen werkelijk nuttig zijn, dan moeten ze een betrouwbaarheids- en generalisatieniveau bereiken dat hoger ligt dan wat we verwachten van LLM's of generatieve videomodellen. LLM's zijn mensgerichte interactieve tools waarin een gebruiker kan itereren op prompts totdat een taak is opgelost. Bij een robot hangt de volledige waardepropositie af van autonome uitvoering. Als er voortdurend een mens moet ingrijpen, schiet dat het doel voorbij.

Het grootste risico is de complexiteit om die hoge lat van robuustheid te halen. Technieken op het gebied van versterkend leren (reinforcement learning) die gebruikmaken van autonome ervaringen kunnen helpen om de kloof van 95% naar 100% te overbruggen, maar het overwinnen van die laatste loodjes blijft een openstaand technisch vraagstuk dat verdere algoritmische innovatie vereist.

Fundamentele modellen versus gespecialiseerde specialisten

Host: Volgt iedereen binnen de roboticamodellering dezelfde aanpak, of zijn er uiteenlopende, contrasterende opvattingen?

Sergey Levine: Er is meer heterogeniteit dan het lijkt. De belangrijkste scheidslijn loopt tussen het volledig omarmen van de filosofie van het fundamentele model versus het focussen op smalle, verticale toepassingen. De gedachte achter het fundamentele model is dat je voor het oplossen van een gespecialiseerde taak beter af bent met het trainen van een algemeen model op basis van een brede hoeveelheid data, wat uiteindelijk een smalle specialist zal verslaan op het gebied van randgevallen.

Binnen de robotica zorgt dat idee bij sommigen voor ongemak. Als je een magazijnautomatisering wilt opzetten, voelt het contra-intuitief om data te verzamelen over het opbergen van bestek in keukens. Het verzamelen van diverse data leidt echter tot gegeneraliseerde vaardigheden die zich laten vertalen naar onvoorspelbare randgevallen in dat magazijn. Het inzien dat breedte zegeviert over smalle verticale optimalisatie blijft voor traditionele robotica-ingenieurs een lastige horde.

AI-veiligheid in de fysieke wereld

Host: Als Physical Intelligence een buitengewoon krachtig algemeen model ontwikkelt, hoe denken jullie dan over AI-veiligheid, risico's en regelgeving binnen fysieke systemen?

Sergey Levine: AI-veiligheid wordt al langere tijd bestudeerd, maar wanneer de technologie in hoog tempo beweegt, hangen de werkelijke vraagstukken sterk af van hoe de maatschappij de tools omarmt. Onze filosofie is gebaseerd op empirisch experimenteren: systemen in de echte wereld inzetten, observeren wat slaagt en faalt, en op iteratieve wijze bijsturen. Als AI die enkel uit software bestaat al aanzienlijke veiligheidszorgen oproept, zullen fysieke AI-systemen die in staat zijn om met de fysieke wereld te interageren uiteraard nog scherpere controle vereisen.

Economische impact en de toekomst van menselijke arbeid

Host: Als alles de komende 10 jaar voorspoedig verloopt, betekent de opkomst van de humanoïde robotica dan het einde van menselijke arbeid?

Sergey Levine: Het is een misvatting om robots simpelweg te zien als mechanische mensen. Toen personal computers een hoge vlucht namen, vervingen ze ook niet de menselijke hersenen; in plaats daarvan zagen we dat alomtegenwoordige computertechnologie zich verspreidde naar bureaus, broekzakken, koelkasten en auto's. Naar analogie zal fysieke AI vermoedelijk zorgen voor alomtegenwoordige fysieke aansturing, die geautomatiseerde assistentie biedt bij alledaagse taken in plaats van te fungeren als een directe één-op-één vervanging van de mens. Moderne programmeeragenten vormen hiervoor een goede parallel: in plaats van software-ingenieurs overbodig te maken, vergroten ze juist de productiviteit van de mens door extra slagkracht te bieden.

Essentiële onderzoekspapers: Aloha en ACT

Host: Als iemand de ontstaansgeschiedenis van doorbraken in de robotica wil begrijpen, welke fundamentele publicaties zou diegene moeten lezen?

Sergey Levine: Ik zou de originele Aloha- en Action Chunking with Transformers (ACT)-publicatie aanraden, geleid door Tony Zhao, waar ik mede-auteur van ben. Dit artikel toonde aan dat het gebruik van goedkope hobby-armen van Trossen Robotics ter waarde van $7.000 in een bimanuële teleoperatie-opstelling, gecombineerd met een rechttoe-rechtaan transformermodel, uiterst behendige taken kon oplossen zoals het vervangen van batterijen van een afstandsbediening of het aantrekken van een schoen bij een etalagepop.

Academisch onderzoek legt vaak de nadruk op wiskundige complexiteit, maar het inzicht hier was dat eenvoudige, toegankelijke hardware gekoppeld aan de juiste end-to-end leeropstelling opmerkelijke resultaten kon boeken. De open-source ACT-codebase is uitgegroeid tot een standaardstartkit voor modern robotica-onderwijs, omdat het bewijst hoe ver je kunt komen met eenvoudige bouwstenen.

De evolutie van klassieke besturing naar lerende AI

Host: Vóór de opkomst van moderne machine learning trok Boston Dynamics enorm veel aandacht met indrukwekkende demonstraties, maar we horen tegenwoordig verhoudingsgewijs minder over klassieke benaderingen. Wat dreef die verschuiving in de industrie?

Sergey Levine: Robotica vereist een volledige integratie over de hele linie: van mechanisch ontwerp en aansturing tot besluitvorming op hoog niveau. Klassieke demonstraties van Boston Dynamics etaleerden uitzonderlijke hardware en geavanceerde, handmatig ontworpen besturingstechniek. Dat was destijds essentieel, omdat besluitvormingssoftware zonder functionele hardware volstrekt irrelevant is.

Vandaag de dag is de hardware goed genoeg en vormt gesloten-lus besluitvorming (closed-loop decision-making) in ongestructureerde omgevingen het voornaamste knelpunt. De scheidslijn tussen klassieke besturing en moderne AI komt neer op de vraag of de robot uitsluitend zijn eigen lichaam hoeft aan te sturen, dan wel moet reageren op de externe wereld. Het uitvoeren van een salto op een vlakke ondergrond is primair een besturingsvraagstuk dat betrekking heeft op het robotlichaam zelf. Het oprapen van een koffiekopje vereist daarentegen begrip van de externe omgeving. Als een menselijke ingenieur een besturingswet kan ontwerpen voor een bepaald gedrag, dient dat als het bewijs dat er een compact, generaliseerbaar beleid bestaat en dat dit rechtstreeks via machine learning kan worden aangeleerd.

Advies aan het jongere zelf over voorkennis

Host: Als je terug zou kunnen gaan naar het moment waarop je de industrie betrad, welk advies zou je jezelf dan meegeven?

Sergey Levine: Ik zou mezelf vertellen om voorkennis veel serieuzer te nemen. In de beginperiode waren veel onderzoekers – inclusief ikzelf – van mening dat robots alles volledig vanaf nul moesten leren. Tijdens het Arm Farm-project bij Google beschikten we over armen die miljoenen objecten oppakten vanuit een blanco startpunt (blank slate). Ze leerden hoe ze moesten grijpen, maar die data legden niet zogauw de basis voor complexere vaardigheden.

Dieren en mensen leren immers niet in een vacuüm; ze leunen op observatie en bestaande wereldmodellen. Het integreren van brede voorkennis – of dat nu via taal, internetvideo's of cross-embodiment data is – levert het noodzakelijke fundament op voor efficiënt leren. Proberen te leren zonder enige voorkennis dwingt de robot ertoe een beduidend lastiger probleem op te lossen dan de natuur ooit heeft hoeven doen.

Host: Hartelijk dank voor je tijd, Sergey.

Sergey Levine: Jij bedankt voor de vragen.

Host: Bedankt voor het kijken naar deze podcast. Als je ervan hebt genoten, laat dan gerust een reactie en een like achter. Ik ben momenteel ook bezig met het ontwikkelen van een prototype voor een ergonomisch, gesplitst toetsenbord. We zijn op Kickstarter gelanceerd en hebben ons financieringsdoel binnen 8 uur behaald. De matrijzenbouw is in volle gang en late toezeggingen blijven mogelijk. Bedankt voor het kijken, en graag tot de volgende aflevering.