DruckFin

Transcript van Physical Intelligence: Het bouwen van universele breinen voor robotica via algemene foundation models en reinforcement learning

2 september 2026 | Diepgaand gesprek met Sergey Levine over embodied AI

Inrichting en definitie van Physical Intelligence

Host: Mijn gast vandaag is Sergey Levine, een van de medeoprichters en onderzoeker bij Physical Intelligence. Ter disclaimer: ik ben investeerder in Physical Intelligence omdat ik geloof dat dit een van de belangrijkste bedrijven is die het roboticaprobleem aanpakt. Zoals je vandaag zult horen, kent de robotica wat ik een vogelverschrikkerprobleem zou noemen. Al deze geweldige fysieke apparaten worden in allerlei coole permutaties steeds beter mogelijk, maar wat ze allemaal echt nodig hebben is intelligentie, een brein, en dat is precies wat ze bij Physical Intelligence ontwikkelen. Ze proberen foundation models te ontwikkelen waarmee elke fysieke robot elke taak in elke omgeving kan uitvoeren. Die uitdaging is ontmoedigend en vereist dat 's werelds beste onderzoekers, van wie Sergey een van de leiders is, samenkomen om dit probleem op te lossen. Ons gesprek van vandaag bestrijkt alle problemen waarmee de robotica wordt geconfronteerd en de vele beloften van het oplossen van deze problemen over de hele wereld. Ik hoop dat je geniet van dit geweldige gesprek met Sergey Levine.

Host: Dit wordt een ware traktatie en een geweldige kans om meer te leren over mogelijk het meest opwindende en impactvolle technologiegebied dat momenteel wordt ontwikkeld. Om de context te schetsen voordat we teruggaan in de tijd: kun je Physical Intelligence definiëren zoals jij dat ziet?

Sergey Levine: Fundamenteel is het doel van Physical Intelligence om robotica-foundation models te ontwikkelen die in wezen elk embodied systeem kunnen aansturen om elke taak uit te voeren. Grof gezegd kun je je voorstellen dat, op dezelfde manier als een language model snel evolueert naar een systeem dat elke taak kan uitvoeren die in taal kan worden uitgedrukt, wij een nieuwe klasse modellen willen bouwen die elke taak aankunnen die door een fysiek aangestuurd apparaat kan worden verricht. Onderdeel van de visie van dit bedrijf is dat wij geloven dat het bereiken van volledige algemeenheid op de lange termijn eigenlijk wel eens eenvoudiger kan zijn dan het proberen te creëren van oplossingen voor heel specifieke, smalle toepassingsdomeinen. Nogmaals, net zoals het voor language models in sommige opzichten eenvoudiger bleek te zijn om natural language-taken in hun volledige algemeenheid op te lossen dan om machine translation of sentiment analysis specifiek te targeten.

De afwegingen tussen generalisatie en domeinspecifieke systemen

Host: Het is misschien niet meteen duidelijk waarom je voor die aanpak zou kiezen in plaats van voor een robot die enkel de afwas doet of zoiets dergelijks. Wat zijn de belangrijkste afwegingen om te begrijpen, en waarom hebben jullie deze beslissing genomen?

Sergey Levine: Misschien kan ik je daar een tweedelig antwoord op geven. Ten eerste de analogie met language models, en ten tweede wat dat betekent in de roboticawereld. Het eerste is gebaseerd op feiten en bewijs. In de wereld van natural language zagen we dat er veel inspanningen werden geleverd om domeinspecifieke oplossingen te ontwikkelen die specifieke problemen aanpakken. Iemand zou bijvoorbeeld veel tijd besteden aan het analyseren waarin Engels verschilt van Frans om vervolgens een machine translation-systeem te bouwen. De reden waarom language models al die verschillende toepassingsdomeinen overnamen, is dat ze gebruik kunnen maken van veel bredere databronnen.

Sergey Levine: Het is niet eens zo simpel als zeggen: we hadden deze data voor deze toepassing en die data voor die andere toepassing en we hebben alles samengevoegd. Het is feitelijk meer dan dat. Wanneer je zwak gelabelde data kunt inzetten, zoals data die je van het web haalt in het geval van language models, leer je eigenlijk meer over de wereld. Je legt een fundament van wereldkennis aan, en het blijkt dat het op basis van dat fundament veel effectiever is om verschillende toepassingen uit te bouwen.

Sergey Levine: Om dit naar de robotica te vertalen: de berekening ziet er niet exact hetzelfde uit, omdat we in de robotica geen dataset ter grootte van het internet hebben waar we zomaar uit kunnen putten. Maar dit begrip van de wereld is in de robotica zo mogelijk nog belangrijker. Als je veel verschillende taken en vele diverse fysieke systemen hebt, kun je afstappen van het trainen van individuele afwasspecialisten of wasvouwspecialisten, en in plaats daarvan een model trainen dat daadwerkelijk fysieke interactie begrijpt. Mensen kunnen heel snel nieuwe vaardigheden onder de knie krijgen omdat we fysieke interactie begrijpen. We kunnen intuïtief aanvoelen wat er gaat gebeuren in een nieuwe, onbekende situatie, waardoor we dingen heel snel kunnen opstarten. Als we kunnen putten uit data van vele bronnen, toepassingen en robots, kunnen we een model creëren met fysiek begrip, wat het een stuk eenvoudiger maakt om nieuwe toepassingen bovenop dat platform te bouwen.

De uitdaging van algemene modellen en de valkuil van smalle demo's

Host: Wat is het moeilijkste aan bouwen op deze manier, als je andere benaderingen ziet die misschien wat bevattelijker zijn voor de gemiddelde persoon, zoals een robot die rondloopt en één specifieke handeling verricht?

Sergey Levine: Dit is gedurende mijn hele carrière een punt van discussie geweest, want wanneer je werkt aan robotic learning is effectieve generalisatie niet de optimale manier om een enorm indrukwekkende demo te produceren. De manier om een heel indrukwekkende demo te maken, is door een fantastische taak te kiezen, alles in de omgeving te controleren, de boel zo in te richten dat het volkomen schoon en smetteloos is, en het simpelweg in die ene specifieke setting te laten werken. Zo maak je een klassieke robotdemo.

Sergey Levine: Generalisatie laat zich niet op één plek vangen. Het punt van generalisatie is dat het iets vrij banaals doet dat elk mens kan, maar dat het dat in elke willekeurige situatie doet. Wij hebben enkele demo's uitgebracht waarin we onze robot keukens zagen opruimen. Als je zo'n individuele video uit zijn context bekijkt, lijkt het alsof hij simpelweg borden opraapt, wat iedereen kan. Maar het punt was dat we de robot specifiek voor die demo in dat huis neerzetten, en hij had nog nooit trainingsdata uit die specifieke setting gezien. Je moet begrijpen wat er achter de schermen gebeurt om te waarderen waarom dat de grenzen verlegt.

De langetermijnbelangen en een platformverschuiving

Host: Wat is jouw model voor de inzet en de belangen van wat jullie doen? Als jullie slagen en die kloof van algemene fysieke intelligentie overbruggen, wat maakt dat dan mogelijk?

Sergey Levine: Een van de dingen die echt opwindend zou zijn, is de capaciteit om de verbeeldingskracht van mensen te ontketenen bij het bouwen van robots en andere embodied systems. Personal computers waren een enorm belangrijk fenomeen omdat ze het voor heel veel mensen mogelijk maakten om allerlei coole toepassingen in elkaar te knutselen. Er vond een Cambriene explosie plaats van geweldige software die begon in de jaren 90 en verder werd versneld door het internet. Ik denk dat zoiets ook kan gebeuren in de wereld van robotica, maar dat kan vandaag de dag nog niet, want als je een nieuwe, coole robottoepassing wilt optuigen, moet je een monsterlijke technische stack bouwen en in feite het intelligentieprobleem zelf oplossen.

Sergey Levine: Als er een foundation model is waarop iemand kan voortbouwen — dat je kunt aansturen (prompten) om basisfunctionaliteit te bieden en vervolgens kunt finetunen of aanpassen aan jouw toepassing — wordt het voor tal van mensen, bedrijven en individuen vele malen haalbaarder om allerlei verschillende dingen uit te proberen. Soms denken we dat robots slechts één ding zullen zijn, zoals metalen mensen. Maar geen enkele technologie heeft zich op die manier ontwikkeld. Het zal meer aanvoelen als een gereedschapskist waarmee je allerlei toepassingen in elkaar kunt zetten. Je kunt creatief zijn, zoals het bouwen van een robot met vijf armen die aan het plafond hangt. Daarvoor heb je het juiste software-foundationplatform nodig, en het foundation model kan dat platform zijn.

Voors en tegens van humanoïde robots versus algemene lichamen

Host: Wat zijn volgens jou de voor- en nadelen van de humanoïde benadering in de robotica?

Sergey Levine: Een voordeel is dat het er fantastisch uitziet. Je laat het aan iemand zien en die snapt het meteen. Het heeft enorme waarde om tot de verbeelding te spreken en mensen op een begrijpelijke manier te laten nadenken over hoe de toekomst eruit zou kunnen zien. Maar in mijn ogen zijn humanoïden slechts een van de vele mogelijke soorten robots die we waarschijnlijk zullen krijgen. Fundamenteel gezien ziet de uitdaging van intelligentie er voor al deze verschillende robots grotendeels hetzelfde uit. Ik denk niet dat we intelligentie uitsluitend moeten aanpakken binnen de context van één specifiek lichaam. We moeten het op een algemene manier benaderen omdat we enorm veel data nodig hebben over diverse systemen heen.

Sergey Levine: Het koele aan het bouwen van robots is dat ze er uiteindelijk helemaal niet uit hoeven te zien als mensen. Je kunt simpelweg het juiste gereedschap voor de klus bouwen. Je zou je kunnen voorstellen dat je een huis bouwt met een zwerm van 10.000 quadcopters. In de toekomst zullen we beschikken over een robotica-foundation model dat kan worden aangepast aan allerlei toepassingen, variërend van bulldozers tot humanoïden en robotarmen. De grondbeginselen van hoe je met objecten omgaat, hoe dingen bewegen in de wereld en hoe causaliteit werkt, zijn universeel en behouden over al deze verschillende systemen heen.

Host: Heb je een favoriet voorbeeld van wat er mogelijk zou kunnen zijn met echte algemene intelligentie, dat wellicht niet mogelijk is met een puur humanoïde intelligentie?

Sergey Levine: Er zijn een paar dingen om over na te denken. Ten eerste kunnen we machines bouwen die heel groot zijn, en machines die heel klein zijn. Op de lange termijn zijn er spannende toepassingen in de geneeskunde en chirurgie waarbij we mogelijk niet beperkt zijn tot robots die op mensen lijken of zelfs maar robots die rechtstreeks door mensen kunnen worden aangestuurd. Momenteel vindt robotische chirurgie plaats via teleoperatie, wat menselijke aansturing in real-time vereist met een hoge mate van vaardigheid. Op de lange termijn kunnen autonome systemen taken aanpakken die de directe menselijke motorische capaciteiten te boven gaan.

Historische mijlpalen in het roboticagebied

Host: Als je denkt aan de belangrijkste mijlpalen op de tijdlijn van het roboticajaar waarin we zijn beland, hoe zou je ons dan door die geschiedenis heen leiden?

Sergey Levine: Tot op kuche hoogte is end-to-end control voor robotsystemen een oud idee. De eerste autonome rijsystemen die gebruikmaakten van end-to-end learning bestonden al in de jaren 80. ALVINN, ontwikkeld rond 1986 of 1987, was een rijsysteem dat werd gedemonstreerd op snelwegen en werd aangestuurd door een piepklein neuraal netwerk dat camerainput ontving. Hoewel de concepten eerbiedwaardig oud zijn, is de moeilijkheid in machine learning voor robotica historisch gezien altijd geweest om aan meerdere vereisten tegelijk te voldoen: het moet de toepassing kosteneffectief verwerken zonder voor elke afzonderlijke taak massieve dataverzameling te vereisen, het moet met gezond verstand omgaan met long-tail-scenario's, en het moet robuust, snel en betrouwbaar blijven.

Sergey Levine: Machine learning werkt het best wanneer er veel data voorhanden is. Als je een probleem zoals het wassen van borden op naïeve wijze benadert door een enorme hoeveelheid afwasdata te verzamelen, is dat niet kosteneffectief omdat je dat hele proces voor elke volgende taak opnieuw moet herhalen. Het trainen van modellen voor algemene doeleinden vermindert de benodigde data per taak. Wat recentelijk het meest is veranderd, is het vermogen om om te gaan met ongebruikelijke scenario's. In edge cases waar je eerdere ervaring mist, moet je vertrouwen op kennis die uit andere bronnen is vergaard en deze verankeren in de nieuwe situatie. Multimodale language models zijn zeer bedreven in het aanboren van brede webkennis. Hoewel ze niet van nature verankerd zijn in fysieke situaties, bieden ze een weg om gezond verstand te importeren in robotbesturing.

Host: Zijn er mijlpaalequivalenten op de tijdlijn die vergelijkbaar zijn met AlexNet of de transformer in de robotica?

Sergey Levine: Het is te vroeg om daar definitief antwoord op te geven. Als we terugkijken, waren de eerste end-to-end learning-systemen in de jaren 80 een mijlpaal. De eerste deep reinforcement learning-systemen in de vroege jaren 2010 waren een andere belangrijke mijlpaal, omdat deep RL ons een manier biedt om prestaties van menselijk niveau te overstijgen. Meer recentelijk is de komst van multimodale LLM's die zijn aangepast voor robotbesturing om gezond verstand te leveren een cruciale doorbraak, en we zullen de komende jaren waarschijnlijk nog verschillende ingrijpende doorbraken zien.

De onderzoeksreis van Sergey Levine: van onbeschreven blad tot grote modellen

Sergey Levine: Kun je je persoonlijke reis delen bij het benaderen van dit probleem, vanaf het moment dat je er voor het eerst in geïnteresseerd raakte tot hoe je besloot waar je je op zou focussen?

Sergey Levine: Ik begon in 2014 met robotica te werken nadat ik mijn afstudeerstudie had afgerond en aan een postdoc begon bij professor Pieter Abbeel aan UC Berkeley. Daarvoor werkte ik aan computergraphics en character animation. De kernvraag die ik altijd wilde beantwoorden, was hoe we AI-systemen kunnen bouwen die continu verbeteren naarmate ze meer interacteren met de wereld.

Sergey Levine: Aanvankelijk benaderde ik dit vanuit een perspectief van een onbeschreven blad (blank slate), waarbij een agent met niets begint, een vaardigheid oefent en beter wordt. Dat werkt in smalle, gecontroleerde settings, maar het is moeilijk om dat om te zetten in een algemeen systeem voor open-world settings, omdat elke kleine wijziging betekent dat je helemaal opnieuw moet beginnen met trainen. Later, tijdens mijn periode bij Google, onderzocht ik hoe ik dit kon paralleliseren over vele robots heen — collectief leren, waarbij je 20 robots in een ruimte plaatst om tegelijkertijd te leren. Dat verbeterde de generalisatie, maar produceerde nog steeds smalle specialisten die moeite hadden met edge cases.

Sergey Levine: De volgende stap is het combineren van het vermogen om vaardigheden te oefenen met grote hoeveelheden voorkennis. Dat is een lastig probleem binnen de hele AI. De twee belangrijkste prestaties in AI gedurende de afgelopen decennia zijn generative AI, belichaamd door LLM's die menselijke vaardigheden reproduceren, en deep reinforcement learning, belichaamd door AlphaGo dat bovenmenselijke oplossingen vindt zoals Move 37. De uitdaging bij Physical Intelligence is het combineren van die twee paradigma's: het binnenhalen van enorme generatieve wereldkennis en tegelijkertijd reinforcement learning inzetten om prestaties van menselijk niveau te overstijgen.

Vision-Language-Action Models en Chain of Thought

Host: Wat doen jullie concreet om die combinatie te laten slagen?

Sergey Levine: De afgelopen jaren zijn we begonnen met het ontwikkelen van Vision-Language-Action (VLA) models. Een VLA-model kun je zien als een LLM die is aangepast voor robotbesturing. Het is vooraf getraind (pre-trained) op tekst, aangepast met uitgebreide web-beeldata om visuele scènes te begrijpen, en vervolgens gefinetunet op diverse roboticadata. Dat dient als fundament om web-scale kennis binnen te halen voor robotbesturing.

Sergey Levine: Bovenop dat fundament onderzoeken we twee primaire capaciteiten: het omgaan met ongebruikelijke situaties met gezond verstand, en het verbeteren via reinforcement learning. Om dat gezonde verstand te bereiken, maken we gebruik van chain-of-thought reasoning. Wanneer de robot een scène tegenkomt, voert hij niet onmiddellijk motorische commando's uit, maar redeneert hij door de taak heen. Als hem wordt gevraagd om een keuken op te ruimen, analyseert hij de visuele input, genereert hij een intermediaire semantische gedachte zoals het oppakken van een specifiek bord, en gaat hij pas daarna over tot actie. Deze intermediaire deducties profiteren van pre-training op web-scale.

Sergey Levine: Reinforcement learning wordt toegepast wanneer taken herhaaldelijk worden geoefend om robuustheid, snelheid en precisie te optimaliseren. In onze demonstratie van het zetten van espresso oefende het systeem herhaaldelijk om de doorvoer (throughput) en betrouwbaarheid te maximaliseren. We bouwen continu verder op dit dubbele fundament.

Sensorvereisten en data-flywheels

Host: Als we kijken naar deze roboticaplatforms, dan wordt data verzameld via sensoren op de hardware. Hoe denken jullie over de noodzakelijke sensor suite?

Sergey Levine: Je komt vaak weg met minder sensoren dan mensen denken. Ons primaire experimentele platform gebruikt drie cameras: één op elke pols en één op de basis. Het beschikt niet over speciale tactiele of krachtsensoren. Een capabel leeralgoritme kan compenseren voor hardwaretekortkomingen. Polscamera's fungeren bijvoorbeeld effectief als aanraaksensoren doordat de visuele feedback lokale fysieke deformaties bij contact vastlegt.

Host: Bij language models dreef een enorme internet-schaal de doorbraak aan. Hoe creëren jullie het noodzakelijke datareservoir voor embodied AI?

Sergey Levine: Niemand weet precies hoeveel robotdata er nodig is om universele generalisatie te bereiken, maar we hoeven dat misschien ook niet vooraf te weten. Wat telt is dat de systemen nuttig genoeg worden gemaakt om autonoom data te gaan verzamelen. Tesla maakt zich ook geen zorgen over het verzamelen van onvoldoende rijdata omdat hun vloot al nuttig is en actief verzamelt. Het doel is om systemen in te zetten die in staat zijn diverse taken uit te voeren en zo een data-flywheel op te zetten.

Sergey Levine: Wat heeft je sinds de oprichting van Physical Intelligence het meest verrast aan het traject van het onderzoek?

Sergey Levine: We hebben veel snellere vooruitgang geboekt op het gebied van behendigheid (dexterity) dan ik aanvankelijk had verwacht. Op basis van eerder werk verwachtte ik dat generalisatie over diverse objecten en scènes geleidelijk zou schalen met meer data. De modellen bleken echter ook zeer behendige gedragingen te leren zonder dat daar complexe, gespecialiseerde architecturen voor nodig waren.

Sergey Levine: Bovendien generaliseerden de modellen over verschillende robotvormen (embodiments) heen — waaronder handvatten met meerdere vingers en armen met variërende vrijheidsgraden — zonder dat er aanpassingen aan de architectuur nodig waren of expliciete aanwijzingen over de hardwareconfiguratie. Finetuningen op embodiment-specifieke data bleek al voldoende.

De paradox van Moravec en semantische coaching

Host: Waar zijn systemen vandaag de dag geavanceerder of juist minder geavanceerd dan mensen zouden verwachten?

Sergey Levine: Dit hangt direct samen met de paradox van Moravec. Mensen gaan er intuïtief van uit dat taken die voor ons moeilijk zijn, zoals gevorderde calculus, moeilijk zijn voor machines, terwijl taken die voor ons makkelijk zijn, zoals het vastpakken van een kopje, eenvoudig zouden moeten zijn. In werkelijkheid hebben menselijke breinen enorme, gespecialiseerde mechanismen geëvolueerd voor fysieke interactie en visuele perceptie. Het handmatig programmeren van die fysieke vaardigheden is buitengewoon moeilijk.

Sergey Levine: Machine learning verandert deze dynamiek. Waar dataverzameling rechttoe rechtaan is, worden taken behapbaar, zelfs als ze fysiek ingewikkeld zijn. Omgekeerd blijven taken die abstract gezond verstand, redeneren op meerdere niveaus en het koppelen van fysieke uitvoering aan brede wereldkennis vereisen, erg lastig.

Host: Hoe definieer je gezond verstand in de context van robotica?

Sergey Levine: Gezond verstand in robotica betekent het toepassen van semantische gevolgtrekkingen die uit andere domeinen zijn geleerd op de fysieke taak die voorhanden is. Het is het tegenovergestelde van puur spiergeheugen. Spiergeheugen werkt automatisch door herhaling. Gezond verstand treedt in werking wanneer je een situatie tegenkomt, een relevant feit of principe terughaalt dat elders is geleerd, dit verankert in de directe omgeving en de juiste actie selecteert.

Host: Language models zijn geëvolueerd van enkelvoudige chat naar langetermijn-agentic reasoning. Wat is het equivalente langetermijnvermogen in de robotica?

Sergey Levine: We werken hier intensief aan. Met behulp van chain-of-thought reasoning kunnen onze modellen uitgebreide taken uitvoeren, zoals het uitruimen van de vaatwasser, het in kasten plaatsen van de spullen en het schoonvegen van aanrechtbladen. Een belangrijke ontdekking die we ongeveer 6 maanden geleden deden, is dat de prestaties van modellen bij langetermijntaken kunnen worden verbeterd simpelweg door ze te superviseren met semantische instructies op hoog niveau.

Sergey Levine: Toen een robot faalde tijdens een keukenschoonmaaktaak, verzamelden we geen extra low-level teleoperatietrajecten, maar leverden we semantische labels voor de tussenliggende stappen. Dit verbeterde de generalisatie. De operationele bottleneck was verschoven van low-level fysieke aansturing naar mid-level scène-interpretatie en stapselectie. Hierdoor kunnen menselijke operators de prestaties van de robot verbeteren via taalkundige coaching in plaats van handmatige fysieke demonstraties.

Technische en praktische risico's voor brede implementatie

Host: Als we vooruitblikken naar 2050 en huishoudrobotica is nog steeds niet alomtegenwoordig, wat zou dan de belangrijkste verklaring zijn?

Sergey Levine: De bottleneck bevindt zich vermoedelijk op het snijvlak van technologie en menselijk comfort. Autonome voertuigen kregen te maken met vergelijkbare adoptiedynamieken. Het inzetten van systemen in huizen brengt edge cases en vragen over fouttolerantie met zich mee. Voelen gebruikers zich comfortabel bij af en toe een gebroken bord of bij het inzetten van robots rond kleine kinderen? Het navigeren door die maatschappelijke en veiligheidsfactoren zal het implementatietempo in verschillende omgevingen bepalen.

Sergey Levine: Vanuit puur technisch oogpunt is het primaire risico het beheersen van de open-world breedte. Gestructureerde commerciële omgevingen, zoals het schoonmaken van hotelkamers of het assisteren in professionele keukens, kennen begrensde variaties. Ongestructureerde huiselijke omgevingen herbergen onvoorspelbare gebeurtenissen die robuuste inferentie en veilige faalmodi vereisen.

Simulatie versus data uit de echte wereld en de Robot Olympics

Host: Hoe kijk je naar het debat over het gebruik van simulatie versus data uit de echte wereld in de robotica?

Sergey Levine: Er bestaat een duidelijke tweedeling binnen het hedendaagse roboticaunderszoek. Bij humanoïde voortbeweging leunt de dominante pijplijn zwaar op fysica-simulatie met minimale of nul data uit de echte wereld. Bij robotische manipulatie gebruikt de dominante benadering grote datasets uit de echte wereld in combinatie met foundation models, met weinig simulatie. Het blijft een open onderzoeksvraag of één benadering zal domineren of dat er een synthese ontstaat.

Host: Hoe balanceer je het ontwikkelen van indrukwekkende demo's versus het bouwen van bruikbare producten?

Sergey Levine: Onze benadering is om systemen zo spannend mogelijk te maken onder de voorwaarde dat ze bruikbaar moeten zijn. We prioriteren fundamenteel onderzoek dat algemene robotica-foundation models vooruithelpt, maar we testen modellen kritisch tegen zware manipulatiebenchmarks.

Sergey Levine: Zo stelde voormalig Everyday Robots-onderzoeker Benji Holson een praktische Robot Olympics voor, bestaande uit alledaagse manipulatietaken die mensen triviaal vinden maar waar robots moeite mee hebben — zoals deuren openen, vette pannen schrobben of een zak gebruiken om afval op te ruimen. We gebruikten deze lijst om onze algemene onboarding-pipeline te testen. Zonder gespecialiseerde algoritmen te ontwikkelen voor afzonderlijke taken, loste ons foundation model bijna al deze taken succesvol op. De enige uitzonderingen waren het binnenstebuiten keren van een overhemd, wat fysiek werd beperkt door de grootte van de grijper, en het pellen van een sinaasappel puur met de vingers, wat een klein hulpmiddel vereiste vanwege limieten in grijpkracht. Dit toonde de kracht aan van een algemeen model om diverse taken snel te onboarden.

Embodiment-agnostiek en onderzoeksfilosofie

Host: Je noemde het concept van gereedschapsgebruik in biologische systemen. Hoe verhoudt zich dat tot robotintelligentie?

Sergey Levine: Studies in de neurowetenschappen tonen aan dat wanneer apen gereedschap gebruiken, neurale representaties in het brein zich zo aanpassen dat de punt van het gereedschap wordt behandeld als een verlengstuk van de fysieke hand. Dit onderstreept de visie dat intelligentie embodiment-agnostisch moet zijn. Een universeel foundation model moet zich kunnen aanpassen om willekeurige kinematische ketens en gereedschappen aan te sturen. Manipulatie, locomotie en industriële besturing zijn verenigd onder één kernprobleem van intelligentie.

Host: Wat zijn de belangrijkste filosofische debatten binnen de roboticagemeenschap vandaag de dag?

Sergey Levine: Historisch gezien ging het debat erover of machine learning überhaupt een plek had in de robotica in vergelijking met klassieke techniek- en fysicamodellen. Hoewel leren inmiddels breed wordt omarmd, is er nog steeds discussie over end-to-end learning versus modulaire systemen waarin handmatig gecodeerde fysica is verwerkt. The Bitter Lesson stelt dat het inzetten van algemene methoden met data en rekenthracht op termijn beter presteert dan handmatig ontworpen domeinkennis. Hoewel het opnemen van expliciete fysieke modellen structuur op de korte termijn biedt, levert end-to-end learning de schaalbaarheid en zelfverbetering op die nodig zijn voor echte open-world generaliteit.

Host: Welke soorten taken zullen naar jouw verwachting tot de laatsten behoren die door robots worden geautomatiseerd?

Sergey Levine: Taken die directe, genuanceerde fysieke interactie met mensen vereisen — zoals het verschonen van de luier van een kind, ouderenzorg of het helpen van een gewond persoon uit bed — zullen uitzonderlijk uitdagend zijn. Deze taken vereisen nauwkeurige modulatie van kracht, hoge veiligheidsmarges en diep sociaal-fysiek gezond verstand.

Onderzoeksacceleratie, hardwarekosten en toekomstperspectief

Host: Wat onderscheidt uitzonderlijke AI-onderzoekers bij het navigeren door deze lastige problemen?

Sergey Levine: Onderzoek vereist het nemen van kritieke beslissingen over wanneer je moet volharden in een aanpak versus wanneer je moet pivoteren. Te vroeg pivoteren betekent dat je doorbraken misloopt die vlak onder de oppervlakte liggen; te lang doorgaan op een gebrekkige premisse verspilt jaren. Succesvolle onderzoekers ontwikkelen een sterke intuïtie voor het balanceren van diepgang in focus met exploratieve experimenten.

Host: Hardwarekosten zijn bovendien dramatisch gedaald. Welke impact heeft dat op het ecosysteem?

Sergey Levine: Een decennium geleden kostte een onderzoeksplatform zoals de PR2 zo'n $400.000. Toen ik mijn lab oprichtte aan UC Berkeley, kostten standaardarmen rond de $30.000. Vandaag de dag zijn goedkope robotarmen verkrijgbaar voor ruwweg $3.000, en de kosten dalen nog steeds. Omdat op leren gebaseerde software kan compenseren voor naleving van hardware en sensorische beperkingen, wordt goedkope hardware levensvatbaar voor complexe taken, wat de drempel om toe te treden radicaal verlaagt.

Host: Wat is de primaire focus voor Physical Intelligence op de korte termijn?

Sergey Levine: Onze primaire focus ligt op het bevorderen van mid-level semantische en ruimtelijke redenering. Low-level fysieke aansturing is grotendeels beheersbaar, maar het koppelen van die motorische primitieven aan wereldkennis op hoog niveau vereist interne representaties die zijn toegesneden op fysieke interactie in plaats van louter taalkundige tokens.

Host: Als je terugkijkt op je carrière, wat is dan het aardigste dat iemand ooit voor je heeft gedaan?

Sergey Levine: Verschillende sleutelmomenten hebben mijn traject gevormd. Toen ik tweedejaars student op de universiteit was, nam een hiring manager bij Nvidia een gok op mij voor een stage. Later nam Pieter Abbeel een gok op mijn potentieel door mij te accepteren als postdoc aan UC Berkeley, ondanks het feit dat ik geen enkele eerdere achtergrond in robotica had. Tot slot steunden leiders als Jeff Dean en Vincent Vanhoucke tijdens mijn tijd bij Google ons voorstel om tientallen robots tegelijkertijd in te zetten voor collectief leren — het 'arm farm'-project —, waardoor jonge onderzoekers de ruimte kregen om ambitieuze ideeën na te jagen. Het hebben van leiders die eigenaarschap bieden en gokken op mensen maakt een diepgaand verschil.

Host: Sergey, hartelijk dank voor het delen van je inzichten vandaag.

Sergey Levine: Dank je wel.