Physical-Intelligence-Transcript: Sergey Levine über die Skalierung humanoider Robotik, Generalisierung und Ökosystem-Herausforderungen
2. September 2026 | Sergey Levine im Gespräch über den Stand der Physical AI und humanoiden Robotik
Einleitung
Sergey Levine: Für mich ist das ziemlich mind-blowing, weil das Basismodell überhaupt nicht mit menschlichen Daten trainiert wurde.
Host: Das ist Sergey Levine, einer der weltweit führenden Roboterforscher. Ich habe ihn ausführlich zum aktuellen Stand der humanoiden Robotik befragt. Was sind die erstaunlichsten emergenten Fähigkeiten, die Sie bisher gesehen haben?
Sergey Levine: Ich glaube nicht, dass irgendjemand, der diese Evaluierung gesehen hat, gedacht hätte, dass der Roboter das tun würde.
Host: Ich habe hier ein paar Fragen zu China. Dem kann man sich manchmal einfach nicht entziehen. Wenn die humane Robotik es nicht schafft, innerhalb weniger Jahre durchzubrechen – was wäre Ihrer Meinung nach der wahrscheinlichste Grund für ein Scheitern? Hier ist die vollständige Episode.
Wo wir heute bei der Robotik-Skalierung stehen
Host: Große Sprachmodelle haben beispiellose Auswirkungen und Investitionen in diesem Bereich ausgelöst. Physical AI und humanoide Roboter könnten potenziell noch größere Wellen schlagen. Ich wollte Sie heute fragen, wo wir derzeit bei der humanoiden Robotik stehen und wie Sie die tatsächliche Einführung dieser Technologie in der Praxis vorhersehen.
Sergey Levine: Ich denke, was wir beim Machine Learning in den letzten Jahren – oder besser gesagt im letzten Jahrzehnt – gelernt haben, ist, dass es funktioniert, wenn man es im großen Stil (Scale) betreibt. Das ist heute sehr offensichtlich, war es aber nicht immer. Es gibt jedoch einen Haken: Man muss das Richtige skalieren. Als die Leute anfangs beispielsweise an Sprachmodellen arbeiteten, war das dominante Design das der LSTMs. Manche erinnern sich vielleicht noch daran, was das ist. Sie waren ganz in Ordnung. Sie waren viel besser als das, was davor kam, ließen sich aber nicht wirklich gut skalieren. Das Entscheidende bei den Transformers war nicht, dass sie mathematisch besonders elegant oder so etwas waren; sie ließen sich einfach besser skalieren. Sie waren einfacher mit sehr großen Datenmengen und vielen Parametern zu trainieren.
Technologie entwickelt sich in Phasen. Zuerst findet man heraus, was man skalieren kann – im Grunde, welche Technologie skalierbar ist –, und dann startet man eine Anstrengung im industriellen Maßstab, fügt massenhaft Daten hinzu und vergrößert das Modell. Genau dann passiert die Magie. Wenn wir grundlegendere Technologieentwicklung betreiben, besteht der Schlüssel darin, diese skalierbaren Hebel zu verstehen. Man entwirft das Design, ermittelt grob die Mischungen, und das an sich bewirkt bereits etwas Ziemlich Cooles – aber das ist noch nicht das, was die Welt verändert. Erst wenn man an diesem Hebel ansetzt, verändert sich tatsächlich etwas.
Bei den LLMs: Als die ersten GPT-Modelle mit GPT-2 herauskamen, konnten sie zwar einiges, aber es wirkte eher wie ein Partytrick. Man konnte sie dazu bringen, eine Geschichte über Einhörner in Peru oder Ähnliches zu synthetisieren, und es war kohärentes Englisch, aber es war eben nichts, was eine Fülle realer Probleme gelöst hätte. Die Leute, die daran arbeiteten, erkannten gewissermaßen, dass etwas Magisches passiert, weil das System mit mehr Daten und einem größeren Modell kohärenter und effektiver wird. Sie konnten sehen: Wenn wir das in viel größerem Stil betreiben, wird es extrem mächtig werden.
Um auf Ihre Frage zurückzukommen: Was die Robotik betrifft, befinden wir uns meiner Ansicht nach noch nicht in der Phase von GPT-4 oder GPT-5, in der es darum geht, das Modell durch industrielle Kraftakte zu vergrößern und mehr Leistungsfähigkeit herauszuholen. Wir sind in der Phase, in der wir die zugrundeliegenden Technologien etablieren. Aus diesem Grund sollte man jetzt nicht unbedingt erwarten, dass das Modell jeden Monat nach einer vorhersehbaren Skalierungskurve größer und leistungsfähiger wird. Vielmehr entwickeln sich die Skalierungseigenschaften selbst weiter, während wir die passenden Technologien entwickeln.
Um das Ganze etwas greifbarer zu machen: Ich bin sehr zufrieden mit den Demos, die wir hier bei Physical Intelligence zeigen, und ich finde viele der Ergebnisse, die andere veröffentlichen, wirklich cool. Aber um sie in den richtigen Kontext zu setzen: Wir sollten nicht erwarten, dass diese Demos bereits die schiere Macht der Skalierung demonstrieren. Sie entwickeln vielmehr die grundlegenden Technologien, die erst danach hochskaliert werden. Wo wir jetzt stehen: Wir bringen all diese Puzzleteile zusammen, und ich denke, wir sind tatsächlich sehr nah dran. Viele Puzzleteile fallen an ihren Platz. Was Prognosen über die Zukunft dieser Technologie so schwierig macht, ist, dass sie sich eben noch nicht in dieser vorhersehbaren Skalierungsphase befindet. Wir stecken in der Phase, in der wir die Puzzleteile zusammensuchen – was ich unglaublich spannend finde, aber es bedeutet eben auch, dass es sehr schwer ist, die genauen Wachstumsfaktoren vorherzusagen.
Überraschendste Fähigkeiten und semantische Fehler
Host: Was sind die erstaunlichsten emergenten Fähigkeiten, die Sie bisher gesehen haben?
Sergey Levine: Das macht am meisten Spaß, und wir haben im Zuge unseres Fortschritts zweifellos immer mehr davon gesehen. Ganz am Anfang waren es Kleinigkeiten, die jedoch fast magisch wirkten, weil so etwas in der Robotik vor 2024 im Grunde nie passierte. Vor etwa zwei Jahren sahen wir beispielsweise, wie wir eine Policy für das Falten von Wäsche trainierten, bei der einzelne Hemden aus dem Wäschekorb geholt und gefaltet werden sollten. Eine sehr lebendige Erinnerung aus dem späten Jahr 2024 ist eine Evaluierung, bei der der Roboter versehentlich zwei Hemden gleichzeitig herausnahm. Ich beobachtete das und dachte: Das war's, das schafft er unmöglich. Dann legte er beide Hemden auf den Tisch, entwirrte sie, legte eines zurück und fing an, das andere zu falten. Im Nachhinein kann man etwas Detektivarbeit betreiben und herausfinden, aus welchem Trainingsdatensatz das stammte, aber in diesem Moment dachte wohl niemand, der diese Evaluierung sah, dass der Roboter dazu in der Lage sein würde. Er legte genau jenen gesunden Menschenverstand an den Tag, den man von Menschen erwartet.
Eigentlich finde ich in letzter Zeit jedoch die Fehler noch interessanter. Das Bemerkenswerte an LLMs war ja, dass ihre Fehler, sobald sie gut genug wurden, auf eine gewisse Art ebenfalls Sinn ergaben – es waren keine verrückten Aussetzer, bei denen einfach nur zufällige Zeichen ausgegeben wurden, sondern semantisch nachvollziehbare Fehler. Wir hatten letztes Jahr eine Evaluierung für $\pi_0$, bei der der Roboter eine Küche aufräumen sollte und angewiesen wurde, alle Utensilien wie Löffel und Spatel wegzuräumen. Er versuchte, die Schublade zu öffnen, in der seiner Meinung nach das Besteck hingehörte, bekam sie aber nicht auf. Also glitt er zur Seite, öffnete den direkt daneben liegenden Ofen und fing an, die Sachen dort hineinzuräumen. Man kann sich vorstellen: Wenn man ein Kind bittet, aufzuräumen und Dinge wegzuräumen, käme es vielleicht auf dieselbe Idee – es ist ein Behälter, man kann Dinge hineinlegen, und niemand sieht sie.
Ein weiteres Experiment betraf das Abwaschen sämtlicher Teller. Er nahm die Teller auf, wusch sie mit einem Schwamm ab und stellte sie in den Abtropfänder. Das war ein Experiment zum Thema Gedächtnis, da er den Überblick über seine Aufgaben behalten muss. Er verfügt über eine Art Notizblock-Gedächtnis, in das er einträgt, dass er drei Teller hatte, den grauen gereinigt hat und den grünen gereinigt hat. Dann lässt er einen davon auf den Boden fallen und fährt den Sockel so darüber, dass man ihn nicht mehr sehen kann – und schlussfolgert daraus, dass er den grauen Teller gereinigt hat und fertig ist. Natürlich wollen wir solche Resultate nicht sehen, aber es ist faszinierend, dass einige dieser Fehler fast denen ähneln, die man von einem Kind erwarten würde, das eine Aufgabe erledigen will. Jetzt muss das System eben nur noch erwachsen werden.
Lehren aus dem autonomen Fahren
Host: Sie haben die Fortschritte in der gesamten Branche erwähnt. Ich weiß, dass viele Akteure humanoide Roboter bauen: Figure, Tesla und zahlreiche andere Konkurrenten. Sie verfügen über das Fachwissen darüber, was schwierig ist und was nicht. Wenn Sie auf die Konkurrenz blicken – gab es da Fortschritte oder Errungenschaften, bei denen Sie dachten: Das ist wirklich bewundernswert und beeindruckend?
Sergey Levine: Ich persönlich halte den enormen Aufschwung, den autonome Fahrsysteme erlebt haben, für eines der inspirierendsten Dinge in der Branche. Einer der Vorwürfe, die Robotikforschern gelegentlich gemacht werden, ist, dass es sich um die Kernfusion der Technik handelt – die Technologie der Zukunft, die immer in der Zukunft liegt. Genau das hat man früher auch über das autonome Fahren gesagt. Und jetzt? Wir sind hier in San Francisco, man kann nach draußen gehen, in ein Waymo steigen, und es bringt einen tatsächlich ohne menschlichen Fahrer am Steuer ans Ziel.
Ohne zu tief in technische Details abzutauchen: Das Inspirierende daran ist schlicht der Beweis, dass eine dieser Zukunftstechnologien tatsächlich Realität werden kann. Es ist meiner Meinung nach kein Zufall, dass dies nun Mitte der 2020er-Jahre geschieht, denn viele Puzzleteile des großskaligen Machine Learnings erreichen den Reifegrad, bei dem wir sie mit echten physischen Systemen zusammenführen können. Natürlich gibt es zahlreiche Unterschiede zwischen dem Autofahren und robotischer Manipulation, aber die Demonstration, dass wir lernbasierte Technologien in der echten physischen Welt erfolgreich landen können, ist schlichtweg inspirierend.
Auswirkungen des Einstiegs von Frontier-AI-Laboren in die Robotik
Host: Wenn OpenAI oder Anthropic massiver in die Robotik investieren würden, wie würde sich das Ihrer Meinung nach auf die Branche auswirken? Glauben Sie, dass Konkurrenten besorgt wären?
Sergey Levine: Um fair zu sein, ist die Robotik ein Bereich, in dem das Ökosystem historisch nicht so gesund war wie in anderen Machine-Learning-Domänen. Damit meine ich, dass Computer Vision und NLP sich ganz natürlich für ein auf Machine Learning basierendes Ökosystem eignen, weil frei verfügbare Daten vorhanden sind. Die Menschen akzeptieren den Einsatz von Lernverfahren ganz allgemein. Es gibt keine so gravierenden Bedenken hinsichtlich der physischen Sicherheit – natürlich macht man sich zu Recht Sorgen um AI Safety, aber das ist eben etwas anderes, als wenn ein physisches Gerät unmittelbaren körperlichen Schaden anrichtet. Aus diesem Grund ist es in jenen Bereichen etwas einfacher, eine hochkarätige Machine-Learning-Initiative im großen Stil aufzuziehen.
Die Robotik hingegen ist traditionell keine Disziplin, die das Teilen von Daten großartig fördert. Je mehr Aktivitäten es rund um das Lernen in der Robotik gibt, desto mehr wird das die Denkweise der Menschen meiner Meinung nach in Richtung einer Zukunft verschieben, in der wir akzeptieren, dass Roboter durch gelernte Modelle gesteuert werden und nicht durch handgeschriebene Controller. Es wird Daten geben, und diese Daten müssen geteilt werden, denn unmöglich kann ein einzelnes Unternehmen allein ein echtes Foundation Model in einer einzigen Vertikale aufbauen. Das wird im Grunde das gesamte Denken über Robotik so verändern, dass es eher an Computer Vision und NLP erinnert als an die klassische Fabrikautomation. In diesem Sinne: So stolz ich auf unsere Arbeit bei Physical Intelligence auch bin, es wird mehr als nur ein Unternehmen brauchen, um das Denken aller in diese Richtung zu lenken.
Chinesische Robotik und Ökosystem-Dynamik
Host: Als Beobachter sehe ich auf Twitter diese unglaublich beeindruckenden Demos aus der chinesischen Robotik. Es fühlt sich fast so an, als wären sie in gewisser Weise voraus, aber mir fehlt die tiefe Fachexpertise. Mich würde Ihre Einschätzung zur chinesischen Robotik interessieren und ob sie tatsächlich weiter sind.
Sergey Levine: Ich denke, ein sehr nützlicher und konstruktiver Ansatz für uns in den USA und Europa ist die Frage: Was können wir daraus lernen? Für mich lautet eine Lektion, dass ein gesundes Ökosystem unerlässlich ist. Ein Ökosystem bedeutet natürlich, dass es gute Forscher und Ingenieure geben muss, die an diesen Dingen arbeiten, sowie eine intakte Open-Source-Kultur. Es bedeutet aber auch, dass die verschiedenen Industriezweige, die zur Robotik beitragen, für sich genommen sehr gesund sein müssen. Und diese Industrien beschränken sich eben nicht nur auf Informatik, ML und Modellbau, sondern umfassen auch Lieferketten, Fertigung und Hardware-F&E. All das sind hochrelevante Faktoren.
Manche dieser Aspekte beherrscht die USA ziemlich gut, während man bei anderen Dingen etwas nachgelassen hat. Wir sollten uns ansehen, was weltweit passiert, die hervorragenden Ergebnisse chinesischer Labore und aus anderen Ländern betrachten und daraus die Lehre ziehen, dass wir ein gesünderes Ökosystem anstreben müssen. Das bedeutet, in alle verschiedenen Facetten zu investieren, die hierzu beitragen. Ich bin weder Geschäftsmann noch Investor und kann daher nicht beanspruchen zu wissen, wie genau man das umsetzt, aber es ist wichtig, voll und ganz zu verinnerlichen, dass es sich um eine ganzheitliche Anstrengung handelt und nicht um etwas, bei dem man nur einen Teilbereich bedient und den Rest auslagert.
Host: Gibt es unter all den Komponenten des Ökosystems bestimmte Bereiche, deren Verbesserung in den USA die größten Auswirkungen auf den Fortschritt der Robotik hätte?
Sergey Levine: Ganz gewiss ist die Verfügbarkeit zuverlässiger und kostengünstiger Hardware ein wesentlicher Faktor. Aktuell stammt ein Großteil der für die Roboterforschung verwendeten Hardware aus China. Sie ist gut, verhältnismäßig preisgünstig, von hoher Qualität und erfüllt die Standards, die man im Allgemeinen benötigt. Es wäre natürlich großartig, all das auch im eigenen Land beschaffen zu können. Ich halte das keineswegs für unmöglich; es ist lediglich eine Frage der Einsicht, dass das gesamte Ökosystem unterstützt werden muss und nicht nur ein einzelner Baustein.
Host: Das Daten-Flywheel und Skalierungsmeilensteine
Host: Man kann sich vorstellen, dass das Labor, das als Erstes die Skalierung erreicht, auch als Erstes den Durchbruch schafft. Möglicherweise entsteht hier ein exponentieller Wachstumseffekt: Die Bereitstellung hilft Ihnen, schneller zu wachsen, und schnelleres Wachsen hilft Ihnen bei der Bereitstellung, wodurch ein echtes Flywheel entsteht. Glauben Sie, dass dies in dieser Branche passieren wird – dass ein Labor, sei es in den USA oder in China, einen Wendepunkt erreicht und allen anderen davonrauscht?
Sergey Levine: Da ist viel Wahres dran. Allerdings gibt es ein wichtiges Detail zu beachten: Man muss das Richtige skalieren. Ein effektiver positiver Rückkopplungskreislauf, bei dem mehr im Feld eingesetzte Roboter zu einer höheren Modellkompetenz führen, ist der Schlüssel. Der Haken an der Sache ist, dass man das auf viele Weisen falsch machen kann.
Ein offensichtliches Beispiel: Angenommen, ich bin ein Automobilkonzern und habe einen Roboterarm, der Autos am Fließband schweißt. Er schweißt jeden Tag Autos und kommt im Monat auf eine Million Schweißnähte. Wenn ich das einfach als mein Daten-Flywheel nutze, werde ich damit kaum etwas hervorbringen, das leistungsfähiger ist als ein Roboter, der Autos schweißt. Da der Roboter bereits dort steht und Autos schweißt, ist der Grenznutzen dieser zusätzlichen Daten nicht sonderlich wertvoll. Das veranschaulicht, warum man das Richtige skalieren muss: Daten sind eben kein homogener Rohstoff wie Elektrizität oder Öl. Man kann sie nicht einfach in beliebigen Mengen dazukaufen; sie müssen heterogen sein. Man muss das Richtige mit der richtigen Technologie und der richtigen Quelle vielfältigen Lernens skalieren. Daten ähneln eher einem Bildungsprogramm für Ihren Roboter als einem austauschbaren Handelsgut.
Host: Wenn Sie an dieses Daten-Flywheel und die Bereitstellung einer geeigneten Plattform denken, die relevante Daten zur Verbesserung jener Plattform generiert – wann erwarten Sie, dass dies in der Praxis geschieht?
Sergey Levine: Auf der technologischen Seite schreitet die Entwicklung rasant voran. Ein spezifischer Balanceakt, der diesen Zeitplan maßgeblich bestimmen wird, ist die Frage, wie viel Struktur man von vornherein zuzulassen bereit ist. Im Extremfall könnte man versuchen, direkt in völlig unstrukturierte Einsatzbereiche wie Haushaltsroboter zu springen. Das wäre extrem spannend, weil man sofort mit enormer Vielfalt konfrontiert wird, aber die Hürde liegt extrem hoch, um dort hinreichend effektiv und sicher zu sein – denn Sicherheit ist im Umfeld von Menschen in ihren eigenen vier Wänden ein weitaus größeres Problem.
Am anderen Extrem könnte man sich wesentlich strukturiertere Aufgaben vorstellen. Vielleicht nicht direkt den Schweißroboter, aber den Roboter im Flur, der etwas leicht Unstrukturiertes tut. Das könnte ein einfacherer Bereich sein, da es weniger Sicherheitsbedenken gibt, weil er sich möglicherweise unter trainierten Menschen bewegt und die Aufgabe vorhersehbarer ist. Allerdings ist der Grenzwert jedes einzelnen Datenbits, das man in dieser Domäne gewinnt, geringer, weil es weniger Varianz gibt. Man kann also früher starten, hat aber eine flachere Steigung – oder später mit einer steileren Steigung, und das muss man kalibrieren. Mein Eindruck ist, dass wir uns – unabhängig davon, welches dieser Extreme wir betrachten – eher in einem Zeitfenster von einstelligen als von zweistelligen Jahren befinden. Die strukturierteren Anwendungsfälle passieren vielleicht schon jetzt oder im nächsten Jahr. Die weniger strukturierten dürften noch ein paar Jahre auf sich warten lassen, aber wahrscheinlich keine ganze Dekade.
Roadmaps, Generalisierung und Tests in der realen Welt
Host: Viele Leute sprechen über Zeitpläne, und das Ganze bleibt oft recht vage. Wenn Sie Meilensteine auf dem Weg zu jenem Nordstern – dem Roboter im Haushalt – definieren müssten, wie würde diese Roadmap aussehen?
Sergey Levine: Es gibt einen entscheidenden Punkt über die Robotik, den man vor lauter Hype-Zyklen und veröffentlichten Demos leicht übersieht: Das wahre Problem in der Robotik war immer die Generalisierung. Wenn jemand eine Demonstration seines Systems zeigt, macht die Demo allein meist nicht klar, welches Ausmaß an Generalisierung tatsächlich vorliegt. Hochgradig akrobatische Roboter-Demos beispielsweise sind faszinierend anzusehen. Aber wenn es sich um auf einer Bühne einstudierte Abläufe handelt, ist das buchstäblich nur eine Show. Das ist nicht dasselbe wie eine Aufgabe unter allen Bedingungen in jedem beliebigen Haushalt jedes Mal zuverlässig zu erledigen.
Der Aspekt der Generalisierung wirkt isoliert betrachtet oft gar nicht so beeindruckend, weil Generalisierung eine Eigenschaft vieler Versuche ist und nicht eines einzelnen Versuchs. Man sieht den Roboter vielleicht etwas ziemlich Alltägliches und Unspektakuläres tun – das Spannende daran ist jedoch, dass er dies mit einem Objekt tut, das er noch nie zuvor gesehen hat, und in einer Umgebung, die zuvor niemals getestet wurde. Das ist tatsächlich schwieriger als ein akrobatischer Salto rückwärts, den der Roboter eine Million Mal geübt hat.
Die Roadmap dreht sich ganz darum, eine bessere Generalisierung zu erreichen und einen Mechanismus zu besitzen, der im Zuge der Generalisierung fortlaufend mehr Generalisierung ermöglicht. Ein Schritt auf dieser Roadmap ist die konkrete Demonstration eines Robotersystems, das sich durch autonome Praxiserfahrung in einer Umgebung verbessert, für die es ursprünglich gar nicht trainiert wurde. Man trainiert das Modell im Backend, setzt es in eine neue Umgebung – sei es ein Haus oder eine Fabrik für reale Abläufe –, und es schlägt sich passabel. Im Laufe der Zeit wird es jedoch immer besser, bis es praxisrelevante Robustheitsgrade erreicht, ohne bei 50 % hängenzubleiben. Das wäre ein bedeutender Meilenstein. Wenn es sich dabei um einen echten automatisierten Prozess handelt, der sich durch das Sammeln nützlicher Erfahrungen kontinuierlich verbessert, kann man ihn in unzähligen verschiedenen Bereichen einsetzen, um Erfahrungen zu sammeln, gewünschte Aufgaben zu erledigen und das Modell zu optimieren.
Ein weiterer wichtiger Schritt ist der Nachweis eines konkreten und praxisnahen Wegs, um gesunden Menschenverstand auf das System zu übertragen und so Robustheit zu erzeugen. Das ist das Szenario, in dem man nicht üben kann. Wenn Sie auf der Straße fahren und ein Feuerwehrfahrzeug sowie Pylonen sehen, sagt Ihnen Ihr gesunder Menschenverstand – selbst wenn Sie noch nie in dieser Situation waren –, dass Sie langsamer fahren sollten, anstatt mit Vollgas durch die Pylonen zu brettern. Wenn wir diesen gesunden Menschenverstand nutzen können, um sich von unerwarteten Situationen effektiv zu erholen – so wie damals, als der Roboter den Spatel in den Ofen steckte und erkennen musste, dass er ihn wieder herausnehmen muss –, zeigt uns das, dass wir gesunden Menschenverstand einsetzen können, um Fehler zu korrigieren.
Host: Man könnte sich einen eng begrenzten Roboter vorstellen, etwa einen humanoiden Roboter, der einen einzigen Arbeitsschritt an einer Montagelinie ausführt. Soweit ich das verstehe, interessiert Sie das weniger, weil das kein echter Schritt hin zu allgemeiner Intelligenz (AGI) ist.
Sergey Levine: Es ist nicht so, dass mich das weniger interessiert. Vielmehr hat die reale Welt "undichte Abstraktionen" (leaky abstractions), die solche Vorhaben weitaus komplexer machen, als sie erscheinen. In den 1990er-Jahren, als die Arbeit am autonomen Fahren auf Hochtouren lief, gab es die Idee, dass wir viele der schwierigen Probleme umgehen könnten, indem wir die Infrastruktur instrumentieren: Magnetsensoren entlang der Autobahn verlegen und Sender an Autos anbringen, damit diese wissen, wo sich jeder andere befindet – ganz ähnlich wie in der Luftfahrt. Die Leute dachten, wir bräuchten gar keine ausgefallene KI, sondern einfach nur Sensoren, und schon würde es funktionieren. Das verlief im Sande, weil die reale Welt zu viele unordentliche Ausnahmen und Sonderfälle bereithält. Selbst wenn Magnetsensoren zu 99 % funktionieren, sorgt das eine Prozent, in dem jemand auf die Straße tritt oder ein Stück Müll herumliegt, dafür, dass alles zusammenbricht.
Was tatsächlich funktioniert hat, war die Entscheidung, dem schwierigen Problem nicht aus dem Weg zu gehen, sondern Fahrzeuge direkt in chaotischen Umgebungen wie San Francisco einzusetzen und sich der Herausforderung frontal zu stellen. Bei der robotischen Manipulation wird es genau so laufen. Über die voll strukturierte Welt der Fabrik hinaus gilt: Selbst wenn es zu 99 % unkompliziert ist, erfordert das eine Prozent, in dem etwas Seltsames passiert, dass das Problem in seiner gesamten Tragweite gelöst wird.
Host: Das erinnert mich an eine Demo von Figure, bei der sie live gestreamt haben, wie ein Roboter Pakete sortiert. Ist das Ihrer Meinung nach ein Beweis für Generalisierung?
Sergey Levine: Ja, das finde ich durchaus. Das ist etwas, das mich sehr zuversichtlich stimmt. Da es schwierig ist, Generalisierung in einem einzelnen Video zu zeigen, denken viele Menschen kreativ darüber nach, wie man so etwas auf einen Blick präsentieren kann – etwa durch Live-Demos und lange Zeitraffern. Das ist ein hervorragender Weg, um die Bedeutung der Generalisierung im Bewusstsein der Menschen zu verankern.
Als wir Ende letzten Jahres an dem Projekt $\pi_0\text{ RL}$ arbeiteten, wollten wir Experimente über längere Zeiträume durchführen. Unser Roboter hat beispielsweise tagelang in der Dandelion Chocolate Factory Schachteln zusammengebaut. Wir hatten auch eine Kaffee-Aufgabe, bei der der Roboter eine Espressomaschine bediente, um Kaffee zuzubereiten – über 13 Stunden lang ununterbrochen. Aus Umweltbewusstsein wollten wir den Kaffee nicht einfach wegschütten, weshalb nach 13 Stunden im Büro alle komplett unter Koffein-Strom standen. Er hat ein paar Mal einen Fehler gemacht, etwa Kaffeemehl verschüttet und es anschließend mit einem Tuch abgewischt, aber in diesen 13 Stunden ist nichts explodiert.
Host: Als er das Kaffeesud verschüttete und es sauber machte – hat er das ganz von alleine getan?
Sergey Levine: Das Experiment war so aufgebaut, dass es ein High-Level-Prompting gab, das etwa alle fünf Minuten zwischen semantisch zusammenhängenden Aufgaben aktualisiert wurde. Man trug ihm auf, Espresso zu machen oder die Maschine zu reinigen, sodass der Befehl zum Säubern von einem Menschen kam. Prinzipiell könnten wir das automatisieren. Wir stecken derzeit viel Mühe in die Verbesserung unserer High-Level-Policy, die genau diese Befehle steuert. Bei diesem Experiment hat eben alle fünf Minuten jemand aktualisiert, was der Roboter als Nächstes tun soll – ganz so, wie man in einem Café einen Latte bestellt, nur dass man ihm eben auch sagen musste, dass er vor dem nächsten Drink erst sauber machen soll.
Host: OpenAI, Anthropic, Cursor und Vercel nutzen dieses Produkt alle, um sich das Leben leichter zu machen. Das Problem, das es löst: Wenn Sie SaaS oder ein KI-Produkt entwickeln und an andere Unternehmen verkaufen möchten, gibt es eine Reihe von Anforderungen, die Sie erfüllen müssen – SSO, SCIM, RBAC, Audit-Logs. Die Integration dieser Features kostet Zeit, ist aber nicht der Kern Ihres eigentlichen Produkts. WorkOS ist eine API-Schicht, mit der Sie all diese Anforderungen mit nur wenigen Zeilen Code erfüllen. Schauen Sie unter workos.com vorbei, um mehr zu erfahren und direkt loszulegen. Ich danke WorkOS für die Unterstützung dieses Podcasts.
Datentypen und Cross-Embodiment-Transfer
Host: Auf dem Weg zur Generalisierung spielen Daten eine zentrale Rolle. Es gibt simulierte Daten und physische, interaktive Daten. Wie beurteilen Sie die besten und schlechtesten Datenquellen sowie deren Vor- und Nachteile?
Sergey Levine: In der Robotik-Community wird darüber intensiv diskutiert, und die Meinungen gehen stark auseinander. Meine Sichtweise ist, dass viele verschiedene Datenquellen für das Modell viel leichter zu verinnerlichen sind, wenn es sie in einem gründlichen physischen Weltverständnis verankern kann.
Wer Fliegen lernen will, nutzt während der Ausbildung vermutlich zu einem Teil einen Simulator. Der Simulator ergibt für Sie Sinn, weil Sie bereits jede Menge Weltwissen mitbringen, um das Geschehen einzuordnen. Sie wissen, dass Sie sich Wissen aneignen, das Sie in einem echten Flugzeug anwenden werden. Wenn Sie jemandem beim Kochen zusehen, müssen Sie zwar nicht dessen exakte Muskelbewegungen spüren, aber Sie verfügen über Vorwissen, um die Handlung auf einer abstrakten Ebene abzuspeichern – etwa nach dem Motto „Salz hinzufügen“, ohne die Gelenktrajektorien berechnen zu müssen. Sobald man verstanden hat, wie man Dinge physisch mit dem eigenen Körper tut, können sich alle anderen Wissensquellen daran andocken, weil das verkörperte Fundament (embodied foundation) alles erdet.
Wenn wir über ein robotisches Foundation Model verfügen, das mit einer Fülle realer, verkörperter Daten trainiert wurde und so für diese Verankerung sorgt, ist es möglicherweise sehr viel besser in Betracht in der Lage, andere Wissensquellen aufzunehmen. Angesichts des Erfolgs von Internetdaten für LLMs ist man versucht, mit YouTube-Videos zu starten und Roboterdaten obendrauf zu setzen – ich glaube jedoch, dass es genau umgekehrt ist. Mein Kollege Sudeep hat zusammen mit Samarth vom Georgia Tech unser Roboter-Foundation-Model genommen und menschliche Videodaten auf einem ursprünglich mit Roboterdaten trainierten Modell ergänzt. Wenn man ein kleines Modell mit minimalen Roboterdaten verwendet, blieben menschliche und robotische Erfahrung in den Merkmalsrepräsentationen vollständig getrennt. Wenn das Modell jedoch mit vielen Roboterdaten von zahlreichen verschiedenen Robotern trainiert wurde, gruppierten sich die Merkmale gänzlich nach Aufgabenidentität und nicht nach Ausführungsform (Embodiment). In den t-SNE-Einbettungen – hochgefahren auf 100 % Roboterdaten – stimmte die Aufgabenidentität sauber überein, bei minimaler Sensitivität gegenüber dem Embodiment. Das Basismodell war überhaupt nicht mit menschlichen Daten trainiert worden, aber sobald man menschliche Daten hinzufügt, repräsentiert es diese auf exakt dieselbe Weise.
Host: Ist es wichtig, dass das Basismodell mit Daten trainiert wurde, die genau diesen spezifischen Satz von Motoren und Gelenken verwenden?
Sergey Levine: Wir haben viel Arbeit in Cross-Embodiment-Modelle gesteckt, die mit verschiedensten Robotertypen umgehen können, aber im Allgemeinen benötigt man dennoch einige Daten vom Zielroboter, um eine gute Leistung zu erzielen. Das Maß der Generalisierung ist kein Zero-Shot-Transfer auf einen neuen Roboter, sondern die Tatsache, dass man beim neuen Roboter mit weniger Erfahrung auskommt, weil Fähigkeiten von anderen Systemen übertragen wurden.
Das Ausmaß an spezieller Architektur, das dafür erforderlich ist, ist überraschend gering. Ursprünglich hatte ich eine lange Liste von Forschungsideen, um unterschiedlichen Morphologien gerecht zu werden – etwa durch die Faktorisierung von Repräsentationen für einen Arm mit 6 Freiheitsgraden im Vergleich zu einem mit 7 Freiheitsgraden. Wir haben nichts davon umgesetzt. Das Modell gibt einen Vektor aus Zahlen aus, und wenn der Roboter weniger Freiheitsgrade hat, füllt er die Ausgabe einfach mit Nullen auf (Zero-Pads). Es wird über alle Roboter hinweg trainiert und gibt Aktionen basierend auf dem aus, was es über die Kamera sieht.
Um Fähigkeiten zwischen Robotern zu übertragen, hilft eine Art Zwischenschritt (intermediate thinking). In Text zu denken, eignet sich gut für die Übertragung von High-Level-Verhaltensstrukturen – wie etwa das Wissen, dass man eine Schublade öffnen muss, bevor man Besteck wegräumt. Für physische Aufgaben auf niedrigerer Ebene haben wir ein Experiment durchgeführt, bei dem die Denkphase in Bildern ausgedrückt wird: Es wird ein Bild des nächsten Meilensteins der Aufgabe generiert. Auf diese Weise konnten wir einen UR5-Roboter dazu bringen, ein T-Shirt zu falten, obwohl wir exakt Null T-Shirt-Falt-Daten für diesen spezifischen Roboter besit-zten. Ein Bild davon zu generieren, wie ein gefaltetes Hemd aussieht, ist mit einem generativen Modell unkompliziert, und die erforderlichen Gelenkwinkel aus diesem synthetisierten Bild abzuleiten, ist vergleichsweise einfach. Wenn man dieses zwischenzeitliche Denken in der richtigen Modalität einführt, wird die Cross-Embodiment-Generalisierung wesentlich einfacher.
Einfachheit des Robotik-Stacks versus autonome Fahrzeuge
Host: Vorhin haben Sie Waymo als inspirierenden Beweis für generalisierte Robotik genannt. Was gibt Ihnen im Fall der humanoiden Robotik die Zuversicht für einen Zeitrahmen im einstelligen Jahresbereich, angesichts des langen Schwanzes an Randfällen (Edge Cases) und Policy-Herausforderungen, mit denen autonome Fahrzeuge konfrontiert waren?
Sergey Levine: Ein großer Unterschied zwischen robotischen Foundation Models und traditionell entwickelten Systemen besteht darin, dass der Software-Stack extrem schlank ist. Das Training eines Foundation Models ist aufgrund von Datenkuratierung und -kennzeichnung zwar aufwendig, aber die eigentliche Software, die auf dem Roboter läuft, ist sehr simpel. Gemessen an den reinen Codezeilen ist sie weitaus kleiner als der Stack eines traditionellen autonomen Fahrzeugs. Autonome Fahrzeuge starteten früher mit ganz anderen Legacy-Technologien und unterliegen strengen sicherheitskritischen Auflagen. Ein zerbrechliches Objekt mit einem Roboterarm fallen zu lassen, ist weitaus weniger katastrophal, als wenn ein Auto einen Menschen anfährt.
Die Sicherheitsherausforderungen in der Robotik sind real, aber sie stellen kein derart hartes Stoppsignal für den praktischen Einsatz dar. Man kann Aufgaben, Umgebungen und Hardware gezielt so auswählen, dass diese Risiken beherrschbar bleiben. Die Kombination aus einem radikal einfacheren Software-Stack, weniger drastischen Sicherheitshürden und dem positiven Daten-Flywheel macht den Zeitrahmen im einstelligen Jahresbereich realistisch.
Premortem zu den Fehlschlag-Szenarien humanider Robotik
Host: Wenn die humanoide Robotik es nicht schaffen sollte, innerhalb von einstelligen Jahren durchzubrechen – was wäre der wahrscheinlichste Grund für diesen Misserfolg?
Sergey Levine: Damit diese Systeme echten Nutzen stiften, müssen sie ein Niveau an Zuverlässigkeit und Generalisierung erreichen, das über dem liegt, was wir von LLMs oder generativen Videomodellen gewohnt sind. LLMs sind interaktive Werkzeuge für Menschen, bei denen ein Nutzer so lange Prompts iterieren kann, bis das Problem gelöst ist. Bei einem Roboter hängt das gesamte Wertversprechen jedoch von der autonomen Ausführung ab. Wenn ein Mensch ständig eingreifen muss, verfehlt das den Zweck.
Das größte Risiko besteht in der Schwierigkeit, diese extrem hohe Robustheitslatte zu nehmen. Reinforcement-Learning-Techniken, die auf autonomen Erfahrungen aufbauen, können dabei helfen, die Lücke von 95 % auf 100 % zu schließen, doch diese finale Zielgerade zu überqueren, bleibt eine offene technische Herausforderung, die weitere algorithmische Innovationen erfordert.
Foundation Models versus spezialisierte Nischenmodelle
Host: Verfolgen in der Robotik-Modellarchitektur alle Akteure denselben Ansatz, oder gibt es voneinander abweichende, radikale Thesen?
Sergey Levine: Es gibt mehr Heterogenität, als es den Anschein hat. Die primäre Trennlinie verläuft zwischen jenen, die das Ethos von Foundation Models voll und ganz verinnerlichen, und jenen, die sich auf enge vertikale Anwendungsbereiche konzentrieren. Das Ethos des Foundation Models besagt, dass man zur Lösung einer spezialisierten Aufgabe besser beraten ist, ein generelles Modell über eine breite Datenbasis hinweg zu trainieren, welches letztlich einen spezialisierten Nischenansatz bei Randfällen übertreffen wird.
In der Robotik sorgt dieser Gedanke bei vielen für Unbehagen. Wer ein Lagerautomatisierungssystem aufbauen will, für den wirkt das Sammeln von Daten über das Wegräumen von Besteck in Küchen zunächst kontraintuitiv. Das Sammeln vielfältiger Daten baut jedoch generalisierte Fähigkeiten auf, die sich auf unvorhersehbare Randfälle im Lager übertragen lassen. Zu akzeptieren, dass eine breite Aufstellung einer engen vertikalen Optimierung überlegen ist, fällt klassischen Robotikingenieuren nach wie vor schwer.
AI Safety in der physischen Welt
Host: Wenn Physical Intelligence ein außerordentlich leistungsfähiges General Model entwickelt – wie betrachten Sie dann das Thema AI Safety, Risiken und Regulierung bei physischen Systemen?
Sergey Levine: AI Safety wird bereits seit Langem erforscht, aber wenn sich Technologien rasant entwickeln, hängen die realen Probleme stark davon ab, wie die Gesellschaft diese Werkzeuge adaptiert. Unsere Philosophie lautet: empirisches Experimentieren. Wir setzen Systeme in der realen Welt ein, beobachten, was funktioniert und wo Fehler auftreten, und passen sie iterativ an. Wenn reine Software-KI signifikante Sicherheitsbedenken aufwirft, werden physische KI-Systeme, die in der Lage sind, mit der physischten Welt zu interagieren, naturgemäß nochmals deutlich schärfere Prüfungen erfordern.
Ökonomische Auswirkungen und die Zukunft der Arbeit
Host: Wenn in den nächsten zehn Jahren alles optimal läuft – bedeutet humanoide Robotik dann das Ende menschlicher Arbeit?
Sergey Levine: Es wäre ein Fehler, Roboter schlicht als mechanische Menschen zu betrachten. Als Personal Computer ihren Siegeszug antraten, ersetzten sie keineswegs das menschliche Gehirn; stattdessen erlebten wir die Verbreitung allgegenwärtiger Rechenleistung an Arbeitsplätzen, in Taschen, Kühlschränken und Autos. Analog dazu wird Physical Intelligence höchstwahrscheinlich eine allgegenwärtige physische Aktorik einführen, die bei alltäglichen Aufgaben automatisierte Unterstützung bietet, anstatt den Menschen eins zu eins zu ersetzen. Moderne Coding-Agenten sind hierfür ein guter Parabel: Sie eliminieren Software-Ingenieure nicht, sondern hebeln deren Produktivität und verstärken sie.
Grundlegende Forschungsarbeiten: Aloha und ACT
Host: Wenn jemand die Entstehungsgeschichte der Durchbrüche in der Robotik verstehen möchte – welche grundlegenden Paper sollte er lesen?
Sergey Levine: Ich würde auf das ursprüngliche Aloha- sowie das ACT-Paper (Action Chunking with Transformers) verweisen, das unter der Leitung von Tony Zhao entstand und an dem ich als Koautor beteiligt war. Diese Arbeit zeigte, dass der Einsatz kostengünstiger Hobby-Arme von Trossen Robotics für 7.000 $ in einer bimanualen Teleoperations-Konfiguration, kombiniert mit einem unkomplizierten Transformer-Modell, hochkomplexe Aufgaben wie das Ersetzen von Fernbedienungsbatterien oder das Anziehen eines Schuhs an einem Schaufensterpuppenfuß lösen konnte.
Akademische Forschung priorisiert häufig mathematische Komplexität, aber die entscheidende Erkenntnis hierbei war, dass einfache, zugängliche Hardware gekoppelt mit dem richtigen End-to-End-Lernansatz bemerkenswerte Resultate erzielen kann. Die Open-Source-Codebasis von ACT hat sich zu einem Standard-Starterkit für modernes Roboterlernen entwickelt, weil sie demonstriert, wie weit man mit simplen Bausteinen kommt.
Die Evolution von klassischer Regelungstechnik zu gelerntem KI-Verhalten
Host: Vor dem modernen Machine Learning zog Boston Dynamics mit beeindruckenden Demos enorme Aufmerksamkeit auf sich, doch heute hört man vergleichsweise wenig über klassische Ansätze. Was hat diesen Branchenwechsel angetrieben?
Sergey Levine: Robotik erfordert eine Full-Stack-Integration über mechanisches Design, Aktorik und hochrangige Entscheidungsfindung hinweg. Klassische Demos von Boston Dynamics präsentierten außergewöhnliche Hardware und hochentwickelte, handgeschriebene Regelungstechnik. Damals war das unerlässlich, denn ohne funktionierende Hardware läuft in der Entscheidungssoftware gar nichts.
Heute ist die Hardware gut genug, und der primäre Engpass ist die geschlossene Entscheidungsfindung (closed-loop decision-making) in unstrukturierten Umgebungen. Die Trennlinie zwischen klassischer Regelung und moderner KI läuft auf die Frage hinaus, ob der Roboter lediglich seinen eigenen Körper kontrollieren muss oder ob er auf die Außenwelt reagieren muss. Einen Salto rückwärts auf ebenem Boden zu machen, ist primär ein Regelungsproblem, das den Roboterkörper betrifft. Eine Kaffeetasse aufzuheben erfordert hingegen das Verständnis der externen Umwelt. Wenn ein menschlicher Ingenieur ein Regelungsgesetz (control law) für ein bestimmtes Verhalten von Hand entwerfen kann, dient dies als Existenzbeweis dafür, dass eine kompakte, generalisierbare Policy existiert und direkt durch Machine Learning erlernt werden kann.
Ratschlag an das jüngere Ich bezüglich Vorwissen
Host: Wenn Sie in die Zeit zurückreisen könnten, als Sie in die Branche eingestiegen sind – welchen Rat würden Sie Ihrem jüngeren Ich geben?
Sergey Levine: Ich würde mir raten, Vorwissen sehr viel ernster zu nehmen. In der Frühphase waren viele Forscher, mich eingeschlossen, der Überzeugung, Roboter müssten völlig von Null auf lernen. Während des Arm-Farm-Projekts bei Google ließen wir Roboterarme Millionen von Objekten aus dem Nichts greifen. Sie lernten zu greifen, aber diese Daten ließen sich nicht ohne Weiteres nutzen, um komplexere Fähigkeiten zu bootstrappen.
Tiere und Menschen lernen nicht im luftleeren Raum; sie stützen sich auf Beobachtung und bereits existierende Modelle der Welt. Die Einbindung breiten Vorwissens – sei es durch Sprache, Internet-Videos oder Cross-Embodiment-Daten – liefert das notwendige Gerüst für effizientes Lernen. Wer versucht, gänzlich ohne Vorwissen zu lernen, zwingt den Roboter dazu, ein ungleich schwereres Problem zu lösen, als es die Natur jemals lösen musste.
Host: Vielen Dank für Ihre Zeit, Sergey.
Sergey Levine: Ich danke Ihnen für die Fragen.
Host: Vielen Dank fürs Zuschauen bei diesem Podcast. Wenn es Ihnen gefallen hat, lassen Sie bitte einen Kommentar und ein Like da. Ich arbeite derzeit auch an der Entwicklung eines Prototypen für eine ergonomische, geteilte Tastatur. Wir sind auf Kickstarter gestartet und haben unser Finanzierungsziel innerhalb von acht Stunden erreicht. Die Werkzeugfertigung läuft bereits, und späte Zusagen sind nach wie vor möglich. Danke fürs Zusehen, wir sehen uns in der nächsten Episode.