DruckFin

Physical-Intelligence-Transkript: Entwicklung universeller Gehirne für die Robotik durch allgemeine Foundation Models und Reinforcement Learning

2. September 2026 | Tiefgehendes Gespräch mit Sergey Levine über Embodied AI

Einleitung und Definition von Physical Intelligence

Host: Mein Gast heute ist Sergey Levine, einer der Mitbegründer und Forscher bei Physical Intelligence. Als Disclaimer vorweg: Ich bin Investor bei Physical Intelligence, weil ich überzeugt bin, dass es sich hierbei um eines der wichtigsten Unternehmen handelt, die das Problem der Robotik anpacken. Wie Sie in unserem heutigen Gespräch hören werden, leidet die Robotik unter dem, was ich als das „Vogelscheuche-Problem“ bezeichnen würde. All diese fantastischen physischen Geräte werden in den unterschiedlichsten coolen Permutationen immer machbarer, aber was sie alle wirklich brauchen, ist Intelligenz, ein Gehirn – und genau das entwickeln sie bei Physical Intelligence. Sie versuchen, Foundation Models zu entwickeln, die jeden physischen Roboter in die Lage versetzen, jede Aufgabe in jeder Umgebung auszuführen. Diese Herausforderung ist enorm und hat viele der weltweit besten Forscher zusammengebracht – Sergey ist einer dieser führenden Köpfe –, um dieses Problem zu lösen. Unser heutiges Gespräch dreht sich um sämtliche Herausforderungen der Robotik und das enorme Potenzial, diese Probleme weltweit zu lösen. Ich wünsche Ihnen viel Vergnügen bei diesem großartigen Gespräch mit Sergey Levine.

Host: Das wird ein wahrer Genuss und eine spannende Gelegenheit, mehr über den vermutlich aufregendsten und wirkungsmächtigsten Bereich der Technologie zu erfahren, der derzeit entwickelt wird. Um den Rahmen abzustecken, bevor wir einen Blick in die Vergangenheit werfen: Könnten Sie Physical Intelligence aus Ihrer Sicht definieren?

Sergey Levine: Im Grunde besteht das Ziel von Physical Intelligence darin, robotische Foundation Models zu entwickeln, die im Prinzip jedes verkörperte System steuern können, um beliebige Aufgaben zu erledigen. Im Großen und Ganzen kann man sich das so vorstellen: Genauso wie sich ein Sprachmodell rasant zu einem System entwickelt, das jede in Sprache ausgedrückte Aufgabe lösen kann, möchten wir eine neue Klasse von Modellen bauen, die jede Aufgabe bewältigen kann, die von einem physischen, angetriebenen Gerät ausgeführt werden kann. Ein Teil der These unseres Unternehmens lautet, dass dieser Ansatz auf der Ebene vollständiger Generalisierung langfristig sogar einfacher sein könnte als der Versuch, für sehr spezifische, enge Anwendungsbereiche jeweils Sonderlösungen zu entwickeln. Auch hier gilt eine Parallele zu Sprachmodellen: Letztendlich erwies es sich in mancher Hinsicht als einfacher, Aufgaben der natürlichen Sprache in ihrer vollen Allgemeingültigkeit zu lösen, als maschinelle Übersetzung oder Sentiment-Analyse isoliert zu betrachten.

Die Kompromisse zwischen Generalisierung und domänenspezifischen Systemen

Host: Es ist vielleicht nicht unmittelbar offensichtlich, warum man diese Wette eingeht, anstatt einfach einen Roboter zu bauen, der ausschließlich Ihr Geschirr spült oder ähnliche Aufgaben übernimmt. Was sind die entscheidenden Abwägungen, die man verstehen muss, und warum haben Sie diese Entscheidung getroffen?

Sergey Levine: Ich kann Ihnen darauf eine zweigeteilte Antwort geben. Erstens die Analogie zu Sprachmodellen und zweitens, was das in der Roboterwelt bedeutet. Ersteres stützt sich auf empirische Belege. In der Welt der natürlichen Sprache haben wir gesehen, dass es zahlreiche Bemühungen gab, domänenspezifische Lösungen für konkrete Probleme zu entwickeln. Jemand verbrachte beispielsweise viel Zeit damit, die grammatikalischen Unterschiede zwischen Englisch und Französisch zu analysieren, um ein maschinelles Übersetzungssystem zu bauen. Der Grund, warum Sprachmodelle letztlich alle diese verschiedenen Anwendungsbereiche verdrängt haben, liegt darin, dass sie auf viel breitere Datenquellen zurückgreifen können.

Sergey Levine: Es ist nicht einmal so simpel zu sagen, wir hätten die Daten für diese Anwendung und die Daten für jene Anwendung genommen und alles zusammengelegt. Es geht um weit mehr. Wenn Sie schwach annotierte Daten nutzen – wie etwa Daten, die man im Fall von Sprachmodellen aus dem Web extrahiert –, lernen Sie tatsächlich mehr über die Welt. Sie errichten ein Fundament an Weltverständnis, und auf diesem Fundament erweist es sich als weitaus effektiver, unterschiedliche Anwendungen aufzubauen.

Sergey Levine: Wenn wir das auf die Robotik übertragen, sieht die Rechnung nicht exakt gleich aus, da wir in der Robotik nicht über einen Datensatz in Internetgröße verfügen, aus dem wir einfach schöpfen können. Aber dieser Aspekt des Weltverständnisses ist in der Robotik, wenn überhaupt, sogar noch wichtiger. Wenn man viele verschiedene Aufgaben und zahlreiche unterschiedliche physische Systeme hat, kann man von der Schulung einzelner Spezialisten fürs Geschirrspülen oder Wäschefalten zu einem Modell übergehen, das tatsächlich physische Interaktion begreift. Menschen können neue Fertigkeiten extrem schnell meistern, weil wir physische Interaktion verstehen. Wir können intuitiv erfassen, was in einer neuen, ungewohnten Situation passieren wird, was uns erlaubt, Dinge sehr rasch zu bootstrappen. Wenn wir auf Daten aus vielen Quellen, vielen Anwendungen und vielen Roboterarten zurückgreifen können, erhalten wir ein Modell mit echtem physikalischen Verständnis, wodurch es viel einfacher wird, neue Anwendungen auf dieser Plattform aufzubauen.

Die Herausforderung allgemeiner Modelle und die Falle enger Demos

Host: Was ist der schwierigste Aspekt bei diesem Ansatz, besonders wenn man andere Methoden sieht, die für den Durchschnittsmenschen greifbarer wirken – etwa einen Roboter, der sich herumbeamt und eine ganz bestimmte Aufgabe erledigt?

Sergey Levine: Das zieht sich wie ein roter Faden durch meine Karriere. Wenn man an robotergestütztem Lernen arbeitet, ist effektive Generalisierung keineswegs der optimale Weg, um eine wirklich spektakuläre Demo abzuliefern. Um eine fantastische Demo zu produzieren, pickt man sich eine extrem coole Aufgabe heraus, kontrolliert jeden anderen Parameter in der Umgebung, richtet alles absolut makellos her und bringt es genau in diesem einen Szenario zum Laufen. So baut man eine klassische Roboter-Demo.

Sergey Levine: Generalisierung lässt sich eben nicht nur an einem einzigen Ort demonstrieren. Der Sinn von Generalisierung besteht darin, dass der Roboter etwas relativ Alltägliches tut, das jeder Mensch erledigen könnte – aber er tut es in jeder beliebigen Situation. Wir haben einige Demos veröffentlicht, in denen unser Roboter Küchen aufräumte. Wenn man sich ein einzelnes Video ohne Kontext anschaut, sieht es einfach so aus, als würde er Teller einsammeln, was jeder Mensch kann. Aber der springende Punkt war, dass wir den Roboter für diese Demo in ein echtes, uns Fremdes Zuhause gesetzt hatten und er zuvor noch nie Trainingsdaten aus dieser Umgebung gesehen hatte. Man muss verstehen, was hinter den Kulissen abläuft, um zu begreifen, warum das die technologische Grenze verschiebt.

Langfristige Einsätze und Plattform-Shift

Host: Wie lautet Ihr Modell für die Tragweite dessen, was Sie hier tun? Was wird möglich, wenn Sie erfolgreich sind und diesen Graben der allgemeinen physischen Intelligenz überwinden?

Sergey Levine: Eines der spannendsten Ergebnisse wäre die Möglichkeit, die Fantasie der Menschen bei der Entwicklung von Roboter- und anderen verkörperten Systemen freizusetzen. Personal Computer waren eine Sensation, weil sie es unzähligen Menschen erlaubten, alle möglichen coolen Anwendungen zusammenzubasteln. Damals, in den 1990er-Jahren, gab es eine Art krambrische Explosion fantastischer Software, die durch das Internet weiter beschleunigt wurde. Ich denke, etwas Ähnliches könnte in der Welt der Robotik geschehen, doch das ist heute noch nicht möglich: Wer aktuell eine neue Roboteranwendung basteln will, muss einen monströsen Tech-Stack errichten und das Intelligenzproblem im Grunde komplett selbst lösen.

Sergey Levine: Wenn es ein Foundation Model gibt, auf dem jemand aufbauen kann, das man per Prompt mit grundlegenden Funktionen ausstattet und das man dann für seine spezifische Anwendung feintunen oder anpassen kann, wird es für eine Vielzahl von Menschen, Unternehmen und Einzelpersonen weitaus machbarer, die verschiedensten Dinge auszuprobieren. Manchmal denken wir, Roboter würden nur eine einzige Form annehmen, etwa die von metallenen Menschen. Doch so hat sich noch keine Technologie entwickelt. Es wird eher wie ein Werkzeugkasten sein, aus dem man allerlei Anwendungen zusammenstellt. Man kann kreativ werden und zum Beispiel einen Roboter mit fünf Armen bauen, der von der Decke hängt. Dafür benötigt man die richtige Software-Plattform als Fundament, und das Foundation Model kann genau diese Plattform sein.

Vor- und Nachteile humanoider Roboter im Vergleich zu allgemeinen Verkörperungen

Host: Was sind aus Ihrer Sicht die Vor- und Nachteile des humanoiden Ansatzes in der Robotik?

Sergey Levine: Ein Vorteil ist, dass er schlicht und einfach faszinierend ist. Man zeigt ihn jemandem, und die Person versteht ihn sofort. Es hat einen enormen Wert, die Fantasie der Menschen anzuregen und sie auf verständliche Weise darüber nachdenken zu lassen, wie die Zukunft aussehen könnte. Aber meiner Ansicht nach sind Humanoide nur eine von vielen möglichen Roboterarten, die wir in Zukunft sehen werden. Im Kern sieht die Herausforderung der Intelligenz für all diese verschiedenen Roboter sehr ähnlich aus. Ich glaube nicht, dass wir Intelligenz ausschließlich im Kontext eines einzigen spezifischen Körpers angehen sollten. Wir müssen sie auf allgemeine Weise handhaben, weil wir große Datenmengen über diverse Systeme hinweg benötigen.

Sergey Levine: Das Faszinierende am Roboterbau ist, dass sie am Ende keineswegs wie Menschen aussehen müssen. Man kann das exakt passende Werkzeug für den jeweiligen Job bauen. Man könnte sich vorstellen, ein Haus mit einem Schwarm aus 10.000 Quadcoptern zu bauen. In Zukunft werden wir ein robotisches Foundation Model haben, das an alle möglichen Anwendungen angepasst werden kann – von Bulldozern über Humanoide bis hin zu Roboterarmen. Die Grundprinzipien, wie man mit Objekten interagiert, wie sich Dinge in der Welt bewegen und wie Kausalität funktioniert, sind über all diese verschiedenen Systeme hinweg konstant.

Host: Haben Sie ein Lieblingsbeispiel für etwas, das mit echter allgemeiner Intelligenz möglich wäre, aber mit einer rein humanoiden Intelligenz vermutlich nicht?

Sergey Levine: Es gibt einige Dinge, über die man nachdenken kann. Zum einen können wir Maschinen bauen, die sehr groß, und Maschinen, die sehr klein sind. Langfristig gibt es spannende Anwendungen in der Medizin und Chirurgie, bei denen wir möglicherweise nicht auf Roboter beschränkt sind, die wie Menschen aussehen oder gar direkt von Menschen gesteuert werden können. Derzeit erfolgt roboterassistierte Chirurgie über Teleoperation, was eine menschliche Echtzeitsteuerung mit hoher Geschicklichkeit erfordert. Langfristig könnten autonome Systeme Aufgaben übernehmen, die die direkten motorischen Fähigkeiten des Menschen übersteigen.

Historische Meilensteine der Roboterforschung

Host: Wenn Sie an die wichtigsten Meilensteine in der Geschichte der Roboterforschung denken, die uns an diesen Punkt gebracht haben: Wie würden Sie uns durch diese Historie führen?

Sergey Levine: Bis zu einem gewissen Grad ist die durchgängige (End-to-End-)Steuerung von Robotersystemen eine alte Idee. Die ersten autonomen Fahrsysteme, die auf End-to-End-Lernen setzten, gab es bereits in den 1980er-Jahren. ALVINN, entwickelt um 1986 oder 1987, war ein Fahr-System für Autobahnen, das von einem winzigen neuronalen Netzwerk gesteuert wurde, das Kameradaten verarbeitete. Auch wenn diese Konzepte ehrwürdig sind: Historisch lag die Schwierigkeit beim robotergestützten Lernen darin, mehrere Anforderungen gleichzeitig zu erfüllen. Es musste die Anwendung wirtschaftlich abbilden, ohne für jede einzelne Aufgabe massive Datenerhebungen zu erfordern; es musste Long-Tail-Szenarien mit gesundem Menschenverstand bewältigen; und es musste robust, schnell und zuverlässig bleiben.

Sergey Levine: Machine Learning funktioniert am besten, wenn reichlich Daten vorhanden sind. Wenn man ein Problem wie das Geschirrspülen naiv angeht, indem man gigantische Mengen an Spüldaten sammelt, ist das nicht kosteneffizient, da man diesen gesamten Prozess für die nächste Aufgabe komplett wiederholen muss. Das Training allgemeiner Modelle reduziert den Datenbedarf pro Aufgabe. Was sich in jüngster Zeit am meisten verändert hat, ist die Fähigkeit, mit ungewöhnlichen Szenarien umzugehen. In Edge Cases, für die man keine Vorerfahrung besitzt, muss man auf Wissen zurückgreifen, das aus anderen Quellen stammt, und dieses in der neuen Situation anwenden. Multimodale Sprachmodels sind hervorragend darin, breites Web-Wissen einzubringen. Auch wenn sie nicht inhärent in physischen Situationen verankert sind, bieten sie einen Weg, um gesunden Menschenverstand in die Robotersteuerung zu importieren.

Host: Gibt es auf dem Zeitstrahl der Robotik vergleichbare Meilensteine, die AlexNet oder dem Transformer in der KI entsprechen?

Sergey Levine: Es ist noch zu früh, um das abschließend zu beantworten. Rückblickend waren die ersten End-to-End-Lernsysteme in den 1980er-Jahren ein Meilenstein. Die ersten Deep-Reinforcement-Learning-Systeme Anfang der 2010er-Jahre waren ein weiterer großer Meilenstein, weil Deep RL uns einen Weg eröffnete, übermenschliche Leistungsfähigkeit zu übertreffen. In jüngerer Zeit ist das Aufkommen multimodaler LLMs, die für die Robotersteuerung angepasst wurden, um gesunden Menschenverstand bereitzustellen, ein entscheidender Fortschritt – und wir werden in den kommenden Jahren höchstwahrscheinlich noch einige weitere große Durchbrüche erleben.

Sergey Levines Forschungsweg: Vom unbeschriebenen Blatt zu großen Modellen

Host: Können Sie Ihren persönlichen Weg bei der Annäherung an dieses Problem schildern – von dem Moment an, als Sie Ihr Interesse entdeckten, bis zu der Entscheidung, worauf Sie sich konzentrieren wollten?

Sergey Levine: Ich begann 2014 mit der Robotik, nachdem ich mein Graduiertenstudium beendet und ein Postdoc bei Professor Pieter Abbeel an der UC Berkeley angetreten hatte. Davor hatte ich mich mit Computergrafik und Charakteranimation beschäftigt. Die Kernfrage, die ich unbedingt beantworten wollte, lautete: Wie baut man KI-Systeme, die sich kontinuierlich verbessern, je mehr sie mit der Welt interagieren?

Sergey Levine: Anfangs ging ich von einem Ansatz des unbeschriebenen Blatts aus, bei dem ein Agent ohne Vorkenntnisse startet, eine Fähigkeit übt und besser wird. Das funktioniert in engen, kontrollierten Umgebungen, lässt sich jedoch nur schwer in ein allgemeines System für Open-World-Szenarien überführen, weil jede noch so kleine Veränderung ein erneutes Training von Null erfordert. Später, während meiner Zeit bei Google, untersuchte ich die Parallelsierung dieses Ansatzes über viele Roboter hinweg – kollektives Lernen, bei dem man 20 Roboter in einen Raum stellt, damit sie gleichzeitig lernen. Das verbesserte die Generalisierung, brachte aber immer noch enge Spezialisten hervor, die bei Edge Cases versagten.

Sergey Levine: Der nächste Schritt besteht darin, das Üben von Fertigkeiten mit großen Mengen an Vorwissen zu kombinieren. Das ist ein schwieriges Problem in der gesamten KI. Die beiden großen Errungenschaften der KI in den letzten Jahrzehnten waren Generative AI, verkörpert durch LLMs, die menschliche Fähigkeiten reproduzieren, sowie Deep Reinforcement Learning, verkörpert durch AlphaGo, das übermenschliche Lösungen wie Zug 37 fand. Die Herausforderung bei Physical Intelligence besteht darin, diese beiden Paradigmen zu vereinen: das riesige generative Weltwissen einzubinden und gleichzeitig Reinforcement Learning zu nutzen, um das menschliche Leistungsniveau zu übertreffen.

Vision-Language-Action-Modelle und Chain of Thought

Host: Was genau unternehmen Sie, um diese Kombination Wirklichkeit werden zu lassen?

Sergey Levine: In den letzten Jahren begannen wir damit, Vision-Language-Action-Modelle (VLAs) zu entwickeln. Ein VLA-Modell lässt sich als ein für die Robotersteuerung adaptiertes LLM verstehen. Es wird mit Text vorabtrainiert, durch umfangreiche Web-Bilddaten angepasst, um visuelle Szenen zu verstehen, und schließlich auf diversen Roboterdaten finegetuned. Das dient als Grundlage, um Web-Scale-Wissen in die Robotersteuerung zu integrieren.

Sergey Levine: Darauf aufbauend erforschen wir zwei primäre Fähigkeiten: den Umgang mit ungewöhnlichen Situationen durch gesunden Menschenverstand und die Verbesserung durch Reinforcement Learning. Um gesunden Menschenverstand zu erreichen, nutzen wir Chain-of-Thought-Reasoning (Schlussfolgerungsketten). Wenn der Roboter auf eine Szene trifft, führt er nicht sofort Motorbefehle aus, sondern durchdenkt die Aufgabe. Wird er aufgefordert, eine Küche aufzuräumen, analysiert er den visuellen Input, generiert einen semantischen Zwischengedanken wie das Aufheben eines bestimmten Tellers und handelt erst dann. Diese Zwischenschlüsse profitieren vom Pretraining im Web-Maßstab.

Sergey Levine: Reinforcement Learning wird angewandt, wenn Aufgaben wiederholt geübt werden, um Robustheit, Geschwindigkeit und Präzision zu optimieren. Bei unserer Espresso-Zubereitungs-Demo hat das System wiederholt geübt, um Durchsatz und Zuverlässigkeit zu maximieren. Wir bauen dieses doppelte Fundament kontinuierlich weiter aus.

Sensoranforderungen und Daten-Flywheels

Host: Wenn man sich diese Roboterplattformen ansieht, werden Daten über Sensoren erhoben, die an der Hardware angebracht sind. Wie denken Sie über das erforderliche Sensor-Setup?

Sergey Levine: Man kommt oft mit weniger Sensoren aus, als die Leute denken. Unsere primäre experimentelle Plattform verwendet drei Kameras: eine an jedem Handgelenk und eine am Sockel. Sie verfügt über keine dedizierte Taktil- oder Kraftsensorik. Ein leistungsfähiger Lernalgorithmus kann Hardwaredefizite kompensieren. Beispielsweise fungieren Handgelenkskameras effektiv als Tastsensoren, da das visuelle Feedback lokale physische Verformungen bei Berührung erfasst.

Host: Bei Sprachmodellen hat der massive Internet-Maßstab den Durchbruch angetrieben. Wie erzeugen Sie das nötige Datenreservoir für Embodied AI?

Sergey Levine: Niemand weiß genau, wie viele Robotardaten erforderlich sind, um eine universelle Generalisierung zu erreichen, aber das müssen wir vielleicht auch gar nicht im Voraus wissen. Entscheidend ist, die Systeme so nutzbar zu machen, dass sie autonom Daten sammeln können. Tesla macht sich auch keine Sorgen wegen unzureichender Fahrdaten, da deren Flotte bereits im Einsatz ist und aktiv sammelt. Das Ziel besteht darin, Systeme bereitzustellen, die in der Lage sind, verschiedene Aufgaben auszuführen und ein Daten-Flywheel in Gang zu setzen.

Host: Was hat Sie seit der Gründung von Physical Intelligence am meisten an der Entwicklung der Forschung überrascht?

Sergey Levine: Wir haben bei der Geschicklichkeit (Dexterity) viel raschere Fortschritte gemacht, als ich anfangs erwartet hatte. Basierend auf früheren Arbeiten ging ich davon aus, dass sich die Generalisierung über diverse Objekte und Szenen hinweg stetig mit mehr Daten skalieren würde. Allerdings lernten die Modelle auch hochgradig geschickte Verhaltensweisen, ohne dass dafür komplexe, spezialisierte Architekturen erforderlich waren.

Sergey Levine: Darüber hinaus generalisierten die Modelle über verschiedene Roboterverkörperungen hinweg – einschließlich multifunktionaler Hände und Arme mit unterschiedlichen Freiheitsgraden –, ohne architektonische Modifikationen oder explizites Prompting bezüglich der Hardware-Konfiguration. Ein Fine-Tuning auf verkörperungsspezifische Daten reichte völlig aus.

Moravecs Paradoxon und semantisches Coaching

Host: Wo sind Systeme heute weiter fortgeschritten oder weniger weit, als die Menschen vielleicht erwarten würden?

Sergey Levine: Das hängt direkt mit Moravecs Paradoxon zusammen. Menschen nehmen intuitiv an, dass Aufgaben, die für uns schwierig sind – wie fortgeschrittene Analysis –, auch für Maschinen schwer sein müssen, während Aufgaben, die für uns leicht sind – wie das Greifen nach einer Tasse –, für sie ein Kinderspiel sein sollten. In der Realität hat das menschliche Gehirn massive spezialisierte Mechanismen für physische Interaktion und visuelle Wahrnehmung entwickelt. Diese physischen Fähigkeiten manuell zu programmieren, ist außerordentlich schwierig.

Sergey Levine: Machine Learning verändert diese Dynamik. Dort, wo die Datenerfassung unkompliziert ist, werden Aufgaben machbar, selbst wenn sie physikalisch kompliziert sind. Umgekehrt bleiben Aufgaben, die abstrakten gesunden Menschenverstand, mehrstufiges Schlussfolgeren und die Verknüpfung physischer Ausführung mit breitem Weltwissen erfordern, schwierig.

Host: Wie definieren Sie gesunden Menschenverstand im Kontext der Robotik?

Sergey Levine: Gesunder Menschenverstand im robotergestützten Lernen bedeutet, semantische Inferenzen, die aus anderen Domänen gelernt wurden, auf die aktuelle physische Aufgabe anzuwenden. Es ist das Gegenteil von reinem Muskelgedächtnis. Das Muskelgedächtnis läuft automatisch durch Wiederholung ab. Gesunder Menschenverstand greift dann, wenn man in eine Situation gerät, sich an einen relevanten Fakt oder ein anderswo erlerntes Prinzip erinnert, dieses in der unmittelbaren Umgebung verankert und die richtige Handlung auswählt.

Host: Sprachmodelle haben sich von einfachem Single-Turn-Chat zu agentischem Reasoning über lange Horizonte weiterentwickelt. Was ist das Äquivalent einer Langzeit-Fähigkeit in der Robotik?

Sergey Levine: Wir arbeiten intensiv daran. Mithilfe von Chain-of-Thought-Reasoning können unsere Modelle ausgedehnte Aufgaben ausführen, wie etwa das Ausräumen von Geschirr aus einer Spülmaschine, das Einräumen in Schränke und das Abwischen von Arbeitsflächen. Eine wichtige Entdeckung, die wir vor circa sechs Monaten gemacht haben, ist, dass sich die Modellleistung bei Langzeitaufgaben schlicht dadurch verbessern lässt, dass man sie mit hochrangigen semantischen Anweisungen supervidiert.

Sergey Levine: Wenn ein Roboter bei einer Küchenreinigungsaufgabe versagte, sammelten wir nicht zusätzliche Low-Level-Teleoperations-Trajektorien, sondern vergaben semantische Labels für die Zwischenschritte. Das verbesserte die Generalisierung. Der operative Flaschenhals hatte sich von der physischen Low-Level-Aktion hin zur semantischen Interpretation auf mittlerer Ebene und der Schrittauswahl verlagert. Dies ermöglicht es menschlichen Operatoren, die Leistung des Roboter durch sprachliches Coaching statt durch manuelle physische Demonstrationen zu verbessern.

Technische und praktische Risiken für eine breite Einführung

Host: Wenn wir auf das Jahr 2050 blicken und Haushaltsroboter noch immer nicht weit verbreitet sind, was wäre die Hauptursache dafür?

Sergey Levine: Der Flaschenhals ist wahrscheinlich die Schnittstelle zwischen Technologie und menschlichem Komfort. Autonome Fahrzeuge standen vor ähnlichen Dynamiken bei der Akzeptanz. Systeme in Privathaushalten einzusetzen, beinhaltet Edge Cases und Fragen der Fehlertoleranz. Fühlen sich Nutzer wohl mit gelegentlich zerbrochenem Geschirr oder dem Einsatz von Robotern in der Nähe von Kleinkindern? Die Navigation dieser gesellschaftlichen und sicherheitsbezogenen Faktoren wird die Zeitleisten für den Einsatz in verschiedenen Umgebungen bestimmen.

Sergey Levine: Aus rein technischer Sicht besteht das Hauptrisiko darin, die Breite der offenen Welt zu bewältigen. Strukturierte kommerzielle Umgebungen wie das Reinigen von Hotelzimmern oder die Unterstützung in Großküchen weisen begrenzte Varianzen auf. Unstrukturierte häusliche Umgebungen beinhalten unvorhersehbare Ereignisse, die robuste Inferenzen und sichere Ausfallszenarien erfordern.

Simulation versus reale Daten und die Roboter-Olympiade

Host: Wie bewerten Sie die Debatte zwischen der Nutzung von Simulationen versus realen Daten in der Robotik?

Sergey Levine: In der heutigen Roboterforschung gibt es eine klare Dichotomie. Bei der humanoiden Fortbewegung stützt sich die dominante Pipeline stark auf physikalische Simulationen mit minimalen oder keinen realen Daten. Bei der Robotermanipulation nutzt der vorherrschende Ansatz große reale Datensätze in Kombination mit Foundation Models, mit nur geringem Simulationsanteil. Es bleibt eine offene Forschungsfrage, ob ein Ansatz dominieren oder ob eine Synthese entstehen wird.

Host: Wie tarieren Sie die Entwicklung beeindruckender Demos gegen den Bau nützlicher Produkte aus?

Sergey Levine: Unser Ansatz besteht darin, die Systeme so aufregend wie möglich zu gestalten, unter der Maßgabe, dass sie nützlich sein müssen. Wir priorisieren die Grundlagenforschung, die allgemeine robotische Foundation Models vorantreibt, testen die Modelle jedoch rigoros gegen schwierige Manipulations-Benchmarks.

Sergey Levine: Beispielsweise schlug der ehemalige Everyday-Robots-Forscher Benji Holson eine praktische Roboter-Olympiade vor, die aus alltäglichen Manipulationsaufgaben besteht, die Menschen für trivial halten, mit denen Roboter jedoch kämpfen – wie das Öffnen von Türen, das Schrubben fettiger Pfannen oder das Aufheben von Abfall mit einer Tüte. Wir nutzten diese Liste, um unsere allgemeine Onboarding-Pipeline zu testen. Ohne spezialisierte Algorithmen für einzelne Aufgaben zu entwickeln, löste unser Foundation Model fast alle davon erfolgreich. Die einzigen Ausnahmen waren das auf Links Drehen eines Hemdes, was durch die Greifergröße physisch eingeschränkt war, und das Schälen einer Orangen rein mit den Fingern, was aufgrund von Greifkraftlimits ein kleines Werkzeug erforderte. Dies demonstrierte die Stärke eines allgemeinen Modells, diverse Aufgaben rasant zu erlernen.

Verkörperungs-Agnostizismus und Forschungsphilosophie

Host: Sie erwähnten das Konzept der Werkzeugnutzung in biologischen Systemen. Wie verhält sich das zur Roboterintelligenz?

Sergey Levine: Neurowissenschaftliche Studien zeigen, dass sich neuronale Repräsentationen im Gehirn von Affen anpassen, wenn sie Werkzeuge benutzen, sodass die Werkzeugspitze als Verlängerung der physischen Hand behandelt wird. Dies untermauert die Ansicht, dass Intelligenz verkörperungsagnostisch sein sollte. Ein universelles Foundation Model muss sich anpassen, um beliebige kinematische Ketten und Werkzeuge zu steuern. Manipulation, Fortbewegung und industrielle Steuerung sind unter einem einzigen Kern-Intelligenzproblem vereint.

Host: Was sind die zentralen philosophischen Debatten innerhalb der heutigen Roboterforschung?

Sergey Levine: Historisch gesehen drehte sich die Debatte darum, ob Machine Learning in der Robotik überhaupt einen Platz hat im Vergleich zu klassischer Ingenieurskunst und physikalischen Modellen. Zwar ist das Lernen inzwischen allgemein akzeptiert, doch es gibt weiterhin Debatten über End-to-End-Lernen im Vergleich zu modularen Systemen, die handcodierte Physik einbeziehen. Das „Bitter Lesson“-Prinzip besagt, dass die Nutzung allgemeiner Methoden mit Daten und Rechenleistung handgemachtes Domänenwissen auf Dauer übertrifft. Während die Einbeziehung expliziter physikalischer Modelle kurzfristig Struktur bietet, liefert das End-to-End-Lernen die Skalierbarkeit und Selbstverbesserung, die für echte Open-World-Generalität unerlässlich sind.

Host: Welche Arten von Aufgaben werden Ihrer Ansicht nach zu den letzten gehören, die von Robotern automatisiert werden?

Sergey Levine: Aufgaben, die eine direkte, nuancierte physische Interaktion mit Menschen erfordern – wie das Wickeln eines Kindes, die Pflege von älteren Menschen oder das Helfen einer verletzten Person aus dem Bett –, werden außergewöhnlich anspruchsvoll sein. Diese Aufgaben erfordern präzise Kraftmodulation, hohe Sicherheitsmargen und einen tiefen sozial-physischen gesunden Menschenverstand.

Forschungsausführung, Hardwarekosten und Zukunftsaussichten

Host: Was zeichnet außergewöhnliche KI-Forscher bei der Bewältigung dieser schwierigen Probleme aus?

Sergey Levine: Forschung erfordert kritische Entscheidungen darüber, wann man an einem Ansatz festhalten und wann man umschwenken sollte. Zu frühes Umschwenken bedeutet, Durchbrüche zu verpassen, die direkt unter der Oberfläche liegen; zu langes Festhalten an einer fehlerhaften Prämisse verschwendet Jahre. Erfolgreiche Forscher entwickeln eine starke Intuition dafür, wie man die Tiefe des Fokus mit explorativen Experimenten ausbalanciert.

Host: Auch die Hardwarekosten sind dramatisch gesunken. Wie wirkt sich das auf das Ökosystem aus?

Sergey Levine: Vor einem Jahrzehnt kostete eine Forschungsplattform wie der PR2 rund $400.000. Als ich mein Lab an der UC Berkeley aufbaute, lagen Standardarme bei etwa $30.000. Heute sind kostengünstige Roboterarme für grob $3.000 zu bekommen, und die Kosten sinken weiter. Da lernbasierte Software Hardware-Nachgiebigkeit und Sensorbegrenzungen kompensieren kann, wird kostengünstige Hardware für komplexe Aufgaben gangbar, was die Eintrittsbarriere radikal senkt.

Host: Was ist der primäre Fokus von Physical Intelligence in naher Zukunft?

Sergey Levine: Unser Hauptaugenmerk liegt auf der Weiterentwicklung des semantischen und räumlichen Reasonings auf mittlerer Ebene. Die physische Low-Level-Steuerung ist weitgehend beherrschbar, aber die Verknüpfung dieser motorischen Primitive mit übergeordnetem Weltwissen erfordert interne Repräsentationen, die auf physische Interaktion zugeschnitten sind und nicht rein auf sprachlichen Tokens basieren.

Host: Wenn Sie auf Ihre Karriere zurückblicken: Was ist das Netteste, das jemals jemand für Sie getan hat?

Sergey Levine: Mehrere entscheidende Gelegenheiten haben meinen Werdegang geprägt. Als ich im zweiten Studienjahr an der Universität war, gab mir ein Personalverantwortlicher bei Nvidia durch ein Praktikum eine Chance. Später setzte Pieter Abbeel auf mein Potenzial, indem er mich als Postdoc an der UC Berkeley annahm, obwohl ich keinerlei Vorkenntnisse in Robotik mitbrachte. Schließlich unterstützten Führungspersönlichkeiten wie Jeff Dean und Vincent Vanhoucke während meiner Zeit bei Google unseren Vorschlag, Dutzende von Roboter gleichzeitig für kollektives Lernen einzusetzen – das Arm-Farm-Projekt –, was Nachwuchsforschern die Möglichkeit gab, ehrgeizige Ideen zu verfolgen. Führungskräfte zu haben, die Verantwortung übertragen und auf Menschen setzen, macht einen tiefgreifenden Unterschied.

Host: Sergey, vielen herzlichen Dank für Ihre Einblicke heute.

Sergey Levine: Vielen Dank.