Physical Intelligence 訪談記錄：透過通用基礎模型與強化學習打造機器人通用大腦
2026年9月2日 | 與 Sergey Levine 深度探討具身智慧（Embodied AI）
導言與定義「Physical Intelligence」
主持人：我今天的來賓是 Physical Intelligence 的共同創辦人兼研究員 Sergey Levine。在此先做個利益揭露：我是 Physical Intelligence 的投資人，因為我相信它是少數全力攻克機器人難題的重要公司之一。正如我們今天要討論的，機器人領域存在著我所謂的「稻草人問題」（scarecrow problem）。市面上出現了各種外型酷炫、可能應用多元的驚人硬體設備，但它們真正欠缺的是智慧——也就是大腦，這正是 Physical Intelligence 正在開發的核心。他們致力於開發能讓任何實體機器人在任何環境下執行任何任務的基礎模型。這項挑戰極為艱鉅，集結了全球頂尖的研究人員，Sergey 正是帶領團隊解決這個問題的領袖之一。我們今天的對話將涵蓋機器人面臨的所有難題，以及在全球範圍內解決這些問題的宏大願景。希望各位會喜歡這場與 Sergey Levine 的精彩對話。
主持人：這絕對是一場難得的深度交流，能讓我們深入了解當前最令人振奮、最具影響力的科技領域。在我們回顧過去之前，能否先請您定義一下您眼中的 Physical Intelligence？
Sergey Levine：從根本上來說，Physical Intelligence 的目標是開發能夠控制基本上任何具身系統（embodied system）來執行任何任務的機器人基礎模型。廣義而言，正如語言模型正快速演進為能夠執行任何可用語言表達之任務的系統，我們也希望建立一類能夠執行任何由實體致動裝置（actuated device）完成之任務的新型模型。公司的核心論點之一在於：我們相信，從長遠來看，以全方位通用性（full generality）的方式來做這件事，可能比針對非常狹隘的特定應用領域進行特化處理還要容易。這跟語言模型的情況很像——事實證明，在某種程度上，全面性地解決自然語言任務，反而比窄幅鎖定機器翻譯或情感分析來得更容易。
通用性與領域專屬系統的權衡
主持人：相較於打造一台只會洗碗或其他特定功能的機器人，為什麼要押注在通用性上，這點或許不是那麼直觀。我們該如何理解其中的關鍵權衡？為什麼會做出這樣的抉擇？
Sergey Levine：或許我可以從兩個方面來回答這個問題。第一是與語言模型的類比，第二是這在機器人世界中所代表的意義。第一點是由實際證據所支持的。在自然語言領域，我們看到許多旨在解決特定問題的領域專屬（domain-specific）解決方案。例如，有人會花大量時間研究英文與法文的差異，然後建構出一個機器翻譯系統。語言模型最終之所以能取代所有這些不同的應用領域，是因為它們能夠善用更廣泛的資料來源。
Sergey Levine：這甚至不只是單純把這應用的一堆資料跟那應用的另一堆資料合併起來那麼簡單。它的意義更為深遠。當你可以善用弱標記資料（weakly labeled data）——例如語言模型中從網路探勘（mine）而來的資料——你實際上能對這個世界學到更多。你建立了一個世界理解的基礎，而事實證明，在此基礎之上開展出各種應用會有效得多。
Sergey Levine：把這個概念帶入機器人領域，其計算邏輯並不完全相同，因為在機器人學中，我們沒有像網際網路那樣規模龐大的資料集可供直接取用。然而，這種「理解世界」的概念在機器人領域中不僅同樣重要，甚至有過之而無不及。如果你有許多不同的任務和多種不同的實體系統，那麼你就可以從訓練個別的「洗碗專家」或「摺衣專家」，轉變為訓練一個真正理解實體互動的模型。人類能夠非常迅速地掌握新技能，正是因為我們理解實體互動。我們能直覺掌握在陌生新情境中即將發生什麼事，這讓我們能夠極其快速地進行引導（bootstrap）。如果我們能汲取來自多個來源、多種應用以及多個機器人的資料，我們就能擁有一個具備實體理解能力的模型，從而讓在此平台上疊加新應用變得容易許多。
通用模型的挑戰與狹隘展示（Demos）的陷阱
主持人：相較於其他對一般人而言更直觀的方法（例如讓機器人四處移動並執行單一特定任務），以這種方式進行開發最困難的部分是什麼？
Sergey Levine：這在我整個職涯中一直都是個問題，因為當你從事機器人學習時，有效的泛化（generalization）其實並不是產出超級吸睛展示的最佳途徑。要做出極具震撼力的展示，方法是挑選一個非常酷的任務，控制環境中的所有其他變數，把場景佈置得完美無瑕，然後讓它在那個單一設定下完美運作。這就是打造經典機器人展示（demo）的方式。
Sergey Levine：泛化不能只在單一地點展現。泛化的意義在於它能做任何人類都能做的相對平凡的事，但它能在任何情況下都辦得到。我們發布了一些展示影片，畫面顯示我們的機器人正在清理廚房。如果你把其中一支影片拿出來、脫離脈絡來看，它看起來就像是在撿盤子，這是任何人都能做的事。但重點在於，我們把機器人放進那個以前從未見過訓練資料的居家環境中執行任務。你必須了解幕後運作的機制，才能體會這是在推升什麼樣的前沿技術。
長期賭注與平台轉移
主持人：對於你們正在做的事情所帶來的深遠影響，你們的模型是如何看待的？如果你們成功跨越了通用實體智慧的鴻溝，那將解鎖什麼樣的可能性？
Sergey Levine：其中一個令人無比振奮的願景，就是能夠釋放人們在建構機器人和其他具身系統時的想像力。個人電腦之所以意義重大，是因為它讓許多人能夠動手拼湊出各種酷炫的應用。1990年代爆發了一場驚人的軟體「寒武紀大爆發」（Cambrian explosion），並在網際網路的推波助瀾下進一步加速。我認為類似的事情也會在機器人領域發生，但今天它還無法實現，因為如果你想拼湊出一個很酷的新機器人應用，你必須建立龐大複雜的技術堆疊，基本上得靠自己解決智慧本身的問題。
Sergey Levine：如果存在一個可供他人在此基礎上進行建構的基礎模型——你可以透過提示詞（prompt）提供基本功能，然後再針對你的應用微調或調整——這將使許多人、公司和個人能夠去嘗試各種不同的創新構想，變得切實可行。有時候我們以為機器人只會有一種形態，像是金屬人類。但沒有任何科技是這樣發展的。它會更像是一個工具箱，讓你可以拼湊出各式各樣的應用。你可以發揮創意，例如打造一個從天花板垂下來、擁有五隻手臂的機器人。你需要適當的軟體基礎平台來達成這一點，而基礎模型就能扮演這個平台的角色。
人形機器人與通用具身形態的優缺點
主持人：在您心目中，人形機器人（humanoid）路線的優缺點分別是什麼？
Sergey Levine：一個優點是它真的很酷。你把它展示給別人看，對方馬上就能心領神會。捕捉大眾想像力、讓大家以易懂的方式思考未來可能面臨的樣貌，這具有極高的價值。但在我心中，人形機器人只是我們未來可能擁有的眾多機器人形態之一。從根本上來說，所有這些不同機器人所面臨的智慧挑戰都是高度相似的。我不認為我們應該只在某一種特定軀體的情境下來攻克智慧問題。我們應該以通用的方式來處理，因為我們需要跨越多元系統的大量資料。
Sergey Levine：打造機器人最酷的地方在於，它們最終根本不需要被限制得長得像人類。你可以針對工作打造最合適的工具。你可以想像用 10,000 架四旋翼無人機群來建造房屋。未來，我們將擁有一個能夠適應各種應用的機器人基礎模型，其應用範圍從推土機、人形機器人到機器手臂無所不包。與物體互動的方式、物體在世界中移動的方式，以及因果關係如何運作等底層原理，在所有這些不同的系統中都是相通的。
主持人：對於真正的通用智慧可能實現、但僅限人形智慧所無法辦到的事，您有沒有最喜歡的例子？
Sergey Levine：有些事情值得我們思考。其中之一是，我們可以製造出非常巨大的機器，也能製造出極其微小的機器。長遠來看，在醫學與外科手術領域將會出現令人振奮的應用，屆時我們可能不再受限於外表像人類的機器人，甚至不受限於能由人類直接控制的機器人。目前，機器人手術是透過遠端操作（teleoperation）完成的，需要具備高度靈巧性的即時人工控制。從長遠來看，自主系統可以處理超出人類直接運動能力極限的任務。
機器人研究的歷史里程碑
主持人：如果回想一下引領我們走到今天的機器人研究時間軸上最重要的里程碑，您會如何帶領我們梳理這段歷史？
Sergey Levine：從某種程度上來說，為機器人系統執行端到端（end-to-end）控制是一個古老的想法。在 1980 年代就已經出現了使用端到端學習的早期自動駕駛系統。大約在 1986 或 1987 年開發的 ALVINN 是一個在高速公路上展示的駕駛系統，由接收相機輸入的微型神經網路進行控制。儘管這些概念歷史悠久，但從歷史上看，機器人學習的難題在於必須同時滿足多項要求：它必須具備成本效益地處理應用，而不需要為每一個單一任務進行大規模的資料收集；它必須能憑藉常識處理長尾情境（long-tail scenarios）；同時它還必須保持強健、快速且可靠。
Sergey Levine：機器人在擁有大量資料時表現得最好。如果你用天真的方式來處理諸如洗碗之類的問題——透過收集海量的洗碗資料——這並不具備成本效益，因為你在面對下一個任務時必須把整個過程重來一遍。訓練通用目的的模型可以減少每個任務所需的資料量。最近改變最大的是處理異常情境的能力。在缺乏過往經驗的邊緣案例（edge cases）中，你必須依賴從其他來源獲取的知識，並將其扎根（ground）於新的情境中。多模態語言模型擅長引入廣泛的網路知識。雖然它們本質上並非扎根於實體情境中，但它們為將常識引入機器人控制提供了一條途徑。
主持人：在機器人領域中，有沒有哪些時間軸上的里程碑堪比 AlexNet 或 Transformer 模型的地位？
Sergey Levine：現在要下定論還言之過早。回顧過去，1980 年代的首批端到端學習系統是一個里程碑。2010 年代初期的首批深度強化學習系統則是另一個重大里程碑，因為深度強化學習（deep RL）為我們提供了超越人類水準表現的方法。最近，為適配機器人控制以提供常識而調適的多模態大型語言模型（LLM）的出現，是一項關鍵進展，我們很可能會在未來幾年內看到更多重大突破。
Sergey Levine 的研究心路歷程：從白紙到大型模型
主持人：能否與我們分享您探索這個問題的個人心路歷程，從您最初如何產生興趣，到您如何決定專注的方向？
Sergey Levine：我是在 2014 年完成研究所學位並開始在柏克萊加州大學（UC Berkeley）擔任博士後研究員後，才開始投入機器人領域的。在此之前，我研究的是電腦圖學與角色動畫。我一直想弄清楚的核心問題是：如何建立能夠隨著與世界的互動而不斷自我進化的 AI 系統？
Sergey Levine：最初，我是從一張白紙（blank slate）的角度切入的——代理程式（agent）一無所有地開始，練習一項技能，然後變得更好。這在狹隘、受控的設定下行得通，但很難將其轉化為適用於開放世界（open-world）環境的通用系統，因為任何細微的改變都需要從頭開始重新訓練。後來在 Google 工作時，我探索了將其在許多機器人之間進行平行化處理的方法——也就是集體學習（collective learning），把 20 台機器人放在同一個房間裡同時學習。這改善了泛化能力，但產出的仍然是難以應付邊緣案例的狹隘專家。
Sergey Levine：下一步則是將「練習技能的能力」與「大量的先驗知識」結合起來。這是整個 AI 領域的艱鉅難題。過去幾十年中，人工智慧的兩大重大成就是生成式 AI（以能複製人類能力的 LLM 為代表）以及深度強化學習（以 AlphaGo 找到像第 37 手這樣的超人解法為代表）。Physical Intelligence面臨的挑戰正是將這兩種範式結合：引入龐大的生成式世界知識，同時利用強化學習來超越人類水準的表現。
視覺-語言-動作模型與思維鏈
主持人：具體來說，你們正在採取什麼做法來實現這種結合？
Sergey Levine：在過去幾年中，我們首先開發了視覺-語言-動作（Vision-Language-Action, VLA）模型。VLA 模型可以被理解為專為機器人控制而調適的 LLM。它先在文字上進行預訓練，再透過大量的網路圖像資料進行調整以理解視覺場景，最後在多元的機器人資料上進行微調。這成為將網路規模知識引入機器人控制的基礎。
Sergey Levine：在此基礎之上，我們探索了兩項主要能力：運用常識處理異常情境，以及透過強化學習進行自我改善。為了實現常識推理，我們利用了思維鏈（chain-of-thought）推理。當機器人遇到一個場景時，它不是立刻執行馬達指令，而是先透過任務進行推理。如果被要求清理廚房，它會分析視覺輸入，產生一個中間語義思考（例如拿起某個特定的盤子），然後才付諸行動。這些中間推論過程受益於網路規模的預訓練。
Sergey Levine：強化學習則是在重複練習任務以提升強健性、速度和精準度時派上用場。在我們的製作濃縮咖啡示範中，系統透過反覆練習來最佳化產出效率與可靠性。我們正持續在這個雙重基礎上不斷精進。
感測器需求與資料飛輪
主持人：在審視這些機器人平台時，資料是透過放置在硬體上的感測器收集的。您如何看待必要的感測器配置（sensor suite）？
Sergey Levine：你通常可以用比想像中更少的感測器來完成任務。我們主要的實驗平台使用三個相機：每個手腕上各一個，基座上一個。它沒有配備專門的觸覺或力覺感測器。強大的學習演算法可以彌補硬體上的不足。例如，手腕上的相機可以有效地充當觸覺感測器，因為視覺回饋捕捉到了接觸時產生的局部實體變形。
主持人：在語言模型中，大規模的網際網路規模推動了突破。你們是如何為具身智慧創造必要的資料儲備庫的？
Sergey Levine：沒有人確切知道要達到通用泛化需要多少機器人資料，但我們或許不需要事先知道答案。重要的是讓系統變得足夠有用，以便能夠部署它們來自主收集資料。Tesla 不會擔心收集不到足夠的駕駛資料，因為他們的車隊已經具備實用性並正在積極收集。我們的目標是部署能夠執行多元任務並建立資料飛輪（data flywheel）的系統。
Host：自從創辦 Physical Intelligence 以來，研究的發展軌跡中，最讓您感到驚訝的是什麼？
Sergey Levine：我們在靈巧性（dexterity）方面取得的進展，遠比我最初預期的還要迅速。基於先前的研究，我曾預期跨多樣化物件與場景的泛化能力會隨著資料增加而穩步擴展。然而，這些模型甚至在不需要複雜、專門架構的情況下，就學會了高度靈巧的行為。
Sergey Levine：此外，這些模型能夠跨不同的機器人具身形態（包括多指靈巧手以及具有不同自由度的手臂）進行泛化，而不需要修改架構或針對硬體配置進行明確的提示。針對具身形態特定資料的微調就已經足夠了。
莫拉維克悖論與語義教練
主持人：當前的系統在哪些方面比人們預期的更先進或更落後？
Sergey Levine：這直接呼應了莫拉維克悖論（Moravec's paradox）。人類憑直覺認為對我們來說困難的任務（像是高等微積分）對機器來說也很難，而對我們來說簡單的任務（像是抓握杯子）對機器來說應該很簡單。現實是，人類大腦為了實體互動和視覺感知，演化出了龐大且專門的神經機制。手動編寫這些實體技能的程式碼是極其困難的。
Sergey Levine：機器學習改變了這種動態。在資料收集直截了當的地方，即使任務在物理上很複雜，也變得切實可行。相反地，那些需要抽象常識、多層次推理，以及將實體執行與廣泛世界知識連結起來的任務，依然十分艱鉅。
主持人：您如何在機器人的語境下定義「常識」？
Sergey Levine：機器人學習中的常識，意味著將從其他領域學到的語義推論應用到當前的實體任務中。這與純粹的肌肉記憶恰恰相反。肌肉記憶是透過重複自動運作的。常識則是在你遇到某種情境時，回想起在其他地方學到的相關事實或原則，將其扎根於眼前環境中，並選擇正確的行動。
主持人：語言模型已經從單輪對話發展到長視界（long-horizon）代理推理。機器人領域中相當於這種長視界的能力是什麼？
Sergey Levine：我們正在這方面進行大量的工作。利用思維鏈推理，我們的模型可以執行延伸的任務，例如從洗碗機中卸載碗盤、將它們放入櫥櫃中，以及擦拭檯面。我們在大約 6 個月前的重要發現是，模型在長視界任務上的表現，只需要透過高階語義指令來監督就能獲得改善。
Sergey Levine：當機器人在廚房清潔任務中失敗時，我們沒有去收集更多低層級的遠端操作軌跡，而是為中間步驟提供了語義標籤。這改善了泛化能力。運作上的瓶頸已經從低層級的實體致動，轉移到中層級的場景解讀與步驟選擇。這使得人類操作員能夠透過語言指導（linguistic coaching）而不是手動實體示範來改善機器人的表現。
廣泛部署的技術與實務風險
主持人：如果我們展望 2050 年，而一般家用機器人仍然未普及，主要的解釋會是什麼？
Sergey Levine：瓶頸很可能是技術與人類舒適度的交集。自動駕駛車輛也面臨過類似的採用動態。在家庭中部署系統涉及邊緣案例與容錯問題。使用者能否接受偶爾打碎盤子，或是讓機器人在幼童身邊運作？導航這些社會與安全因素將決定不同環境下的部署時程。
Sergey Levine：從純技術的角度來看，主要的風險是管理開放世界的廣度。結構化的商業環境（例如清理飯店房間或協助商業廚房）具有有界的變異性。非結構化的家庭環境則充滿了需要強固推論與安全故障安全模式（safe failure modes）的不可預測事件。
模擬與真實世界資料及機器人奧林匹克
主持人：您如何看待機器人學中使用模擬（simulation）與真實世界資料之間的辯論？
Sergey Levine：當今的機器人研究中存在著明顯的二分法。在人形機器人 locomotion（移動控制）領域，主流管線高度依賴物理模擬，真實世界資料極少或為零。在機器人操作（manipulation）領域，主流方法則是使用結合基礎模型的大型真實世界資料集，幾乎沒有模擬。這仍然是一個開放的研究問題：究竟會由一種方法主導，還是會出現兩者的融合？
主持人：您如何在「開發令人印象深刻的展示」與「建構實用的產品」之間取得平衡？
Sergey Levine：我們的方法是，在必須具備實用性的前提限制下，盡可能讓系統令人驚豔。我們優先推動推進通用機器人基礎模型的基礎研究，但我們也會利用困難的操作基準來對模型進行壓力測試。
Sergey Levine：例如，前 Everyday Robots 研究員 Benji Holson 提出了一個實用的「機器人奧林匹克」（Robot Olympics），其中包含人類覺得微不足道、機器人卻深感棘手的日常操作任務——例如開門、刷洗油膩的平底鍋，或是用塑膠袋撿拾垃圾。我們利用這個清單來測試我們的通用導入管線。在沒有為個別任務開發專門演算法的情況下，我們的基礎模型成功解決了幾乎所有的任務。唯一的例外是將正裝襯衫翻面（受限於夾爪大小的物理限制），以及純粹用手指剝橘子（由於抓握力限制，需要使用小工具）。這證明了通用模型能夠快速導入多元任務強大的威力。
具身不可知論與研究哲學
主持人：您提到了生物系統中的工具使用概念。這與機器人智慧有何關聯？
Sergey Levine：神經科學的研究證明，當猴子使用工具時，大腦中的神經表徵會進行適應，使工具尖端被視為實體手部的延伸。這強化了智慧應該具備「具身不可知論」（embodiment-agnostic）的觀點。通用的基礎模型應該能夠調適並控制任意的運動鏈（kinematic chains）與工具。操作、移動和工業控制在一個單一的核心智慧問題下達成了統一。
主持人：當今機器人研究社群內主要的哲學辯論是什麼？
Sergey Levine：從歷史上看，這場辯論在於相較於古典工程與物理模型，機器學習在機器人學中是否有其立足之地。雖然學習現在已被廣泛接受，但關於端到端學習與結合手工編碼物理的模組化系統之間，仍存在爭論。「苦澀的教訓」（The Bitter Lesson）指出，隨著時間推移，利用具備資料與算力的通用方法，表現會勝過人工設計的領域知識。雖然納入明確的物理模型提供了短期結構，但端到端學習提供了真正開放世界通用性所需的擴展性與自我改進能力。
主持人：您預期哪些類型的任務會是最後被機器人自動化的？
Sergey Levine：涉及與人類進行直接、細緻實體互動的任務——例如幫小孩換尿布、長期照護，或是協助受傷的人下床——將會極具挑戰性。這些任務需要精準的力道調變、高等級的安全邊際，以及深厚的社會-實體常識。
研究執行、硬體成本與未來展望
主持人：在應對這些艱鉅難題時，傑出的 AI 研究人員有何特質？
Sergey Levine：研究需要做出關鍵決策，判斷何時該堅持某種方法，何時又該轉換方向。太早轉換意味著錯失潛藏在表面之下的突破；在有缺陷的前提上堅持太久則會浪費多年光陰。成功的研究人員培養出了強大的直覺，能夠在深度專注與探索性實驗之間取得平衡。
Sergey Levine：硬體成本也大幅下降。這對生態系有何影響？
Sergey Levine：十年前，像 PR2 這樣的研究平台成本大約是 40,0000 美元（編按：原文為 $400,000）。當我在柏克萊加州大學建立實驗室時，標準手臂大約是 30,000 美元。如今，低成本的機器手臂大約只需 3,000 美元即可購得，且成本持續下降。由於基於學習的軟體可以彌補硬體順應性（compliance）與感測限制，低成本硬體得以勝任複雜任務，從而大幅降低了進入門檻。
主持人：Physical Intelligence 近期的主要焦點是什麼？
Sergey Levine：我們的首要焦點是推進中層語義與空間推理。低層級的實體控制大致上已經可以掌握，但要將那些運動原語（motor primitives）與高階的世界知識連結起來，則需要專為實體互動（而非純粹語義 tokens）量身打造的內部表徵。
主持人：回顧您的職涯，別人對您做過最暖心的事情是什麼？
Sergey Levine：幾個關鍵的機會形塑了我的軌跡。當我念大學二年級時，Nvidia 的一位招聘經理給了我一個實習機會，冒險錄用了我。後來，Pieter Abbeel 在我沒有任何機器人背景的情況下，依然接受我擔任柏克萊加州大學的博士後研究員，對我的潛力投下了信任票。最後，在 Google 期間，像 Jeff Dean 和 Vincent Vanhoucke 這樣的領導者支持了我們同時部署數十台機器人進行集體學習的提案——也就是手臂農場（arm farm）專案——賦予早期職涯研究人員追求宏大構想的權力。擁有能夠給予自主權並對人投以信任票的領導者，會帶來深遠的改變。
主持人：Sergey，非常感謝您今天與我們分享您的真知灼見。
Sergey Levine：謝謝你們。