DruckFin

Physical Intelligence 訪談記錄：Sergey Levine談人形機器人規模化、通用化與生態系挑戰

2026年9月2日 | Sergey Levine 對談實體AI與人形機器人現狀

引言

Sergey Levine：對我來說，這簡直令人大開眼界，因為基礎模型根本沒有接受過任何人類數據的訓練。

主持人：這是 Sergey Levine，全球頂尖的機器人學研究員之一，我向他請教了人形機器人目前的發展現狀。你目前見過最令人驚嘆的湧現能力是什麼？

Sergey Levine：我想任何觀看該評測的人，當時都不會認為機器人能做到這一點。

主持人：我這裡有一些關於中國的問題。有些時候，這是避無可避的話題。如果人形機器人在個位數年份內未能成功，你認為最可能的失敗原因是什麼？以下是完整訪談內容。

機器人規模化現狀

主持人：大型語言模型在該領域引發了前所未有的影響與投資。實體AI與人形機器人潛在的規模可能還要大得多。我想請教您，人形機器人目前的發展進展如何？您又如何預判這項技術未來實際落實到現實世界中？

Sergey Levine：我想就機器學習而言，過去幾年（或者說過去十年）我們學到的教訓是，當你以規模化（at scale）方式進行時，它就會奏效。這現在看來非常顯眼，但過去並非一直如此。這裡有一個前提，那就是你必須對「正確的事物」進行規模化。最初，當人們開始研究語言模型等模型時，主導的設計是 LSTM。有些人可能還記得那些是什麼。它們其實還算可以，比之前的技術好得多，但它們的規模化表現確實不夠好。Transformer 的重大突破並不是因為它們在數學上特別優雅之類的；純粹是因為它們的規模化表現更好。它們更容易在擁有大量參數的超大規模數據集上進行訓練。

技術的發展是分階段的。首先，你找出什麼東西是可以規模化的，也就是什麼是具備規模化潛力的技術，接著投入產業級的努力，加入大量數據並擴大模型規模。這時奇蹟就會發生。當我們在進行更基礎的技術開發時，關鍵在於理解這些可規模化的槓桿是什麼。你弄清楚設計、大致摸索出混合方式，光是這樣就能做出相當酷的成果，但這還不是真正改變世界的東西。只有當你開始拉動那個槓桿時，事情才會真正發生改變。

以 LLM 為例，當第一代 GPT 模型（即 GPT-2）問世時，它展現了一些功能，但它有點像個街頭戲法。你可以讓它合成一個關於祕魯獨角獸之類的故事，雖然是合乎邏輯的英文，但它並不是那種能解決大量現實世界問題的東西。從事這方面工作的人大致意識到，其中會發生一種神奇的效應：隨著你加入更多數據並讓模型變得更大，這些內容會變得更加連貫、更加有效。他們看得出來，如果我們把這件事規模化擴大很多倍，它就會變得強大得多。

回到你的問題，我對機器人的看法是：它目前還沒有到達 GPT-4 到 GPT-5 那種透過產業級努力來擴大模型規模並獲取更多能力的階段。它正處於建立基礎技術的階段。正因如此，我們現在不應該指望每個月模型都會依循某種可預測的規模化曲線變得更大、更強。我們應該看到的是，隨著我們開發出正確的技術，規模化特性本身也正在不斷演進。

為了更貼近現實，我對我們在 Physical Intelligence 這裡所做的展示非常滿意，我也認為其他人端出的許多成果真的很酷。但放在脈絡來看，我們不應期望這些就是真正展現規模化力量的東西。我們應該期望它們正在開發基礎技術，而這些技術將在之後被進一步規模化。我認為我們現在處於將所有拼圖組件各就各位的階段，而且我覺得這一天已經非常近了。許多拼圖正在陸續到位。這項技術的走向之所以如此難以預測，是因為它尚未達到可預測的規模化階段。它還處於摸索拼圖組件的階段，這令我感到非常興奮，但也意味著要預測其背後的發展係數非常困難。

最令人驚訝的能力與語意錯誤

主持人：你見過最令人驚嘆的湧現能力是什麼？

Sergey Levine：這正是最有趣的部分，隨著我們不斷推進，我們確實看到了更多這樣的現象發生。在最初的時候，都只是一些小事情，但它們感覺像是某種魔術，因為在機器人領域，基本上在 2024 年之前，這種情況從未發生過。這些小事情大概發生在兩年前左右，當時我們會看到一些像是訓練機器人摺衣服的策略（policy），它從洗衣籃裡拿出一件件襯衫並試著將其摺好。我記憶最深刻的一幕是在 2024 年底，當時我正看著一場評測，機器人同時從籃子裡拿出了兩件襯衫。我一邊看一邊心想這下完了，它絕對不可能辦得到。接著它把兩件襯衫放到桌上，將它們解開糾纏，把其中一件放回籃子裡，然後開始摺另一件。事後回想起來，你可以做點偵探工作，追查出它是從哪部分的訓練資料中學到這一招的，但那真的是那種「我不認為任何看著該評測的人會預料到機器人會這麼做」的時刻。它展現出了你期望人類應有的常識。

事實上，我最近覺得更有趣的是它犯下的一些錯誤。LLM 有一個相當顯著的特點，那就是一旦它們夠聰明，甚至連它們犯下的錯都顯得合情合理——意思是它們犯的不是那種一直輸出隨機字元的瘋狂錯誤，而是語意上說得通的錯誤。我們去年為 π0 進行了一項評估，當時機器人的任務是清理廚房，被要求收好所有的餐具，像是湯匙和鍋鏟。它試著打開它認為應放置銀器的抽屜，卻打不開抽屜。於是它挪動身子，打開了旁邊的烤箱，然後開始把東西放進烤箱裡。你可以想像，如果你叫一個小孩收拾東西並收好，他們可能會決定這麼做，因為那是一個容器，你可以把東西放進去，而且別人也看不見。

我們做的另一個實驗是清洗所有的盤子。它會拿起盤子，用海綿清洗，然後放到瀝水架上。這是一項關於記憶的實驗，因為它必須追蹤它正在做的一切。它有一種筆記本式的記憶功能，會在上面寫下它有 3 個盤子、洗了灰色的那個、洗了綠色的那個。接著它不小心把其中一個盤子掉在地上，然後把底座開過去擋住視線讓你看不見，並得出結論：它已經洗好灰色盤子、大功告成了。很顯然，這些都不是我們樂見的情況，但有趣的是，有些錯誤幾乎就像是你在一個試圖完成任務的小孩身上所看到的行為。現在它只是需要長大成人而已。

自動駕駛帶來的啟示

主持人：你提到了整個產業正在發生的進步。我知道有很多人在製造人形機器人，像是 Figure、Tesla，還有許多其他競爭者。你擁有關於哪些事很難、哪些事不難的專業知識。當你審視這些競爭者時，有沒有哪項進步或成就讓你想豎起大拇指、覺得真的令人欽佩且印象深刻？

Sergey Levine：事實上，業界最讓我感到振奮的事情之一，就是看到自動駕駛系統所迎來的爆發式發展。有時候外界對機器人研究人員的批評之一，就是它就像核融合技術一樣——永遠是未來的技術，卻永遠停留在未來。人們對自動駕駛也是這麼說的。現在，我們人在舊金山，你可以走到外面叫一輛 Waymo，它真的能載你到目的地，而且裡面沒有安全駕駛員坐著。

不陷入過多技術細節的話，這背後真正令人振奮的例證在於，你確實可以讓這些「未來的技術」真正落地。我覺得這並非偶然，它之所以能在 2020 年代中期落地，是因為大規模機器學習的許多拼圖組件已經達到可以與實際物理系統結合的水準。當然，駕駛與機器人操縱之間存在許多差異，但「我們確實可以將基於學習的技術落實在現實物理世界中」這個實證，真的非常激勵人心。

頂尖 AI 實驗室進軍機器人領域的影響

主持人：如果 OpenAI 或 Anthropic 開始更重磅地投資機器人領域，你認為會對產業造成什麼影響？你覺得競爭對手會為此感到擔心嗎？平心而論，機器人學一直都不是一個生態系像機器學習其他領域那樣健康的領域。

Sergey Levine：我的意思是，電腦視覺與自然語言處理（NLP）是那種天生就適合機器學習生態系的領域，因為有免費且現成的數據。人們普遍接受他們將會使用學習技術。外界對於實體安全的擔憂雖然存在，但情況並不一樣。人們雖然合理地關注 AI 安全，但這跟實體裝置造成物理傷害並不一樣。正因為如此，要在這些領域啟動非常嚴肅的大規模機器學習研發要容易一些。

傳統上，機器人學並不是一個真正擁抱數據共享的學科。機器人領域中圍繞學習的活動越多，我認為就越能將人們的思維轉變為這樣一個未來：我們接受機器人將由學得的模型控制，而不是由人工設計的控制器控制。屆時將會出現數據，而這些數據將需要被共享，因為沒有人能夠在單一垂直領域中建立出真正的基礎模型。這基本上會改變整個機器人學的思維方式，使其看起來更像是我們看待視覺與 NLP 的方式，而不是傳統的工廠自動化。從這個意義上說，儘管我為我們在 Physical Intelligence 所做的工作感到自豪，但我認為光靠一家公司是不夠的，必須有更多公司才能將所有人的思維轉向那個方向。

中國機器人與生態系動態

主持人：作為一個旁觀者，我在推特上看到這些中國機器人令人驚嘆的展示。感覺他們在某些方面似乎領先了，但我沒有那麼深厚的專業領域知識。我很想聽聽你對中國機器人產業的看法，以及他們是否真的走得更前面。

Sergey Levine：對於我們這些在美國和歐洲從事這項工作的人來說，一個非常有用且具建設性的做法，就是去思考我們應該從中學到什麼教訓。對我而言，其中一個教訓就是擁有一個健康的生態系至關重要。生態系意味著顯然需要有優秀的研究人員和工程師來從事這些工作，並且需要有健康的開源環境。但這也意味著，為機器人貢獻力量的不同產業本身必須各自非常健康。這些產業不僅僅是電腦科學、機器學習和模型建構；還包括供應鏈、製造業以及硬體研發。這些全部都是非常重要的環節。

其中一些環節是美國做得相當出色的地方，而另一些環節則是美國稍微有些放手不管的地方。我們應該審視世界上正在發生的一切，看看中國實驗室和其他國家實驗室所產出的優秀成果，並從中汲取教訓：我們應該致力於建立一個更健康的生態系。這意味著要投資於所有促成這項成就的不同面向。我不是個商界人士或投資界人士，所以我不敢說自己知道該怎麼做，但我們必須全盤接受這是一項整體性努力，而不是那種我們只能做其中一小部分、然後把其他所有東西都外包出去的工作。

主持人：在生態系的所有部分中，有沒有哪一部分如果在美國獲得改善，會對機器人學的進步產生最大的影響？

Sergey Levine：當然，取得可靠、低成本的硬體是一件大事。目前用於機器人研究的硬體，很大一部分確實來自中國。它們很好、相對便宜、品質優良，並且符合人們通常所需標準。如果能把這些全部都在國內（美國本土）採購，那就再好不過了。我不認為這有什麼不可能辦到的，這只是一個心態問題——我們必須接受整個生態系都需要獲得支持，而不僅僅是其中某一個環節。

數據飛輪與規模化里程碑

主持人：你可以想像，率先達到規模化的實驗室將會率先實現突破。這裡面可能存在一種指數級增長效應：部署有助於你增長得更快，而增長得更快又有助於你部署，從而創造出這個飛輪效應。你認為這個產業會發生這種情況嗎？也就是某個實驗室（無論是在美國還是中國）觸及某個突破點，然後把所有人甩在後面？

Sergey Levine：這種說法有很大的真實性。但有一個重要的細節需要記住：你必須對正確的事物進行規模化。擁有一個有效的正向回饋迴圈——即更多部署的機器人轉化為更強大的模型能力——才是關鍵所在。其中的訣竅在於，有很多方法可能會把這件事做錯。

一個顯而易見的例子是，如果我是一家汽車公司，我有一隻在組裝線上焊接汽車的機器手臂。它每天都在焊接汽車，每個月完成 100 萬次焊接。如果我單純把這作為我的數據飛輪，我不太可能得到比一個會焊接汽車的機器人更具能力的成果。既然機器人已經在那裡焊接汽車了，那麼這樣做帶來的邊際改進其實並沒有那麼寶貴。這就是為什麼你必須對正確的事物進行規模化的例子，因為數據並不像電力或石油那樣完全同質可替代（fungible）。你不能只是買更多數據；它必須是異質的（heterogeneous）。你必須用正確的技術和多元學習的正確來源，去對正確的事物進行規模化。數據與其說是一種可替代的商品，不如說是用於訓練你的機器人的教育課程。

主持人：如果你考慮到這個數據飛輪，並推出能夠產生對改善該平台至關重要數據的適當平台，你預計這種情況大約會在何時首次在世界上發生？

Sergey Levine：在技術端，事情正以非常快的速度朝這個方向推進。有一個特定的平衡點需要拿捏，這將顯著決定這個時間表，那就是人們願意容忍多少結構性限制。在極端情況下，你可以想像直接跳到完全非結構化的部署領域，例如家用機器人。這可能會非常令人興奮，因為你從一開始就擁有大量多樣性，但要達到足夠有效且安全標準的門檻要高得多，因為在家裡有人類出沒的環境下，安全性是一個大得多的問題。

在另一個極端，你可以想像結構化程度更高的任務。或許不是焊接機器人，而是走廊那頭稍微做一點點非結構化工作的機器人。這可能是一個較為簡單的領域，因為安全顧慮較少（它可能在受過訓練的人類身邊運作，且任務可能更具可預測性），但在該領域中你獲得的每一位元數據其邊際價值較低，因為多樣性較少。你可以起步較早但斜率較小，或者起步較晚但斜率較大，你必須對此進行校準。我的直覺是，無論我們談論的是哪一個極端，這個時間點都在個位數年份內，而不是兩位數年份。結構化程度較高的應用可能現在或明年就會發生。結構化程度較低的應用可能會再過幾年，但大概不會需要十年。

路線圖、通用化與現實世界測試

主持人：許多人談論時間表時都講得霧裡看花。如果要為「將機器人送入家庭」這顆北極星制定里程碑，那張路線圖會是什麼樣子？

Sergey Levine：關於機器人學，有一件非常重要的事情必須指出來，而這往往容易在炒作週期和人們發布的展示影片中被忽略：機器人學中最困難的部分一直都是「通用化」。當有人展示他們系統的示範時，單靠示範通常無法讓人清楚看出其中展現了何種程度的通用化。例如，高度雜技化的機器人展示看起來確實令人興奮。但通常情況下，如果這是在舞台上排練過的東西，那 literalmente 就只是一場秀。這跟每次都能在任何家庭中可靠地完成任務是完全不同的概念。

當孤立地看待通用化時，它往往看起來不那麼令人印象深刻，因為通用化是多次試驗的一種屬性，而不是單次試驗的屬性。你可能會看到機器人做一些相當平凡且毫無亮點的事情，但令人興奮的是，它是用一個以前從未見過getObject、在一個從未被測試過的新環境中完成的。這實際上比做一個練習了 100 萬次的雜技後空翻還要困難。

路線圖的全部核心在於實現更好的通用化，並擁有一种隨著通用化而獲得更多通用化的機制。該路線圖的一個步驟是，擁有一個非常具體的機器人系統示範：它透過在一個最初未受過訓練的環境中收集到的自主經驗而變得更好。你在後端訓練模型，把它放到一個新環境中（無論是家庭還是執行實際任務的工廠），它一開始表現普通，但隨著時間推移表現越來越好，直到達到實用級別的強健性，而不會在 50% 的成功率停滯不前。這將會是一個重大的里程碑。如果這確實是一個自動化過程，並且能夠隨著收集到有用的經驗而自我改善，你就可以把它放在許多不同的領域中收集經驗，執行人們想要的工作，並不斷改進模型。

另一個重大步驟是展示一種具體且實用可行的方式，來轉移常識性知識以實現強健性。這就是那種你無法預先練習的情境。如果你在路上開車看到消防車和交通錐，即使你從未遇到過這種情況，你的常識也會告訴你應該減速，而不是硬闖過交通錐。如果你能運用這種常識來有效地從意外情況中恢復，就像機器人把鍋鏟放進烤箱後意識到它需要把它拿出來那樣，這就告訴我們，我們可以使用常識來修正錯誤。

主持人：我可以想像一個範圍更窄的機器人，例如在組裝線上執行單一步驟的人形機器人。據我理解，你對這種應用比較不感興趣，因為那並不是通往通用智能的真正一步。

Sergey Levine：倒不是說我對它不感興趣。而是現實世界存在著許多「會漏水的抽象概念」（leaky abstractions），這使得那種任務比看上去要複雜得多。在 1990 年代，當人們全力投入自動駕駛研究時，曾有一種觀點認為，我們可以透過對環境進行儀表化改造（在高速公路上安裝磁性感測器、在車輛上安裝發射器以便它們知道每個人的位置，類似於飛機），來避開許多困難的問題。當時人們認為我們不需要花俏的AI，只需要感測器就能運作。那個方向最後無疾而終，因為現實世界有太多混亂的例外情況和特殊狀況。即使磁性感測器在 99% 的情況下都能運作，但只要有 1% 的機率有人走上馬路或路上有垃圾，就會把一切搞砸。

真正奏效的方法是決定不逃避難題，直接將車輛部署在像舊金山這樣混亂的環境中，並正面迎擊。機器人操縱也將走上同樣的道路。超越了完全結構化的工廠世界之後，如果你想哪怕稍微往外跨出一步，即使 99% 的時間都很簡單，但只要那 1% 發生了古怪的事情，就意味著你必須全面解決問題的核心。

主持人：這讓我想起 Figure 曾有一個展示，他們直播了機器人分類包裹的過程。在您看來，這是否證明了通用化？

Sergey Levine：是的，我認為確實如此。這是我覺得非常鼓舞人心的一點。因為要在影片中展現通用化很困難，許多人正在進行創造性思考，透過現場展示和長時間縮時攝影來呈現成果。這是提升大眾對通用化認知重要性的絕佳方式。

去年底當我們在進行 π*0 RL 專案時，我們想要做一些時間跨度更長的實驗。我們讓機器人在蒲公英巧克力工廠（Dandelion Chocolate Factory）組裝盒子好幾天。我們還有一個咖啡任務，讓機器人使用濃縮咖啡機製作濃縮咖啡，連續運作了 13 個小時製作飲品。我們試着保持環保意識，不要浪費咖啡，所以 13 小時後，辦公室裡的每個人都因為喝了濃縮咖啡而亢奮過度。它確實搞砸了幾次，比如把咖啡渣灑出來，然後必須用布把它擦乾淨，但在這 13 小時內沒有發生任何爆炸事故。

主持人：當它灑出咖啡渣並進行清理時，那是它自己完成的嗎？

Sergey Levine：那個實驗的做法是，大約每 5 分鐘在語意連貫的任務之間更新一次高層提示詞（prompting）。你告訴它製作濃縮咖啡或清理機器，所以清理的指令是由人類發起的。原則上，我們可以將其自動化。我們現在正投入大量精力來改善處理這些指令的高層策略。對於那項實驗，每 5 分鐘就會有人更新被要求執行的任務，就像在咖啡店點拿鐵一樣，只不過你還必須在製作下一杯之前告訴它先清理乾淨。

主持人：OpenAI、Anthropic、Cursor 和 Vercel 都在使用這項產品來讓他們的工作變得更好。它解決的問題是，當你正在建構 SaaS 或 AI 產品並希望銷售給其他公司時，你會遇到一堆必須滿足的要求：SSO、SCIM、RBAC、稽核日誌。這些東西整合起來很耗時，但又不是你應用程式的核心焦點。WorkOS 是一個 API 層，讓你只需幾行程式碼就能滿足所有這些要求。請上 workos.com 了解更多資訊並開始使用。感謝他們贊助本集 Podcast。

數據類型與跨具身轉移

主持人：在通往通用化的路上，數據是非常重要的一部分。這裡面有模擬數據和實體互動數據。你對最佳數據、最差數據以及它們各自的優缺點有什麼看法？

Sergey Levine：機器人社群對此有很多討論，大家持有截然不同的觀點。我的看法是，如果模型能夠將各種不同的數據來源根植於對世界的透徹物理理解中，它就更容易內化這些數據。

如果你想學開飛機，你可能會在訓練的一部分中使用模擬器。模擬器對你來說是有意義的，因為你帶來了大量的世界知識來為正在發生的事情提供基礎。你知道你正在獲取要在真實飛機上使用的知識。同樣地，如果你看別人烹飪，即使你感受不到他們確切的肌肉運動，你也有先驗知識，可以將其歸納到「加入鹽巴」這種抽象層面上，而無需計算他們關節的運動軌跡。一旦你了解了如何用自己的身體在物理上做事，所有其他的知識來源都可以與之連結，因為你具身（embodied）的基礎為一切提供了根基。

如果我們擁有一個在大量真實具身數據上訓練出來的機器人基礎模型並為其提供了基礎，它實際上可能更能吸收其他知識來源。縱觀網際網路數據對 LLM 的成功，我們很容易想要從 YouTube 影片開始，然後在上面堆疊機器人數據，但我認為情況正好相反。我的同事 Sudeep 與來自喬治亞理工學院的 Samarth 一起，將我們的機器人基礎模型與人類影片數據結合，加在一個最初在機器人數據上訓練的模型之上。當使用具有極少機器人數據的小型模型時，人類經驗和機器人經驗在特徵表示中是完全分離的。但是，當在來自許多不同機器人的大量機器人數據上進行訓練時，特徵完全按任務身份（task identity）進行分組，而不是按具身形態（embodiment）分組。在 t-SNE 嵌入圖中，當拉高到 100% 的機器人數據時，任務身份與具身形態的最小敏感度保持了清晰的一致性。基礎模型根本沒有接受過人類數據的訓練，但一旦你加入了人類數據，它就會以完全相同的方式对其進行表徵。

主持人：基礎模型必須使用特定的一組馬達和關節收集數據，這點很重要嗎？

Sergey Levine：我們在處理許多機器人類型的跨具身（cross-embodiment）模型上投入了大量心力，但通常你確實需要來自目標機器人的一些數據才能獲得良好的性能。通用化的指標不是對新機器人的零樣本轉移（zero-shot transfer），而是透過從其他機器人轉移技能，減少對新機器人經驗的需求。

所需的特殊架構數量出奇地少。最初，我有一長串研究想法來適應不同的形態，比如為 6 自由度手臂與 7 自由度手臂分解表示。我們最後什麼都沒做。模型輸出一個數字向量，如果機器人的自由度較少，它只需在輸出端進行零填補（zero-pad）。它在所有機器人中進行訓練，並根據透過相機看到的內容輸出動作。

為了在機器人之間轉移技能，中間思考過程有所幫助。用文字思考有助於轉移高層行為結構，例如知道在收好銀器之前先打開抽屜。對於較低層級的物理任務，我們進行了一項實驗，其中的思考階段以圖像形式表達，生成任務中下一個里程碑的圖像。藉由這個方法，我們讓 UR5 機器人成功摺了一件 T 恤，儘管我們在該特定機器人上擁有零件 T 恤摺疊數據。用生成模型炮製出摺好襯衫的外觀圖像非常簡單，從而從該合成圖像中反推所需的關節角度也相對容易。以正確的模態引入中間思考，會使跨具身通用化變得容易得多。

機器人軟體疊層簡化 vs. 自動駕駛車輛

主持人：你先前提到 Waymo 作為通用機器人的證明令人備受鼓舞。在人形機器人的情況下，是什麼讓你對個位數年份的時間表充滿信心，而不是像自動駕駛車輛那樣面臨長尾的極端情況（edge cases）和策略挑戰？

Sergey Levine：機器人基礎模型與傳統工程系統之間的一個重大區別在於，軟體疊層（software stack）真的非常輕量。訓練基礎模型很困難，因為涉及數據策展與標註，但在機器人上實際執行的軟體非常簡單。就原始程式碼行數而言，它比傳統的自動駕駛車輛軟體疊層小得多。自動駕駛車輛起步較早，採用了非常不同的歷史遺留技術，並具有嚴格的關鍵安全限制。用機器人操縱器掉落易碎物品，遠不如汽車撞到人那麼災難性。

機器人學中的安全挑戰是真實存在的，但它們不像實際部署那樣構成硬性阻礙。你可以選擇那些風險可控的任務、環境和硬體。徹底簡化的軟體疊層、較不激進的安全障礙以及正向數據飛輪的結合，使得個位數的時間表變得切實可行。

主持人：人形機器人失敗模式的預先驗屍（Premortem）

主持人：如果人形機器人在個位數年份內未能成功，最可能的原因是什麼？

Sergey Levine：要讓這些系統真正發揮作用，它們需要達到比我們對 LLM 或生成式視訊模型所期望的更高的可靠性和通用化水準。LLM 是人類互動工具，使用者可以透過反覆調整提示詞直到解決任務。而對於機器人來說，其全部價值主張都取決於自主執行。如果有人類不斷介入，那就失去了原本的意義。

最大的風險在於達到高強健性門檻的難度。利用自主經驗的強化學習技術可以幫助縮小從 95% 到 100% 的差距，但跨越最後的這段衝刺仍然是一個開放式的技術挑戰，需要進一步的演算法創新。

基礎模型 vs. 垂直專精模型

主持人：在機器人建模架構中，大家的作法都一樣，還是存在分歧的熱門觀點？

Sergey Levine：這裡的分歧比看上去的還要多。主要的劃分線在於完全擁抱基礎模型精神與專注於狹窄垂直領域之間的差異。基礎模型精神主張，為了要解決一項專門任務，你最好在廣泛的數據基礎上訓練通用模型，這最終將在極端情況下優於垂直專精模型。

在機器人學中，這個想法讓人感到不舒服。如果你想建立一個倉庫自動化系統，收集在家居廚房中收拾銀器的數據似乎違反直覺。然而，收集多元的數據可以建立能夠轉移到倉庫中不可預測極端情況的通用技能。接受「廣度勝過垂直專精優化」這件事，對傳統機器人工程師來說仍然很難接受。

實體世界中的 AI 安全

主持人：如果 Physical Intelligence 開發出一個能力非凡的通用模型，你如何看待實體系統中的 AI 安全、風險與監管？

Sergey Levine：AI 安全已經被研究了很長時間，但當技術發展迅速時，真正的問題很大程度上取決於社會如何採用這些工具。我們的哲學是實證主義的實驗：在現實世界中部署系統，觀察什麼成功、什麼失敗，然後進行反覆調整。如果純軟體的 AI 就會產生重大的安全疑慮，那麼能夠與實體世界互動的實體 AI 系統，自然需要更高度的審查。

經濟影響與勞動力的未來

主持人：如果未來 10 年一切順利，人形機器人是否意味著人類勞動力的終結？

Sergey Levine：把機器人單純看作機械人（mechanical people）是一種錯誤。當個人電腦興起時，它們並沒有取代人類的大腦；相反地，我們看到無所不在的運算（ubiquitous computing）普及到辦公桌、口袋、冰箱和汽車中。以此類推，實體 AI 很可能會引入無所不在的實體驅動，在日常任務中提供自動化協助，而不是作為人類的一對一直接替代品。現代的編碼代理（coding agents）就是一個很好的平行對照：它們不是消滅軟體工程師，而是提供槓桿來放大人類的生產力。

主持人：關鍵研究論文：Aloha 與 ACT

主持人：如果有人想了解機器人學領域的突破脈絡，他們應該閱讀哪些奠基性的論文？

Sergey Levine：我會指出由 Tony Zhao 領導並由我共同合著的原始 Aloha 和 Action Chunking with Transformers (ACT) 論文。該論文證明了使用來自 Trossen Robotics 的低成本 7,000 美元業餘愛好者手臂進行雙手遠端操作設置，並結合直截了當的 Transformer 模型，可以解決高度靈巧的任務，例如更換遙控器電池或將鞋子穿在假人腳上。

學術研究往往優先考慮數學複雜性，但這裡的見解在於，將簡單、易取得的硬體與正確的端到端學習設置相結合，就能取得顯著的成果。開源的 ACT 程式碼庫已成為現代機器人學習的標準入門套件，因为它證明了簡單的建構組件能走得多遠。

從傳統控制到學習型 AI 的演進

主持人：在現代機器學習之前，Boston Dynamics 憑藉令人驚嘆的展示吸引了巨大的關注，但我們今天聽到的關於傳統方法的討論相對較少。是什麼推動了這項產業轉變？

Sergey Levine：機器人學需要跨越機械設計、驅動和高層決策的全端整合。經典的 Boston Dynamics 展示了卓越的硬體和精密的客製化控制工程。在當時，這是必不可少的，因為沒有功能完善的硬體，決策軟體就毫無意義。

如今，硬體已經足夠好，主要的瓶頸在於非結構化環境中的閉環決策。傳統控制與現代 AI 之間的界線歸結為：機器人只需要控制自己的身體，還是必須對外部世界做出反應。在平地上做後空翻主要是一個涉及機器人身體的控制問題。撿起一個咖啡杯則需要理解外部環境。如果人類工程師可以為某種行為手動設計控制律，這就提供了這樣一個存在證明：存在著一個緊湊、可通用的策略，並且可以透過機器學習直接學到。

給年輕時自己的先驗知識建議

主持人：如果你能回到剛進入這個產業的時候，你會給自己什麼建議？

Sergey Levine：我會告訴自己要更加認真看待先驗知識（prior knowledge）。早期時，許多研究人員（包括我自己）都認為機器人應該完全從頭開始學習。在 Google 的 Arm Farm 專案期間，我們讓手臂從一張白紙開始抓取數百萬個物體。它們學會了抓取，但這些數據並沒有輕易地引導（bootstrap）出更複雜的技能。

動物和人類不是在真空中學習的；他們依賴觀察和現有的世界模型。納入廣泛的先驗知識（無論是透過語言、網際網路影片還是跨具身數據），為高效學習提供了必要的鷹架。試圖在沒有先驗知識的情況下進行學習，會迫使機器人去解決一個比大自然歷史上面臨的任何問題都還要嚴格得多的難題。

主持人：非常感謝你抽空受訪，Sergey。

Sergey Levine：謝謝你的提問。

主持人：感謝觀看本集 Podcast。如果你喜歡，請留言並按讚。我也正在打造一款符合人體工學的分離式鍵盤原型。我們在 Kickstarter 上線，並在 8 小時內達成募資目標。目前正在進行模具製造，晚鳥贊助仍然開放。感謝收看，我們下集見。