謝賽寧：矽谷正「被大型語言模型催眠」——打造超越語言的世界模型
張曉軍 Podcast，2026 年 3 月 16 日
2026 年初，在白雪覆蓋的布魯克林公寓裡，謝賽寧（Saining Xie）正進行著人工智慧領域最豪邁的一場豪賭。這位紐約大學（NYU）教授、剛與圖靈獎得主 Yann LeCun 共同創立 AMI Labs 的新銳創辦人，剛剛以 35 億美元的估值完成了 10.3 億美元的創紀錄種子輪融資。儘管頭銜光環耀眼，謝賽寧卻堅持自己是「普通人」——並非天選之子，而是一個憑藉他所謂「神祕邏輯」在職涯決策中摸索前行的人，比起雄心壯志，他更受人際互動與好奇心驅使。
這場長達七小時的對談，揭示了一位研究者過去十多年來如何默默搭建他認為 AI 下一次躍進所需的鷹架：真正理解物理現實的世界模型，而非僅僅是柏拉圖洞穴牆上語言所投射的陰影。這在一個他形容為被大型語言模型（LLM）「徹底催眠」的矽谷中，是一個反主流的立場，也讓他與業界最強大的敘事產生了碰撞。
語言模型的根本缺陷
謝賽寧對 LLM 的評價直言不諱。「我不認為 LLM 是『苦澀的教訓』（The Bitter Lesson）的成功案例——事實上，它們是對該理論的反叛，」他提到 Rich Sutton 的著名論文，該文主張 AI 應盡量減少人工設計的結構。他的論點切中了語言本質的核心，「語言不是思考的圖譜，而是一種溝通工具，」他解釋道。當人類書寫時，是將龐大的經驗壓縮成符號，為了在人與人之間傳遞，而非為了捕捉現實的全貌。
這一點至關重要，因為在謝賽寧看來，LLM 的擴張定律（Scaling Laws）含有顯著的「水分」——也就是他所說的通膨。「語言模型的擴張定律是基於對知識的表徵，」他認為。模型為了顯得聰明，必須死記硬背瑣碎事實，導致參數規模膨脹。但一個真正的世界模型不需要記住維基百科的每一條目。「你不需要背誦所有知識，你需要的是過濾並處理資訊的強大理解能力，」他說。決策本身比資料庫更重要。
技術層面的論證更為深入。當你建模 P(y)（預測標籤或下一個 token）時，機率質量會集中在低維度的語義空間。但當你像影片生成模型那樣建模 P(x|y) 時，「你所分配的概似度（likelihood）代表了哪些現象在現實中真正存在，哪些事物更有可能發生，」謝賽寧解釋。這迫使模型學習為什麼四條腿的貓比三條腿的常見，為什麼運動應該平滑，為什麼物理規律限制了可能性。「現在你需要學習的東西，其蘊含的智慧遠超過從建模 P(y) 中獲得的。」
更根本的是，語言在離散的 token 中運作，而物理世界在連續、高維且充滿雜訊的空間中運作。「如果你用處理 LLM 的方式處理視覺，我就必須將每一幀畫面 token 化，串成極長的序列，」謝賽寧說。「你拿走了背後的現實表徵——那裡其實存在某種全域狀態——然後將其序列化為極度冗餘的 token。」Transformer 隨後必須對每個 token 給予同等關注，這對於捕捉人類大腦皮層平行處理的空間結構而言，「本身就是不合理的。」
表徵的脈絡
要理解謝賽寧的目標，必須追溯他的研究軌跡。他的研究歷程讀起來就像是一場對不同模態、目標與架構下表徵學習的系統性探索。2018 年至 2023 年在 FAIR 期間，他與何愷明（Kaiming He）合作開發了 MoCo 系列，推動自監督對比學習，使其短暫地匹配甚至超越了 ImageNet 的預訓練表現。隨後是何愷明主導的 MAE（Masked Autoencoders），採取了更簡單的去噪方法，也顯示出具潛力的擴張行為。
然而，兩者最終都碰了壁。「我們發現，嘿，MAE 很不可思議，至少應該拿個最佳論文獎，」謝賽寧回憶道。「結果沒有。而且擴張 MAE 本應解決所有問題——結果發現它也無法擴張。」視覺社群無法破解語言模型所擁有的優勢：一條從更多資料與算力通往更好結果的清晰路徑。「目前視覺領域還沒有擴張定律，」謝賽寧承認，但他隨即轉向：「而且我越來越覺得，視覺領域根本不需要擴張定律。」
突破性的見解來自他 2024 年關於表徵自動編碼器（RAE）的研究。RAE 不在像素空間或壓縮的 VAE 潛空間中去噪，而是在 DINOv2 等自監督模型所學習的高維表徵空間中運作。「你的表徵層現在將變得非常高維，」謝賽寧解釋，「而你希望在這個高維表徵上進行去噪與圖像生成。」曾有學生質疑高維度是否會損害訓練，香港大學馬毅教授起身告訴大家：「你們絕不能害怕高維。高維度是所有機器學習中極其重要的基石。」
什麼是世界模型？
當被追問定義時，謝賽寧顯得興致盎然，他承認「世界模型」已成為一個寬泛到無用的流行語。從技術上講，它是一個預測函數：給定當前狀態 S_t 與動作 a_t，預測下一個狀態 S_{t+1}。這個公式可以追溯到 1943 年心理學家 Kenneth Craik 首次提出人類維持內部模型以預測行動後果。控制理論在 1960 年代將其應用於登月小艇，強化學習則透過 Sutton 的 Dyna 架構接納了它。
但這個概念已經分裂。影片生成公司自稱世界模型公司，專注於渲染具備一定一致性的視覺序列——謝賽寧稱之為「世界模擬器」。李飛飛（Fei-Fei Li）的 World Labs 追求顯式的 3D 空間表徵作為資產生成的前端，並從 Autodesk 獲得 2 億美元投資。這些很有價值，但不完整。
謝賽寧與 LeCun 正在打造的是他所謂的「預測大腦」——即智慧本身，而不僅僅是模擬或空間鷹架。「我們正在走一條無法通往真正智慧的路，」他談到目前的做法時說。「有人需要定義這個更大尺度下的新問題。」核心需求包括：理解物理世界、大規模聯想記憶、推理與規劃能力、反事實推論，以及至關重要的——源於預測而非事後對齊（alignment）的可控性與安全性。
最後一點對謝賽寧至關重要。「LLM 是不可控的，也不安全，因為它們沒有真正的世界模型，」他主張。目前的安全性完全來自於針對「不該說或做什麼」的範例進行微調。但「真正的世界模型其實不需要這樣做，因為你可以預測你的行為會導致什麼後果。」一個拿著刀的機器人可以預見轉身面向人時的危險，而不需要數千個刀具事故的訓練範例。世界模型透過理解而非記憶來實現安全。
資料問題
如果語言模型以網際網路的文字為食，世界模型就必須以某種方式攝取現實本身。「過去的時代是下載網際網路，」謝賽寧說。「現在的時代是下載人類。」一個四個月大的嬰兒所見過的視覺資料，比訓練最強大 LLM 所用的所有 token 還多——約 3 兆個 token 僅相當於 30 分鐘的 YouTube 上傳量。這個規模令人震驚。
儘管面臨版權與服務條款的紛爭，YouTube 成為顯而易見的首要目標。「一邊在嚴防死守資料收集，禁止爬取；另一邊則想盡一切辦法獲取更多資料，」謝賽寧描述了這種貓捉老鼠的動態。字節跳動透過 TikTok 與抖音展現了巨大優勢，儘管它們也面臨法律挑戰。
但僅靠影片是不夠的。謝賽寧設想了全天候穿戴裝置——AI 眼鏡，記錄佩戴者所見的一切，創造出第一人稱經驗的無限 token 流。目前最接近的類比是監測心率與睡眠的健身追蹤器，對壓力與恢復做出簡單預測。「如果我們想像有一種穿戴裝置能真正全天候運作，並即時看到我們所見的一切，」他沉思道，「我認為這有巨大的潛力。」醫療監測、運動訓練、老年照護，所有這些都受益於理解視覺背景與時間模式的模型。
DiT 的幕後故事
謝賽寧最知名的作品「擴散 Transformer」（Diffusion Transformers, DiT）源於他所謂研究中必要的「非線性」。2022 年在 FAIR，他與實習生 Bill Peebles（現為 OpenAI Sora 負責人）開始探索擴散模型，以理解判別式與生成式學習之間的聯繫。最初的問題來自何愷明：「這是判別式模型還是生成式模型？」這是一個深刻的謎題，因為去噪在每一步執行判別式預測，卻透過組合來生成圖像。
他們花了兩個月探討表徵品質，發現擴散模型學到的特徵尚可，但「遠遠不如自監督學習——完全沒有競爭力。」接著出現了轉折。「最後一個月我們發現，嘿，順帶一提，我們的新架構確實比 U-Net 更高效、更具擴展性。」從程式碼角度看，DiT 體現了謝賽寧所說的「最小描述長度」（Minimal Description Length）——透過簡潔實現優雅。「如果你的程式碼很短且能達到同樣目的，你的方法通常會比需要數千行程式碼的方法更好。」
該論文被 CVPR 拒絕。「創新不足，」審稿人說。「你們提出了一個非常簡單的結構，儘管結果不錯，但審稿人並不買帳。」Yann LeCun 在推特上轉發了它。他們將論文原封不動投往他處並獲得了口頭報告（Oral Paper）資格。「這完全是一個隨機過程，」謝賽寧聳聳肩。
FAIR 起初不讓他們列出公司隸屬關係，因為謝賽寧已經離職。但在 Sora 明確引用 DiT 作為其骨幹後，該架構基本上成為了所有主流影片生成模型的基礎。諷刺的是：「幾位研究人員跑來跟我說，『我研究這個兩週了，但經理說不能再做了，我們有產品週期要趕。』」業界知道 DiT 是正確的方向，卻缺乏追求它的自由。
何愷明的影響
在謝賽寧的研究形成過程中，沒有人比 ResNet 創造者、FAIR 傳奇研究員何愷明更具影響力。他們的合作始於 2016 年何愷明在謝賽寧實習期間加入 FAIR。謝賽寧的主管將他交給何愷明：「愷明，你來指導他。」在剩下的一個月裡，他們決定參加 ImageNet 挑戰賽，產生了 ResNeXt——部分命名為「謝的 ResNet」（Xie's ResNet），這是何愷明俏皮的功勞共享。
謝賽寧吸收的遠不止論文。他以近乎神聖的口吻描述何愷明的工作流程。「愷明的魔法在於他能將所有平凡的事物轉化為如黃金般珍貴的創意，」他說。這種紀律近乎苦行：在截止日期前一個月就完成演講稿，而其他人還在熬夜；論文中的每一行都經過檢查，確保空白處不超過 40%；在嘗試創新之前，會強迫症般地構建基準（baseline）。
「你研究的天花板取決於你的基準有多好，」謝賽寧學到了這一點。「如果你的基準很弱，你很容易自欺欺人。」這個反直覺的原則——讓比較變得更難，而不是更容易——使得何愷明的檢測工作（Fast R-CNN, Mask R-CNN）能透過超越平庸 CVPR 論文的基礎設施而佔據主導地位。「我們的基準已經比你們強了，如果我再往前邁一步，當然會走得更遠。」
AMI Labs 的願景
AMI Labs 的創立故事帶有謝賽寧決策風格中的神祕色彩。2025 年底，一位主管提到 Yann LeCun 在 Meta 似乎過得不開心。謝賽寧的第一反應是不敢置信——AI 教父要離開了？兩週後的一次一對一會議上，LeCun 開口道：「先別告訴任何人，但我已經決定了。我想做的事應該在外面做。我想創立一家公司。」
謝賽寧問及商業模式。「然後我意識到，哇，這與我所想像的完全一致。」是什麼？「我想你可以稱之為世界模型，或者其背後的邏輯是：我想做的事，在當前世界上任何國家的環境下，包括在灣區，我都認為無法完成。」
信念很簡單：這項工作需要研究深度，但無法在傳統學術界（資源不足）或封閉的工業實驗室（定義問題的自由不足）中實現。「我們需要回到最初討論的內容，」謝賽寧說。「在這種有限的遊戲中，在這個競爭激烈的環境下，每家公司似乎都失去了定義問題的能力。」OpenAI 曾經定義過問題。現在，連 OpenAI 都被捲入它自己定義的競賽中。
謝賽寧糾結了大約一週。LeCun 的說法很直接：這對謝賽寧個人與公司來說都是更好的選擇，提供了建立團隊與路線圖的自主權。「我也非常、非常感激 Yann 能給我那份信任，」謝賽寧說。六位共同創辦人簽約加入，包括執行長、營運長、世界模型副總裁（原 JEPA 團隊總監）以及首席研究與創新官（來自香港的馮雁）。幾個人放棄了價值數千萬美元、尚未歸屬的 OpenAI、Google 或 Meta 股票。
為什麼？「我想也許我們都有點瘋，」謝賽寧笑道。但在自嘲之下是堅定的信念。「這是我們唯一能做這件事的地方。」使命不是追逐排行榜分數或產品週期。而是預訓練那「後半場」——建立機器人缺乏、穿戴裝置需要、具身智慧（Embodied AI）所必需的大腦。
矽谷的批判
謝賽寧對灣區的文化氛圍保留了最尖銳的批評。「矽谷對 LLM 走火入魔了，」他直言不諱。「矽谷深陷大型語言模型的壕溝中——它被徹底催眠了。」這不僅僅是垃圾話。他在 Google Gemini GenAI 團隊兼職多年，親眼目睹了這些限制。
「整個 AI 產業現在有一個巨大的價值鏈，」他解釋。「頂端是『苦澀的教訓』，是 AGI 與 LLM 的敘事。這定義了一系列基準。所以你在排行榜上競爭。排行榜定義了資源配置。」如果你的目標是稱霸 LMSys Arena，你就只能將資源傾注在那場競賽中。「在這種價值鏈下，資源配置意味著他們無法進行這部分的研究，」即使研究人員知道這很重要。
影片理解是他的例子。「無論是學術界還是產業界，都沒有做太多，或者人們在做，但不是從根本的世界模型角度。」為什麼？「毫無例外，無論哪家公司，所有人都被分配到了影片生成模型團隊。」那是價值鏈中影片專業知識唯一能容身的位置。「儘管他們都知道我們還沒解決這個問題，我們需要一個更好的基於世界模型的影片理解模型，但人們沒有空間進行這樣的探索。」
人類傲慢的問題
對談接近尾聲時，謝賽寧對他所謂的「人類傲慢」充滿熱情——即假設人類智慧定義了智慧本身。他一直在讀靈長類動物學家 Frans de Waal 的《我們夠聰明來了解動物有多聰明嗎？》，發現許多所謂人類獨有的特質在其他物種中也存在。工具使用、鏡像自我識別、心智理論，甚至 de Waal 在《黑猩猩政治》中描述的黑猩猩之間的政治博弈。
謝賽寧引用 Rich Sutton 在 Podcast 中的評論，該評論引起了他的強烈共鳴：「你認為這些東西很棒、很令人印象深刻，它們很難嗎？我不這麼認為。我認為建立松鼠的智慧才是難題。」一旦你能建立松鼠的智慧——擁有自己的目標、內在獎勵、情緒、社會行為——「寫程式、去火星、去月球，那些事情反而會變得容易。」
從人類角度看這似乎很荒謬。但從宇宙的角度看，這是顯而易見的。「如果你拋開人類的傲慢，建立松鼠的智慧其實是一個更難的問題，」謝賽寧堅持道。而機器人技術成為了試金石。我們能製造出足夠可靠、能像 12 歲孩子處理家務那樣運作的東西嗎？目前的機器人擁有超人的肢體，卻只有嬰兒級的大腦。「沒有人在建造大腦。」
研究哲學
貫穿一切的是謝賽寧將研究視為本質上非線性的觀點。「最糟糕的工作是你的起始想法與結束想法一模一樣，」他說。「你沒有遇到任何障礙、任何困難。這說明你的想法很無聊。」好的工作需要兩個月的盲目探索，期間「你有一種潛在的憂鬱，因為你看不到任何光亮」，隨後在截止日期前的最後一個月突然收斂。
這種探索不能漫無目的。何愷明教他用 Excel 表格追蹤實驗，旨在最大化資訊增益——不能太稀疏（訊號不明），也不能太密集（無意義的雜訊）。「每個實驗都需要給你我剛才所說的這種梯度，」謝賽寧解釋。失敗的實驗往往比成功的實驗提供更大的梯度。「只要你不知道該往哪個方向走——那才是最可怕的事。」
創意源於這個過程，而非扶手椅上的空想。「如果你想透過單純的思考來獲得創意，那絕對不是好點子，」謝賽寧說，傳承了何愷明的觀點。要麼你比所有人都聰明（不太可能），要麼全球有 1 萬個人正在想同樣的事（你會輸掉競賽），要麼這是一個別人已經試過的壞點子（你會浪費時間）。真正的創意來自行動——重現基準、做出擴展、發現令人驚訝的觀察結果。
總結
謝賽寧目前每天走過華盛頓廣場公園，看著世界如其所是，將其儲存在他自己大腦運行的世界模型中，並以某種方式將其轉化為下一個架構、下一篇論文、向「下載人類」而非僅僅下載網際網路的下一步。這支位於紐約的 25 人團隊能否在業界的重壓下真正做到這一點，尚待觀察。但那份「必須有人嘗試」、且「當前路徑不足」的信念，燃燒在他說出的每一個字中。