謝賽寧：矽谷被「大型語言模型（LLM）」催眠——打造超越語言的世界模型
張小軍播客，2026年3月16日
2026年初，在白雪覆蓋的布魯克林公寓裡，謝賽寧（Saining Xie）正進行著人工智能領域最大膽的押注之一。作為紐約大學（NYU）教授，他與圖靈獎得主楊立昆（Yann LeCun）共同創立了AMI Labs，並剛以35億美元的投前估值完成了10.3億美元的破紀錄種子輪融資。儘管光環加身，謝賽寧仍堅持自己是「普通人」——並非天選之子，而是在職業決策中依靠他所說的「神秘邏輯」摸索前行，比起野心，他更多是被身邊的人和好奇心所驅動。
這場長達七小時的對談展現了一位研究者的心路歷程。十多年來，他一直在默默為他眼中的AI下一次躍遷搭建骨架：那是一種真正理解物理現實的世界模型，而非僅僅是柏拉圖洞穴牆上語言所投射出的影子。在矽谷，他認為業界已被大型語言模型（LLM）「徹底催眠」，這種反主流觀點使他與行業內最強大的敘事發生了直接碰撞。
語言模型的根本缺陷
謝賽寧對LLM的評價毫不留情。「我不認為LLM是『苦澀的教訓（The Bitter Lesson）』的成功案例，事實上，它們是對該理論的反叛，」他提到理查·薩頓（Rich Sutton）那篇著名的文章，該文主張AI應儘量減少人類設計的結構。他的推理直指語言本質，「語言不是思維導圖，而是一種溝通工具。」他解釋道，當人類寫作時，是將龐大的經驗壓縮成符號，這些符號旨在優化人與人之間的傳輸，而非捕捉現實的完整肌理。
這點至關重要，因為在謝賽寧看來，LLM的擴展定律（Scaling Laws）包含大量「水分」，即他所說的通貨膨脹。「語言模型的擴展定律基於知識的表徵，」他認為，模型為了顯得聰明必須死記硬背瑣碎的事實，導致參數數量膨脹。但一個真正的世界模型不需要記住維基百科的每一條目。「你不需要記住所有知識，你需要的是過濾和處理信息的強大理解能力。」決策本身比數據庫更重要。
技術論證更為深入。當你建模P(y)——即預測標籤或下一個token時，概率質量集中在低維語義空間中。但當你像視頻生成模型那樣建模P(x|y)時，「你賦予的似然性說明了哪些現象在現實世界中真正存在，哪些事物更可能發生，」謝賽寧解釋說。這迫使模型學習為什麼四條腿的貓比三條腿的更常見、為什麼運動應該平滑、為什麼物理規律限制了可能性。「現在你需要學習的東西，其蘊含的智能遠超從建模P(y)中獲得的內容。」
更根本的是，語言在離散的token中運作，而物理世界在連續、高維、充滿噪聲的空間中運作。「如果你用處理LLM的方式處理視覺，我就需要將每一幀token化，串聯成一個極長的序列，」謝賽寧說。「你拿走了背後的世界表徵——那裡實際上存在某種全局狀態——並將其序列化為高度冗餘的token。」Transformer隨後必須對每個token給予同等關注，這對於捕捉人類大腦皮層並行處理的空間結構而言，「本身就是不合理的」。
表徵的脈絡
要理解謝賽寧的目標，必須追溯他的研究足跡。他的研究歷程就像是對跨模態、目標和架構的表徵學習進行系統性探索。在2018年至2023年於FAIR（Facebook AI Research）工作期間，他與何愷明（Kaiming He）合作了MoCo系列，推動自監督對比學習，使其短暫地匹敵或超過了ImageNet預訓練。隨後是何愷明主導的MAE（Masked Autoencoders），這種更簡單的去噪方法也展現了可觀的擴展性。
兩者最終都遇到了瓶頸。「我們發現MAE簡直不可思議，它至少應該獲得最佳論文獎，」謝賽寧回憶道。「結果並沒有。而且擴展MAE本應解決所有問題，結果發現它也無法擴展。」計算機視覺領域無法破解語言模型所擁有的優勢：即從更多數據和算力到更好結果的清晰路徑。「目前視覺領域還沒有擴展定律，」謝賽寧承認，但他隨即轉向：「而且我越來越認為，視覺並不需要擴展定律。」
突破性的見解來自他2024年關於表徵自動編碼器（RAE）的工作。RAE不再在像素空間或壓縮的VAE潛空間中進行去噪，而是在DINOv2等自監督模型學習到的高維表徵空間中運作。「你的表徵層現在將變得非常高維，」謝賽寧解釋說，「你希望在這個高維表徵上進行去噪和圖像生成。」曾有學生質疑這種高維度是否會損害訓練，香港大學的馬毅教授站出來告訴大家：「你們絕不能害怕高維度。高維度是所有機器學習中極其重要的基石。」
什麼是世界模型？
當被問及定義時，謝賽寧變得興奮起來，他承認「世界模型」已成為一個寬泛到無用的流行詞。從技術上講，它是一個預測函數：給定當前狀態S_t和行動a_t，預測下一個狀態S_{t+1}。這一公式可追溯至1943年心理學家肯尼斯·克雷克（Kenneth Craik）首次提出人類維持內部模型以預測行動後果。60年代控制理論將其用於月球著陸器，強化學習則通過薩頓的Dyna架構採納了它。
但這個概念已經分裂。視頻生成公司自稱世界模型公司，專注於渲染具有連貫性的視覺序列——謝賽寧稱之為「世界模擬器」。李飛飛的World Labs追求顯式的3D空間表徵作為資產生成的前端，並從Autodesk獲得了2億美元的工業應用投資。這些很有價值，但並不完整。
謝賽寧和楊立昆正在構建的是他所稱的「預測大腦」——即智能本身，而非僅僅是模擬或空間骨架。「我們正在走一條無法通往真正智能的路，」他談到當前的路徑時說。「有人需要定義這個更大規模下的新問題。」核心要求包括：理解物理世界、大規模聯想記憶、推理和規劃能力、反事實推理，以及至關重要的——源於預測而非事後對齊（alignment）的可控性和安全性。
最後一點對謝賽寧至關重要。「LLM不可控，也不安全，因為它們沒有真正的世界模型，」他論證道。目前的安全性完全來自於針對「不該說或做什麼」的範例進行微調。但「真正的世界模型不需要這樣做，因為你可以預測你的行動會導致什麼後果。」一個拿著刀的機器人可以預見轉身撞到人的危險，而不需要數千個刀具事故的訓練範例。世界模型通過理解而非記憶來實現安全。
數據問題
如果語言模型以互聯網文本為食，那麼世界模型必須以某種方式攝取現實本身。「過去的時代是下載互聯網，」謝賽寧說。「現在的時代是下載人類。」一個四個月大的嬰兒所看到的視覺數據量，超過了訓練最強大LLM所使用的所有token總和——約30萬億token大約相當於YouTube上傳的30分鐘視頻。這種規模令人震驚。
儘管存在版權和服務條款的紛爭，YouTube成為了顯而易見的首要目標。「一邊在嚴防數據採集，阻止抓取；另一邊則想盡一切辦法獲取更多數據，」謝賽寧描述了這種貓鼠遊戲。字節跳動憑藉TikTok和抖音擁有的巨大優勢顯而易見，儘管他們也面臨法律挑戰。
但僅靠視頻是不夠的。謝賽寧設想了全天候可穿戴設備——AI眼鏡，能看到佩戴者所看到的一切，創造出第一人稱體驗的無限token流。目前最接近的類比是監測心率和睡眠的健身追蹤器，對壓力和恢復做出簡單預測。「如果我們想像有一種可穿戴設備能真正全天候開啟，實時看到我們所能看到的一切，」他沉思道，「我認為這具有巨大的潛力。」醫療監測、運動訓練、老年護理——所有這些都能受益於理解視覺背景和時間模式的模型。
DiT的幕後故事
謝賽寧最著名的作品「擴散Transformer」（Diffusion Transformers, DiT）源於他所說的研究中必要的「非線性」。2022年在FAIR，他和實習生Bill Peebles（現為OpenAI Sora負責人）開始探索擴散模型，以了解判別式學習與生成式學習之間的聯繫。最初的問題來自何愷明：「這是一個判別模型還是一個生成模型？」這是一個深刻的謎題，因為去噪在每一步執行判別式預測，但卻通過組合進行生成。
在兩個月裡，他們探索了表徵質量，發現擴散模型學習到的特徵還不錯，但「遠遠不如自監督學習——完全沒有競爭力。」隨後發生了轉折。「在最後一個月我們發現，順便說一下，我們的新架構確實比U-Net更高效且可擴展。」從代碼角度看，DiT體現了謝賽寧所說的「最小描述長度」——通過簡潔實現優雅。「如果你的代碼很短且能達到同樣的目的，你的方法通常會比需要數千行代碼的方法更好。」
拒絕Ilya兩次
謝賽寧未選擇的路徑始終縈繞在對話中。2018年，剛博士畢業的他與John Schulman在OpenAI面試，「在一個昏暗的小房間裡花了五六個小時解決一個問題。」手寫在紙上的問題打動了他。但FAIR有何愷明、Piotr Dollar和Ross Girshick——「計算機視覺的三大支柱。」當OpenAI的錄取通知到來時，「Ilya（Sutskever）打電話給我，我幾乎沒說什麼就拒絕了。」
Ilya Sutskever很生氣。「為什麼拒絕前甚至不討論一下？是錢不夠嗎？」謝賽寧語氣歉疚但堅定。在2018年，對於頂尖博士生來說，FAIR是更穩妥的賭注——更開放、更學術。「除非他們真的想做OpenAI已經在做的事情，否則我認為大多數人還是會傾向於FAIR。」
第二次拒絕發生在2024年7月，就在Sutskever創立SSI之後。他發郵件邀請謝賽寧加入。這一次他們討論了如何賦予AI愛的能力。「結論是這非常重要，」謝賽寧回憶道。「因為沒有它，我們將面臨一個非常不確定且危險的未來。」但當謝賽寧問及多模態時，Ilya的回答很果斷：視覺已經「解決得足夠好了。」
這種根本性的分歧決定了一切。「SSI有自己的基於語言的方法，那不是我想走的路，」謝賽寧解釋道。他不認為這是痛苦的競爭。「兄弟登山，各自努力，」他引用了一句中國諺語。「而且如果沒有最近LLM的發展，可能就不會有計算機視覺的現狀。」但兩者在智能需要什麼的問題上分道揚鑣。
與楊立昆的合作
AMI Labs的創立故事帶有謝賽寧決策風格中特有的神秘色彩。2025年底，一位經理暗示楊立昆在Meta似乎並不開心。謝賽寧的第一反應是不敢相信——AI教父要離開？兩週後在一次一對一會議上，楊立昆開口道：「還不要告訴任何人，但我已經決定了。我想做的事情應該在外面做。我想建立一家公司。」
謝賽寧詢問商業模式。「然後我意識到，哇，這與我想像的完全一致。」那是什麼？「我想你可以稱之為世界模型，或者其背後的邏輯是：我想做的事情，在當前世界上任何國家的環境下，包括在灣區，我認為都無法實現。」
矽谷批判
謝賽寧對灣區的文化時刻保留了最尖銳的批評。「矽谷非常『LLM上癮』，」他直言不諱。「矽谷深陷大型語言模型的戰壕中——它被徹底催眠了。」這不僅僅是口頭攻擊。他在Google的Gemini GenAI團隊兼職多年，親眼目睹了其中的限制。
「整個AI行業現在有著巨大的價值鏈，」他解釋道。「最頂端是『苦澀的教訓』，有AGI和LLM的敘事。這定義了一系列基準測試。所以你在排行榜上競爭。排行榜決定了資源分配。」如果你的目標是登上LMSys Arena榜首，你就只能將資源投入到那場競賽中。「在這種價值鏈下，資源分配意味著他們無法進行這部分研究，」即使研究人員知道它很重要。
他以視頻理解為例。「無論學術界還是工業界，都沒有做太多相關工作，或者人們在做，但不是從基礎世界模型的角度。」為什麼？「毫無例外，無論哪家公司，所有人都被分配到了視頻生成模型團隊。」那是價值鏈中視頻專業知識唯一能適應的位置。「儘管他們都知道我們還沒解決這個問題，我們需要一個更好的基於世界模型的視頻理解模型，但人們沒有空間進行這樣的探索。」
人類傲慢的問題
在對話後期，謝賽寧對他所稱的「人類傲慢」充滿熱情——即認為人類智能定義了智能本身的假設。他一直在讀靈長類動物學家弗蘭斯·德瓦爾（Frans de Waal）的《我們夠聰明去了解動物有多聰明嗎？》，發現許多所謂的人類特有特徵在其他物種中也存在。工具使用、鏡像自我識別、心智理論，甚至德瓦爾在《黑猩猩政治》中描述的黑猩猩之間的政治博弈。
這重新定義了AI的挑戰。理查·薩頓在播客中的評論引起了強烈共鳴：「你認為這些東西很棒、令人印象深刻，它們很難嗎？我不這麼認為。我認為構建松鼠的智能才是難題。」一旦你能構建出松鼠的智能——擁有自己的目標、內在獎勵、情感、社會行為——「編寫代碼、去火星、去月球，那些反而是簡單的。」
研究哲學
貫穿始終的是謝賽寧將研究視為本質上非線性的觀點。「最糟糕的工作是你的初始想法和最終想法完全一樣，」他說。「你沒有遇到任何障礙，任何困難。這說明你的想法很無聊。」好的工作需要兩個月的掙扎探索，期間「你有一種潛在的憂鬱，因為你看不到任何光亮」，隨後在截止日期前的最後一個月突然收斂。
目標不是影響力（Impact），謝賽寧對這個詞「有點反感」，認為它過於激進和男性化。他更喜歡漢娜·阿倫特（Hannah Arendt）的框架：研究是為了理解本身，傳播理解能創造共鳴，與那些理解你所理解的人產生一種「家庭感」。「能夠理解某些事情，並且我所理解的東西能對世界或AI的發展產生某種影響——我認為這是現在我非常關心的事情。」
滑雪隱喻
謝賽寧最近開始滑雪，並從中找到了創業的隱喻。「首先，滑雪是一項關於平衡的運動。其次，你必須無所畏懼，將肩膀指向斜坡下方，」他解釋道。本能會尖叫著讓你向後傾斜以遠離危險，但那樣保證會摔倒。「只有當你完全放棄恐懼，帶著足夠的勇氣，將肩膀指向斜坡時，你才會變得更加穩定。」
正如他引用的《JoJo的奇妙冒險》所言，人類的讚歌就是勇氣的讚歌。而勇氣源於陪伴。「你永遠不會獨行，」他借用了他鍾愛的利物浦足球俱樂部（Liverpool FC）的口號。克洛普（Klopp）對自己「不是特別的人」而是「普通的人」的描述引起了他的共鳴——一個充當團隊電池的角色，為他人充電，而不是搶佔聚光燈。
在創業和研究中，謝賽寧認為，即使在氣餒時也需要這種電池角色。「我每天都感到氣餒，」他承認。「我認為這已經成為了一種研究者的命運。每個人都有這種潛在的憂鬱，因為過程就像在黑暗無光的地方摸索。」只有在事情成功時，快樂才會短暫閃現——也許只有5%到10%的時間。
但當走過華盛頓廣場公園，看著人們過著與AI毫不相關的生活時，那種憂鬱就會消散。「我發現每天最減壓的時刻就是這大約5到10分鐘的步行，」他說。「世界很大。」或許這就是世界模型優於語言模型的最深層論據——前者至少渴望與那種廣闊、那種令人困惑的物理現實互動，而不僅僅是它所投射出的壓縮語言陰影。