Google DeepMind 訪談：姚順雨談 Claude 3.7 與 Gemini 3 的訓練、個人英雄主義的終結，以及為何 AI 本質上很簡單
2026 年第一季專訪：Google DeepMind 研究員姚順雨談大型語言模型的演進前沿
前言：矽谷的兩位「姚順雨」
小君：大家好，我是小君。今天我們的嘉賓是 Google DeepMind 的研究員姚順雨。在矽谷，其實有兩位非常有名的「姚順雨」。一位曾任職於 OpenAI，後來轉投騰訊擔任 AI 首席科學家，他之前也上過我們的節目。今天我邀請的是另一位姚順雨，他曾任職於 Anthropic，現在則在 Google DeepMind。我們將從近期模型領域的一系列巨大變化談起。讓我們進入對順雨的專訪。
姚順雨：大家好，我是姚順雨。顯然，還有另一位與我名字幾乎完全一樣的研究員，他目前是騰訊的 AI 首席科學家，也是前 OpenAI 研究員。我們的職涯路徑有些重疊，所以外界可能很難區分我們。我最初是學物理的，在清華大學讀本科時研究凝聚態物理理論，後來去史丹佛大學（Stanford University）攻讀理論高能物理、量子資訊和黑洞物理。離開史丹佛後，我在柏克萊（Berkeley）短暫做了兩週博士後研究，隨後便辭職加入了 Anthropic，在那裡待了一年。大約去年 9 月底到 10 月初，我加入了 Google DeepMind 的 Gemini 團隊。如果大家想區分我們，最大的差別在於另一位順雨從一開始就是電腦科學背景，而我是在研究理論物理後才半路出家進入這個領域。
小君：你們兩位是好朋友嗎？你們似乎從大學就認識，而且是同屆，對吧？你如何評價他和你自己？
姚順雨：是的，我們從清華本科時期就認識了。他從一開始就在電腦科學實驗班「姚班」學習電腦科學，而我在「基科班」學習物理。後來他去了普林斯頓（Princeton），我去了史丹佛。這可能是另一個讓人困惑的地方，因為人們通常認為史丹佛是電腦科學學生去的地方，而普林斯頓是物理學生去的地方，但我們剛好相反。我們確實很不一樣。我覺得他比我更有趣，我也從他身上學到很多。他花了很多時間思考人機互動和產品相關的概念。我們在矽谷時見面很頻繁，大概每幾週就會見一次，主要是聚聚、散步、閒聊、吃飯或打牌。即使在他回到中國後，我們每隔幾個月還是會通電話，交流近況。
小君：他有沒有試圖招募你加入他在騰訊的團隊？
姚順雨：他應該有過，但我認為這並不重要。就個人而言，我還沒想好下一步的長期規劃。我沒有加入任何中國公司，因為去年 9 月左右我離開 Anthropic 時，我最大的動力單純是想學習不同的東西。我並不執著於領導大型專案；我希望優先學習新的技術領域，這就是我選擇加入 Gemini 團隊的原因。
AI 競爭的轉變：競爭環境的拉平
小君：另一位姚順雨去年曾有名言，稱 AI 已進入下半場。你認為今天的 AI 處於什麼階段？
姚順雨：對我來說，所謂「上半場」和「下半場」的定義從來都不太明確。不過，AI 確實已經進入了一個階段：業界玩家不再過度擔憂模型能否達到某種能力，而是更關注目標問題本身是否定義清晰。一年前，當我在 Anthropic 時，每個人都焦慮於我們是否有機會追上或超越 OpenAI 的推理能力。今天，在 Google Gemini、OpenAI 和 Anthropic 等頂尖實驗室中，沒有人會真正擔心落後。現在更難的是弄清楚我們到底想讓模型做什麼。這需要極高的人類洞察力，並涉及重大的戰略押注。
小君：這是否意味著模型能力已經拉平並趨於同質化，導致在紙面上幾乎沒有差異化空間？
姚順雨：在紙面上，也就是在標準化公開基準測試中，大家確實非常接近。像 SWE-bench、AIME 或 IMO 這樣的標準化衡量框架，過去能清楚區分模型，顯示誰在推理或程式設計上更強。現在，頂尖模型都擠在同一個高水準區間，在複雜基準測試中通常都在 80% 左右，1% 或 2% 的差異更多是雜訊，而非真正優越性的訊號。儘管如此，使用者在日常體驗中仍能感受到差異。Claude 依然是目前用於工具使用代理（agent）最強大的通用模型。在純程式設計方面，其他競爭對手已經縮小了差距，而 Gemini 則在純推理和日常對話場景中表現出色。
小君：這些能力是企業刻意優先級排序的結果，還是工程限制的問題？
姚順雨：優先級排序是一個巨大的因素。過去，當模型差異在紙面上顯而易見時，對特定方向的投入意願讓團隊能投入必要精力來構建正確的資料管線和基礎設施。資料整理需要花費極大的時間和精力。目前，優先級排序和基本定義問題兩者皆有。當問題定義不明確時，實際的模型效能差異往往源於我們起初意想不到的因素。例如，多年前研究人員發現，在網頁資料上訓練的模型在編寫程式碼方面表現驚人。結果發現，因為 GitHub 資料的結構化程度和格式標準比一般網頁更高，預訓練資料的整體品質在無意中得到了提升。
產品護城河與 AI 助手的演進
小君：作為前線研究員，你如何看待近期圍繞 OpenClaw 等開源 AI 電腦操作代理的熱潮？研究界內部有什麼討論？
姚順雨：有趣的是，業界外部的討論似乎比內部更激烈。對業內人士來說，這種產品形態並不令人驚訝。在頂尖公司內部，研究人員早已構建過類似的內部演示和實驗；只是他們沒有將其封裝、打磨並作為大眾消費產品進行行銷。GitHub 上 OpenClaw 的早期程式碼並不特別乾淨，但它很重要，因為它向大眾證明了概念的可行性。在展示這種可能性後不久，OpenClaw 的創作者就加入了 OpenAI。各大 AI 實驗室會迅速跟進，將這些能力打磨成穩健的消費級產品。甚至在 OpenClaw 發布之前，Google 就一直在開發類似的代理，但大企業天然有更長的開發和發布流程。從技術上講，當 Claude 3.5 Opus 發布時，這些代理能力就已經可行了，因為它具備比同時代產品更強的工具使用能力。
小君：早期的代理框架（如 Manus）與較新的（如 OpenClaw）在定性上有何區別？為什麼它們都選擇將技術賣給 Meta 和 OpenAI 這樣的大玩家？
姚順雨：老實說，我還不完全確定定性區別是什麼，或者為什麼舊框架沒能取得同樣的病毒式成功；或許歸根結底是執行力和時機的問題。至於為什麼選擇出售，這說明 AI 新創公司若要長期生存，就需要護城河，而目前主要的護城河在於模型端。我們還沒看到任何面向消費者的 AI 原生應用成功建立真正的資料飛輪。除了開發者導向的代理編碼工具外，幾乎沒有純 AI 原生應用取得巨大成功。聊天機器人本身很大程度上是傳統搜尋引擎的互動延伸。它們滿足了類似的資訊需求，但提供了高度互動、迭代的體驗，能總結並提煉答案。
小君：這些應用封裝（wrapper）被模型公司收購，是否證明了新創公司無法輕易逃脫基礎模型提供商的引力？
姚順雨：目前，封裝類新創公司有兩條不同的生存路徑。第一條是透過高速成長達到逃逸速度。如果你成長得夠快，當模型公司追上你的產品形態時，你已經佔據了使用者的心智份額，並可以開始訓練自己的專用模型。Cursor 就是這種策略的典範。他們最初是 Anthropic 的無縫合作夥伴，但隨著 Anthropic 開發出 Claude Code 等開發者工具，Cursor 開始訓練自己的 Composer 模型，這使他們進入了高度競爭的關係。在生產力和開發者工具領域，市場通常是贏家通吃的動態，這對新創公司和模型提供商都造成了強烈的緊迫感。第二條路徑是在足夠小的市場中運作，讓大型模型公司懶得直接競爭。Midjourney 就是一個很好的例子。雖然像 Google 這樣的公司可以輕易分配資源複製 Midjourney 的功能，但市場規模不足以證明將核心通用模型的研發重心轉移過來是合理的。
小君：如果是你，你會選擇哪條路？
姚順雨：就個人而言，我很樂意放手一搏，去追求那萬分之一的巨大機會。但現實中，你無法一夜之間達成目標，所以先確保一個高收益的小眾市場通常是更務實的策略。關於收購，當大公司購買外部產品團隊時，一個顯著的好處是獲得頂尖的產品和工程人才，特別是在亞洲地區。雖然美國在尖端基礎模型研究上仍處於領先地位，但中國擁有深厚的優秀產品和工程人才庫。新創公司可以行動迅速、編寫粗糙的程式碼並推出實驗性功能。大型企業則面臨巨大的法律、品牌和資源限制，無法發布要求使用者電腦深層系統權限的高度實驗性產品。
縮放定律（Scaling Laws）與預訓練限制的迷思
小君：站在 2026 年第一季，你對未來一年模型領域的個人預期是什麼？
姚順雨：有太多令人興奮的可能性。在技術層面上，我非常推崇「以有限上下文長度訓練，但在推論時表現得如同無限」的哲學。這意味著在有限的上下文長度上訓練模型，但使其在推論時能處理近乎無限的上下文視窗。如果我們能做到這一點，將開啟全新的應用，例如一個持續的個人助理，它能不斷與你互動、動態評估對話、丟棄不重要的資訊，並在長時間內保留關鍵上下文。我相信我們今年在技術上絕對能做到。業界尚未對確切的技術路徑達成共識，但我們有多個有前景的想法，正在現實使用者場景下進行測試，以找到最高效的方法。
小君：你是否感覺模型改進的速度正在放緩？
姚順雨：完全沒有。很難量化速度曲線，因為如果你只看標準基準測試，隨著分數接近 100%，進步自然會顯得放緩。然而，使用者感受到的定性差異並非與基準測試的增長呈線性關係。在複雜任務上從 70% 提升到 75%，其可用性的飛躍感遠大於從 50% 提升到 60%。作為研究員，我個人的觀察是模型的基本學習能力正在增強。過去需要大量工程投入才能教會模型的任務，現在能以更少的摩擦實現。瓶頸不再是模型的學習能力，而是我們定義問題並構建高品質資料環境的能力。
小君：為什麼學習能力會增強？有些人認為預訓練的縮放定律（Scaling Law）正在撞牆。
姚順雨：我的經驗是預訓練縮放並沒有撞牆，我也沒看到任何停滯的跡象。當人們聲稱縮放定律達到極限時，通常是因為以下三種原因之一：要麼他們認為該範式的物理極限已到，要麼他們認為我們已經用盡了可用的擴展資料，或者他們只是在自己的實現中存在未被發現的錯誤。在絕大多數團隊撞牆的情況下，都是第三種原因。在這個行業，修復縮放科學或資料管線中一個微妙的錯誤，所帶來的進步遠超任何花俏的演算法技巧。當你遇到錯誤時，如果你認為範式是有限的，你就會宣稱自己撞牆了；如果你相信它能被修復，你就會繼續挖掘。這就是為什麼 Gemini 和 Anthropic 都做得非常出色的系統性問題解決能力如此關鍵。你必須設計乾淨的消融實驗（ablation experiments）來隔離並測試每一個變數。
小君：持續進步的主要驅動力是什麼：算力、資料還是演算法？
姚順雨：它們都有貢獻，但資料和算力高度相關；隨著算力擴展，你自然需要並吸引更多資料，反之亦然。演算法突破往往分階段出現。當你陷入概念瓶頸時，演算法突破絕對至關重要，因為它讓不可能變為可能，就像 Transformer 架構的發明一樣。一旦框架建立，演算法進步就會變得更加漸進，專注於提高計算和資料效率。在我們目前明確的預訓練和後訓練框架內，算力和資料依然是主要驅動力。然而，在多模態生成等尚未解決的科學領域，範式尚未固定，這使得演算法創新成為主導因素。對於自然語言，科學框架相對清晰，挑戰在於大規模的工程執行。
AI 編碼工具的爆發
小君：為什麼編碼成為過去幾個月 AI 模型發展最快的應用領域？
姚順雨：編碼有兩個巨大優勢，使其成為 AI 的完美場景。首先，它有高度客觀且定義明確的獎勵訊號。如果你要求模型編寫程式碼來實現特定功能，你可以輕鬆執行測試，看看輸入是否符合預期輸出。回饋迴圈是即時且明確的。其次，編碼在 GitHub 上有數十年積累的驚人資料基礎，提供了由優秀程式設計師編寫的海量高品質程式碼儲存庫。這使研究人員能夠構建高度穩健的模擬環境。從產品角度看，編碼的使用者需求相對單一且標準化。與社群媒體或遊戲不同，使用者的品味高度主觀且多樣，優秀的程式設計師通常對什麼是乾淨、簡潔、結構清晰且抽象良好的程式碼達成共識。這種共識使編碼產品的開發變得簡單得多。
小君：在你作為研究員的日常工作中，你的程式碼有多少比例是由 AI 生成的？
姚順雨：保守估計，我使用的原始程式碼中有超過 90% 是模型生成的。如果不那麼保守，接近 99% 或 100%。但我仍然花費大量時間審查、編輯和驗證邏輯，以確保它符合我的精確設計。軟體工程的核心已經從編寫語法轉向設計系統架構、定義邏輯，並為模型提供正確的上下文和參考檔案。模型無法編寫的程式碼部分正在迅速縮小。與 18 個月前相比，實現想法和執行研究實驗的效率提高了 20 到 50 倍。你可以並行執行多個實驗想法，讓模型監控執行結果並進行分析。這實際上讓我的工作時間更長、更緊湊；因為迭代週期太快，總有更多想法我想立即測試。在生成式 AI 領域，沒有人能輕鬆過關。如果你有自我驅動力並且對技術充滿熱情，這種節奏是非常嚴苛的。
小君：程式設計師最終會被 AI 完全取代嗎？
姚順雨：我相信那一天會到來，但這將是一個漸進、分階段的過程，而不是一夜之間解僱所有開發者。我們已經可以看到這種趨勢開始發生。AI 是一種高度中心化的技術；它賦予少數能力極強的人以不可思議的生產力，但可能會削弱普通、初階開發者的獨特價值。傳統軟體工程的最終結果可能是千分之一的人完成了過去整個勞動力做的工作，並獲得高得多的報酬。我給程式設計師的建議是擁抱這些新工具，並專注於學習如何有效地與 AI 協作。專注於高階系統設計、戰略規劃，以及理解你的技術工作如何整合到大型組織中。AI 可以寫出非常好的特定程式碼塊，但將一個龐大、模糊的專案拆解為可執行的模組化步驟，仍然是人類主導的技能——至少目前如此。
評估中國與西方 AI 模型的差距
小君：你如何看待字節跳動在多模態生成領域的近期成功，例如他們的 Seed 模型？這會給 Google DeepMind 團隊帶來壓力嗎？
姚順雨：這確實帶來了一些壓力，特別是對於直接負責多模態生成的團隊。然而，我不認為這反映了根本性的範式轉移。字節跳動歷來在使用者資料和產品工程方面擁有強大優勢，他們將這些細節執行得非常出色。多模態生成仍然是一個高度活躍的科學問題，訓練範式在業界尚未完全標準化。如果我猜測的話，字節跳動的出色表現來自於卓越的資料整理和對工程細節的一絲不苟。關於吳永輝領導字節跳動的大模型團隊，我沒有直接與他共事過，但從他過去在 Google 的貢獻和程式碼提交來看，他是少數仍然保持極其敏銳實戰技術能力的資深領導者之一。
小君：如果我們在 2026 年第一季對行業進行快照，中國與西方 AI 模型的能力差距是在縮小還是擴大？
姚順雨：絕對能力差距正在縮小，中國的模型開發者在面對嚴重的硬體和算力限制下，已經變得非常擅長構建具競爭力的模型。然而，他們是否能完全彌合差距或超越西方模型，仍然是一個懸而未決的問題。算力劣勢迫使中國實驗室在其他領域進行高度創新，例如模型蒸餾和多代理訓練系統。
硬蒸餾與軟蒸餾的動態
小君：Anthropic 的執行長最近批評一些競爭對手從他們的模型中蒸餾資料。你如何看待模型蒸餾的做法？
姚順雨：模型蒸餾是業界公開的秘密，但暴力蒸餾與聰明的「軟蒸餾」之間有很大區別。暴力蒸餾（硬蒸餾）是指簡單地獲取 Claude 等模型生成的大量輸出，並直接在這些 Token 上訓練自己的模型。從商業角度看，這是值得懷疑的；從知識角度看，這有點愚蠢，因為這表明團隊不知道自己想構建什麼；他們只是在複製別人的分佈以在標準基準測試中獲得更高分數。另一方面，軟蒸餾涉及在自己的專有資料生成管線中使用其他模型作為助手或評估者。這是一種迷人的科學方法。它有效地將一些中國實驗室變成了多代理訓練系統的先驅，因為他們將不同的模型分佈整合到一個連貫的訓練生態系統中。字節跳動的「豆包」非常有特色；雖然它可能無法匹配 Gemini 或 Claude 的原始推理智慧，但其即時語音生成可以說是世界上最好的。他們針對特定的消費者群體進行了深度優化，優先考慮低延遲和引人入勝的使用者體驗，而不是單純的基準效能。
小君：為什麼美國公司沒有同樣優先考慮這些即時消費者功能？
姚順雨：美國模型開發者的主要焦點是最大化工作效率和原始認知智慧。在中國，消費者側的關注點要強得多，致力於創造引人入勝並融入日常生活的產品。例如，豆包手機是一個優秀的產品概念，它能即時執行任務，儘管底層的技術開銷必須仔細優化，以確保執行模型的成本不會超過服務本身的價值。蘋果也在透過與 Gemini 的合作嘗試解決這個消費者助理空間，認識到雖然他們非常關心 Siri 和他們的 AI 策略，但他們內部的模型開發已經落後於前沿。
機器人技術與世界模型的未來
小君：人形機器人引起了很多關注。你對機器人領域有什麼觀察？它與大型語言模型的發展時間表相比如何？
姚順雨：我看過一些人形機器人及其定價；中國的硬體供應鏈非常成熟，這使得這些物理平台出奇地便宜。然而，在軟體方面，機器人技術仍處於「特徵工程」時代。機器人可以被優化以在高度特定的確定性環境中表現得非常好，但它們缺乏通用性。如果你訓練一個機器人摺衣服或倒水，這種能力不會自然地抽象並推廣到其他任務。語言模型已經跨越了那個關鍵閾值，即擴展基礎模型可以同時提升所有下游能力。機器人技術還沒達到它的「GPT-1 時刻」；我們還沒找出如何真正擴展物理動作模型訓練的方法。許多機器人實驗室現在正嘗試使用多模態語言模型作為基礎，訓練視覺-語言-動作模型來彌合這一差距。參觀這些實驗室非常有趣——它們比語言模型辦公室活躍得多，研究人員不斷地收集物理資料並控制機器。
小君：你對「世界模型」的定義是什麼？業界在這個術語上似乎存在重大分歧。
姚順雨：確實，問一萬個人就會得到一萬種不同的定義。學術實驗室構建的世界模型與我們專注的端到端模型有很大不同。對於 Gemini 來說，世界模型是端到端訓練的，因此它不僅僅是根據描述生成靜態影片，而是真正模擬物理場景。模型生成一個狀態，接收動作輸入，並將後續狀態預測為前一個狀態和動作的直接函數。它仍處於高度探索階段，我們對世界模型的最終形式尚未達成業界共識。
姚順雨從理論物理到人工智慧的旅程
小君：我們來談談你的個人背景。你在清華和史丹佛攻讀理論物理，之後轉向 AI。你是如何完成這種轉變的？
姚順雨：我出生在寧夏大武口一個小煤礦城市，但在小學時隨父母搬到了上海。我讀的是一所相對普通的中學，年輕時表現平平。我不是透過精英奧林匹亞競賽路徑進入清華的。高中時，我有機會選擇上海四大名校之一的普通班，或是格致中學被視為「弱勢」的物理競賽班。我選擇了弱勢班，因為我喜歡挑戰自己不擅長的事情。那個決定最終將我帶到了清華物理系。高三時，我大膽地給清華招生辦發了訊息，詢問為什麼只對北京學生開放自主招生測試。他們同意讓我們參加考試，我考上了。這教會了我一個巨大的人生教訓：大膽爭取機會，因為如果你不問，答案永遠是「不」。
小君：在清華和史丹佛，你研究凝聚態理論和非厄米系統（non-Hermitian systems）。你能用簡單的術語解釋這項研究嗎？
姚順雨：我試著用人類能聽懂的話來說。在基礎量子力學中，我們假設孤立系統經歷由厄米矩陣描述的么正演化，這意味著能量狀態在數學上是自洽的。然而，現實世界中的系統從未完美孤立；它們不斷與環境交換資訊和物質。這些是開放量子系統，由非厄米哈密頓量描述。在本科研究期間，我們注意到我們對這些系統的解析計算與數值模擬不符。我們最終發現，在非厄米系統中，能量本徵態可以在材料邊界物理積聚，這是一種我們系統地建模並建立了數學框架來描述的現象。那項研究教會了我一個直接適用於 AI 的關鍵教訓：不要太相信純理論，要使用數值模擬不斷驗證並完善你對複雜系統的理解。
小君：為什麼你在史丹佛讀博期間選擇離開高能物理？
姚順雨：高能物理非常美麗且具有智力挑戰性，但它發展到了一種理論在我們有生之年無法通過實驗驗證的地步。在沒有實證資料的情況下，該領域嚴重依賴數學自洽性和資深學者的主觀意見。我意識到我不想用一生去服務一個缺乏客觀、現實世界回饋的學術體系。我想從事能對世界產生積極影響、且有明確客觀成功標準的工作。在博士最後幾年，我探索了量子計算和 AI。我意識到量子計算的主要瓶頸是實驗硬體工程，這不是我的強項。然而，AI 是一個數位沙盒，你可以構思一個想法並立即執行數值實驗來驗證它。這感覺很像 19 世紀物理學的黃金時代，理論推測與主動實驗並駕齊驅。
在 Anthropic 開發 Claude 3.7 和 4.5
小君：你在 Anthropic 的旅程是如何開始的？在 Claude 3.7 和 4.5 的開發期間，文化是什麼樣的？
姚順雨：我在 Anthropic 有前學術同事，該公司歷史上聘請了許多理論物理背景的研究人員。當我在 2024 年底面試時，強化學習團隊非常小——核心團隊大約只有 10 到 11 人。當時，大型語言模型的 RL 還很不成熟；OpenAI 的 o1 還沒有公開發布，大多數實驗室仍在試圖弄清楚如何使大規模 RL 穩定。團隊經理也有物理背景，他邀請我解決這些縮放挑戰。我使用 Andrej Karpathy 的 nanoGPT 等開源專案親手構建了自己的基礎 GPT 系統來準備技術面試，並在不久後加入了團隊。
小君：是什麼讓 Anthropic 在那個時期成為一個獨特的研究組織？
姚順雨：Anthropic 擁有高效的自上而下決策結構。因為像 Jared Kaplan 和 Sam McCandlish 這樣的核心技術領袖也是公司共同創辦人，他們擁有巨大的技術信譽和企業權威。當他們收到明確的技術訊號時，可以瞬間使整個公司達成一致，全力押注於特定目標，例如優先考慮編碼能力。這是其他公司很難複製的。在 OpenAI，內部政治鬥爭破壞了這種一致性；而在 Google，組織歷史上更傾向於自下而上且分散。Anthropic 的共同創辦團隊在 OpenAI 時期就並肩作戰，建立了深厚的信任，這使該組織保持了極高的反應速度和專注度。
小君：Claude 3.7 是如何開發的？你在該專案中扮演了什麼角色？
姚順雨：在 Claude 3.7 之前，後訓練很大程度上是一個修補預訓練模型的過程，而不是一個獨立的可擴展範式。突破點在於業界弄清楚了如何利用具有明確回饋訊號的乾淨、客觀環境（特別是軟體工程環境）來擴展強化學習。Claude 3.7 的核心開發大約花了四到五個月。我的工作重點是大規模 RL 的演算法穩定性和構建模組化訓練環境。然而，這種規模的 AI 開發是一項龐大且高度協作的系統工程。AI 的個人英雄主義時代已經結束；技術是一股勢不可擋的浪潮，研究人員只是試圖抓住浪尖的衝浪者。如果某個人沒有做出特定發現，資金充足的實驗室中的另一個團隊幾週後必然會做到。
對比 OpenAI、Anthropic 與 Google DeepMind 的文化
小君：你為什麼決定離開 Anthropic 加入 Google DeepMind 的 Gemini 團隊？
姚順雨：有幾個因素。首先，Anthropic 成長非常迅速，在我任職期間人數翻了一倍多，達到近 2,000 人。這種快速成長帶來了顯著的文化稀釋和內部摩擦。我個人不喜歡那種整天在 Slack 上談論宏大、抽象原則，而不是做實事——即實現想法所需的艱苦、細緻工程工作的文化。其次，我不同意 Anthropic 領導層推動的日益極端和情緒化的反華政治立場。最後，Anthropic 高度專注於狹窄的產品集，這意味著他們不投資低階基礎設施研究或多模態生成。我想向更多的人類大腦學習，並擁有自由探索多樣化研究方向的空間，而 Google DeepMind 為這種規模的研究自由提供了無與倫比的環境。
小君：許多研究人員離開 Google 是因為他們覺得公司結構太慢或太受限。為什麼你有相反的觀點？
姚順雨：這完全取決於你想要什麼。如果你的目標是立即將你的特定想法強加於消費產品，Google 的龐大規模和複雜的發布流程可能會讓人非常沮喪。但如果你的目標是研究自由，並能接觸到跨越龐大技術譜系的頂尖工程人才，沒有比這更好的地方了。Google 的技術儲備是無與倫比的。此外，OpenAI 的早期成功實際上透過喚醒這個巨人拯救了 Google。它迫使 Google 重組並簡化決策流程，將預訓練轉化為高度紀律化、可預測的工程過程，這完全在 Google 的舒適區內運作。
為什麼 AI 研究本質上很簡單
小君：你曾發表過爭議性言論，稱 AI 本質上很簡單，不需要卓越的智慧。你能解釋一下你的意思嗎？
姚順雨：在物理學中，如果你在特定能量尺度上沒有實驗資料，你就根本無法繼續。AI 不面臨這種根本性限制。這是一個高度經驗性的領域，我們並沒有被缺乏想法所阻礙，而是被測試我們已經擁有的數千個想法所需的時間和算力所限制。它本質上很簡單，因為你不需要天才般的、範式轉移的洞察力來取得進步；你需要的是在執行中異常可靠、注重細節且系統化。你必須編寫乾淨的程式碼、消除微妙的錯誤，並仔細分析你的經驗資料。大多數突破都是集體、紀律嚴明的工程結果，而非個人天才的產物。
小君：你如何設計面試流程來識別可靠、高品質的 AI 研究人員？
姚順雨：我設計了一個面試任務，要求候選人在 24 小時內從零開始構建並訓練一個完整的強化學習專案。他們必須選擇模型、資料和演算法，然後與我討論他們的實現過程一小時。在現代 AI 時代，編寫原始程式碼很容易，因為候選人可以使用 AI 來完成。真正的考驗是他們是否真正理解自己構建的系統。如果他們盲目地讓 AI 生成一切而沒有深刻、系統的理解，他們會在我們的技術討論中立即失敗。這也考驗了他們的奉獻精神和渴望——他們是否願意通宵達旦，在嚴格的限制下交付卓越的結果。
工程領導力與管理大規模 AI 專案
小君：不同的實驗室如何組織研究團隊來管理預訓練與後訓練之間的權衡？
姚順雨：Anthropic 和 Google 都為預訓練和後訓練維持了獨立、專門的團隊。OpenAI 的結構歷史上更流動，有時甚至混亂，他們的後訓練、強化學習和產品團隊有時在職責上存在重疊。有效的組織結構最終依賴於擁有一位具備巨大信譽的技術領袖。這位領袖必須具備親臨前線、在出問題時解決關鍵技術火災的實戰能力，但也必須具備理解並支持他們自己可能沒想到的多樣化、探索性想法的包容力。Google 在這方面找到了很好的平衡，像 Koray Kavukcuoglu 這樣的領導者管理核心 Gemini 縮放專案，而 Demis Hassabis 則專注於藥物發現等更廣泛的科學應用。
小君：在自訂硬體（如 TPU）與業界標準 NVIDIA GPU 相比時，Google 的競爭優勢是什麼？
姚順雨：從純硬體角度看，兩者在大規模部署上並無本質優劣。GPU 的主要優勢在於其成熟的開源軟體生態系統，而 TPU 要求 Google 投入大量資金構建自己的自訂編譯器和基礎設施。然而，在數十萬顆晶片的規模下，這種軟體投資是完全合理的。架構設計哲學有很大不同。NVIDIA 的 GPU Pod 專注於相對較小節點內的超高速 NVLink 互連。Google 的 TPU 利用 3D Torus 網路拓撲，犧牲了一些成對互連速度，將大量晶片直接連結在單一叢集中。如果你的編譯器和資料分片策略編寫得足夠好以利用這種拓撲，你就可以實現巨大的記憶體容量，並顯著減少大規模訓練期間的通訊瓶頸。
LLM 範式的未來展望與給程式設計師的職涯建議
小君：對於今天進入 AI 領域的年輕人來說，這仍然是一個藍海機會嗎？
姚順雨：純自然語言處理和標準 LLM 縮放已不再是藍海；最後一班列車已經開走，格局由龐大、整合的工程團隊主導。然而，AI 是一個極其廣闊的領域。在多模態生成、物理機器人技術以及利用 AI 解決基礎科學和數學問題方面，存在巨大的機會。對於年輕研究人員來說，最好的選擇不是追逐今天最喧囂的趨勢，而是專注於明天未解決、被忽視的挑戰。
小君：你對未來有什麼個人規劃？
姚順雨：我可能不會永遠留在大型科技公司。我想繼續挑戰自己，尋找難題來解決，並學習新的技術領域。目前，我的首要任務是將我們的 ML 編碼和長視窗訓練系統推向高度穩定、可生產的狀態。一旦達成，我會尋找下一個要攻克的難題。
小君：我們節目的每位嘉賓都會推薦一本對他們影響深遠的書。你會向我們的觀眾推薦什麼？
姚順雨：老實說，我讀的書不多，也不喜歡讀傳統書籍。我讀的大多是專業研究論文。不過，我最近讀了諾貝爾物理學獎得主湯川秀樹的自傳《旅人》（Tabibito）。這是一本非常真實且令人寬慰的書，講述了一位極其成功的科學家在年輕時與自我懷疑和挑戰鬥爭的故事。如果你想要一本很棒的小說推薦，我強烈推薦日本小說《來自新世界》（From the New World）。
小君：謝謝順雨今天與我們分享如此直接且寶貴的見解。
姚順雨：謝謝。很高興與你聊天。