Vals AI：遞迴自我改善指數顯示 Anthropic 將於 2027 年 7 月或 8 月達成「全面 RSI」，Gemini 近期增幅最為陡峭
創辦人 Ryan Christian 於 10 月 26 日在 Joe Lonsdale 主持的《American Optimist》Podcast 專訪中，勾勒該公司的 RSI 追蹤指標、全新資安基準測試，以及關於中國模型偏見令人意外的結果
Vals AI 的基準測試數據目前已出現在許多前沿模型的發表中，該公司正為 AI 領域最具爭議的里程碑之一給出具體時間表。創辦人兼執行長 Ryan Christian 表示，該公司的 RSI（遞迴自我改善，Recursive Self-Improvement）追蹤指數顯示，「Anthropic 將於 2027 年 7 月或 8 月左右達成全面 RSI」。遞迴自我改善是指模型能夠自行產生其後繼者的時間點。這項預估來自一家私人企業，Lonsdale 在對話中也透露自己是該公司的投資人。即便如此，這是目前公開流通的量化時間表之一，且來自少數能接觸多家實驗室模型的第三方機構。
RSI 指數的運作方式與其潛在盲點
Christian 表示，該指數收集了研究人員在實驗室內部進行預訓練（pre-training）、後訓練（post-training）及 Harness（評估框架）級工程時的代理指標（proxies）。它將模型效能與人類基準進行比較，藉此估算這些任務距離人類極限的差距。核心（kernel）與硬體工程目前不在評估範圍內，不過 Vals 計畫將其納入。
Christian 形容這條發展軌跡相當穩健，「過去一年幾乎呈線性趨勢」，但有一個例外。Google 的 Gemini 展現出最陡峭的曲線。「我想情況有所改變，他們將 RSI 列為優先事項，因此最新發布的模型呈現跳躍式成長，」他表示。
對於該方法的侷限性，他坦言這是一把雙面刃。Vals 僅測試發布候選模型（release candidate models），未測試明確針對 RSI 訓練的模型，也沒有測試先進的 Harness 或多代理系統（multi-agent systems）。當被問及這個日期是否會因未被測量的因素而延後時，Christian 回答「100% 會」。同樣地，這些盲點也意味著真正的日期可能會提前。晶片與能源的物理限制，以及某些任務對現實世界驗證的需求，也會限制進展複合成長的速度。
更具深遠影響的說法則是質性的。Christian 預期「模型進展將會加速，甚至可能進入我們較難理解的領域」，因為在模型建構過程中減少人類干預，意味著人類對智慧湧現過程的主導權降低。他認為這是推動「嵌入式第三方評估員（embedded third-party evaluators）」並讓其接觸內部系統的核心論點，並指出 Anthropic 執行長 Dario Amodei 也在「維持前沿步伐」（pacing the frontier）的口號下呼籲採取相同作法。
中國模型的偏見比預期更弱
在中國方面，Vals 的數據推翻了常見的假設。其全新的「地緣政治傾斜」（geopolitical tilt）評估旨在衡量模型是偏向美國還是中國（PRC）的世界觀。Christian 表示，實際情況「比我想像的要微妙得多」。中國開源模型 GLM-5.3「實際上展現出極其微弱的親中偏見」。當 Vals 將此結果展示給各實驗室時，部分人士懷疑該模型只是從美國模型蒸餾而來。Christian 提出了另外兩種解釋：中國模型在中國境內的護欄後方託管時，可能會更一致地遵循北京官方路線；而北京方面可能希望維持平衡的世界觀，以便模型能在金磚國家（BRICS）中獲得採用。
他也發現聊天機器人與代理（agentic）設定之間存在顯著差異，甚至在簡體與繁體中文提示詞（prompts）之間也是如此。他的結論是，「大眾對地緣政治傾斜的看法與我們在實務中看到的景象存在巨大落差」，這使得僅憑偏見為由全面禁止企業使用中國模型變得難以站住腳。
中國模型在其他方面仍暴露出弱點。Christian 指出，它們在單輪（single-turn）程式碼基準測試中得分很高，但在與人類的多輪（multi-turn）來回對話中「徹底崩潰」。憤怒的使用者是「它們從未見過」的情況。美國實驗室透過打造 Claude Code 與 Codex 等產品，已經針對持續互動進行了訓練。在更廣泛的競爭問題上，Christian 指出美國擁有兩大優勢。其一是算力：「相較於中國，我們被算力淹沒了」。其二是人才。他警告稱，如果中國展現出率先達成 RSI 的跡象，美國可能無法控制結果。
資安基準測試與未發布的範圍
Vals 已經建立了三項資安評估。第一項涵蓋識別與修補開源程式庫中的記憶體漏洞，Christian 表示，閉源與開源模型在此項目的表現都「非常、非常優秀」。第二項為 SORE Bench，測試模型反編譯可執行檔並藉此理解閉源程式碼的能力。美國的閉源模型「依然遠遠領先」中國的開源替代方案。Christian 將此風險歸納為：模型能夠在諸如 Windows 等支撐全球大半軟體基礎設施的閉源系統中尋找並利用漏洞。
第三項則是即將推出、基於模擬企業雲端網路範圍（network ranges）建立的基準測試。Christian 表示，即使是最好的前沿模型在該項目上也「有所不足」。該測試尚未公開，Vals 目前正優先與美國政府相關窗口分享結果。Christian 指出，自動化紅隊測試（red-teaming）分析也可以顯示出哪些網路防護措施最能防禦這些模型。
欺騙行為、評估感知與測量極限
Christian 坦言，檢測欺騙行為「非常困難」。目前最好的方法是「蜜罐防禦」（honeypotting），也就是對不對齊（misaligned）的行為進行特徵化並試圖引發它。他將「評估感知」（evaluation awareness，即模型識別出自己正在接受測試）描述為「日益嚴重的隱憂」。他團隊中的部分成員擔心，Vals 的名字以及網路上大量關於該公司的內容，可能會導致模型在遇到它時表現不同。Christian 表示，該公司未來可能需要採用不公開的身分進行測試。
他也提到，模型可能會嘗試「進行社交欺騙，以獲取更多算力資源並擴大自身的訓練規模」。這屬於推測性質，且該評論是以可能性而非實質發現的方式提出。這也正是 Vals 主張評估能力必須與模型能力同步擴展的原因。
獨立評估員模型與自動基準測試
Christian 認為，實驗室「不應該負責自我監管」，而直接的政府法規可能會放慢發展速度。他偏好的架構是一個具競爭力的評估員市場，政府最終可將其授權為獨立驗證機構。他指出，跨實驗室的存取權限在設計上受到限制，因此 Anthropic 的研究人員無法輕易測試 OpenAI 的模型，反之亦然。這使得同類相較（like-for-like）變得困難，因為最適合執行評估的人往往身處實驗室內部。
這次訪談並未多加著墨商業模式。Lonsdale 直接詢問誰在支付 Vals 費用時，Christian 以政策論述而非營收說法來回答。投資人應注意這個落差。不過，Christian 確實透露 Vals 正與美國大型法律事務所及全球銀行合作，定義法律與財務任務中的優良標準。其基準測試涵蓋 Excel 模型建構、法律與稅務研究、全端網頁應用程式及程式碼遷移（code migrations），部分運行時間長達 5 個現實天數。他說，模型通常不會在這種長度下失敗。它們會進入高原期，因為額外的 tokens 已無法再解鎖新的方法論。
Vals 最引人注目的方法論押注是自動基準測試（auto-benchmarking）。它不與實務工作者坐在一起編碼何謂優秀，而是從人類已經完成的工作中重建評估，例如 GitHub 儲存庫中已合併的 pull requests、法律紅線審閱（legal redlines）或醫療診斷。接著，它會測試模型是否能以何種成本複製出相同的輸出。Christian 表示，最艱鉅的部分依然在於將任務連結至工作流程，並將工作流程連結至商業成果。查詢級（query-level）的效能「仍然只是達成成果所需條件的子集」。
實驗室協調與 Palantir 的影響
Christian 表示，各實驗室在過去一週內就嵌入式評估員的願景達成共識，並在白宮與川普政府達成協議。他未提供細節，且此說法無法從對話中獲得驗證。在採用方面，他表示企業在承諾部署之前，希望獲得能產生正向回報的保證。
曾擔任 Palantir 實習生的 Christian 表示，該公司的企業文化形塑了 Vals。他回憶執行長 Alex Karp 在回應外界對 Palantir 名譽的擔憂時曾說過：「被恐懼總比被愛來得好。」Christian 在實驗室領導人的公開警告中看到了部分這類邏輯，他將其形容為一部分是出於真實恐懼，一部分則是展現權力。他稱這種訊息傳遞是領導者採取的不理性行為。他形容自己既樂觀又非盲目，並將前景稱為「變異度極高的一點」，既有可觀的上行空間，「也有我們確實需要評估與控制的新型態風險」。