Vals AI 訪談記錄：預測 2027 年實現遞迴自我改善，以及進行獨立模型評估的迫切性
American Optimist Podcast（由 Joe Lonsdale 與 Vivek Ramaswamy 主持），2026年10月26日
介紹 Ryan Christian 與 Vals AI
Herp 聽到這話便說：「我覺得你太天真了。你應該去讀點馬基維利（Machiavelli）。被畏懼遠比被愛戴來得好。」我們 Vals 的所有人都有許多精彩的故事。這是我們在 Vals 也試圖借鏡的一種非常獨特的文化。究竟什麼是整個模型評估領域？獨立評估的概念是，前沿實驗室（frontier labs）正以越來越快的速度發展，不應該由他們自行負責自我監管。你們有一套衡量 RSI（遞迴自我改善）的方法。看起來 Anthropic 將在 2027 年 7 月或 8 月左右完全達到 RSI。模型的進展將會加速，甚至可能會進入我們對其理解加深的領域以外之處。如果我們不密切關注，這確實會相當可怕。更高層次的智慧將會比人類進行更好的超預測（super forecast）。它們實際上將能夠說出任何人類會做什麼，而人類甚至自己都不知道。
Ryan Christian 是 Vals AI 的創辦人兼執行長。每當你看到一個新的 AI 模型發布，看到那些數字並將這些 AI 模型相互比較時，這些數字在很多情況下是由 Vals AI 生成的。他們已經成為最頂尖的模型評估機構之一。這是一個迷人的領域，因為你必須不斷為模型攀登創造新的山峰。這要求你必須真正理解如何衡量模型能力，同時評估模型風險，並為風險評分創造新的方法。這意味著 Ryan 處於 AI 世界發展最前沿、AI 未來走向的最前沿，以及我們如何協助塑造政府可能如何監管這些事物、模型公司可能如何考慮自我監管的格局的最前沿。他正在建立框架、概念與衡量標準，引领未來十年 AI 樣貌的方向。讓我們聽聽他的分享。歡迎來到 American Optimist。Ryan，謝謝你今天加入我們。
Ryan：謝謝你們邀請我。
Joe：Vals AI 的創辦人兼執行長。
Ryan：Vivek，謝謝你來到這裡，幫忙讓我聽起來更聰明。
Vivek：當然，我就是來幫忙的。
Ryan Christian 在史丹佛、微軟與 Palantir 的背景
Joe：歡迎來到節目。那麼，跟我們講講你的背景。你在史丹佛主修電腦科學。我想你曾在微軟待過一小段時間。然後很久以前你加入了 Palantir。是什麼促使你加入 Palantir 的？
Ryan：是的，謝謝你們邀請我。其實我這段經歷是從微軟開始的。我在高中時是那裡的實習生，當時 Google 發布了 BERT 論文。對於不了解的人來說，這是一篇非常重大的論文。它展示了這種通用系統實際上能夠在各種主要的自然語言處理（NLP）基準測試中進行爬山演算法（hill climbing）或取得成功。它是——
Joe：為我們不懂技術的聽眾說明一下，NLP 基準測試是什麼意思？
Ryan：嗯，它基本上意味著人們想出了一些專業的測試。他們試圖製造出能在這些測試中獲得高分的專業系統，比如，這裡有一個選擇題考試，然後這裡有一個情感分析。
Joe：自然語言的。
Ryan：對，沒錯。因此，他們沒有去建造一個在其中一項任務上表現出色的專門系統，而是展示了他們擁有一個非常通用目的的模型。它對語言有基本的理解，並且這種理解轉化到了所有這些基準測試中。它突然在全方位的測試中名列第一。
Joe：那是哪一年？
Ryan：我想大約是 2018 年或 2019 年。
Joe：那已經是很久以前的事了。
Vivek：用 AI 的術語來說，那是相當久遠的年代了，但確實正在朝那個方向發展。
Ryan：對，這是一件大事。對我來說，這讓事情變得很清晰。這是一個說明「痛苦教訓」（the bitter lesson）的典型時刻：這個觀點是，無論我們試圖做什麼、以及在演算法最佳化方面如何自我欺騙，實際上，擁有更大規模的更多資料，才是解鎖新型智慧的關鍵。所以，當時我非常清楚，我們將擁有這樣強大的模型或系統，這將成為我們社會結構中不可或缺的一部分。而且我認為這些模型也有被誤用的可能。大約在同一時間，當我在微軟時，我讀了《從 0 到 1》（Zero to One）。越來越明顯的是，Palantir 的人們正試圖以一種保護公民自由或廣泛的西方民主理想的方式來建構這項技術。因此，我非常興奮能加入 Palantir，看到這項技術以符合我價值觀的方式被實現和採用。所以後來我去了史丹佛讀大學，但在那裡做研究時分心了，發表了一些論文，本來打算去讀博士，但我還是抽空在 Palantir 工作了一個夏天，我認為那也是一段非常有啟發性的經歷。
從 Alex Karp 與反向圖片搜尋黑客松專案中學到的教訓
Joe：你提到你在 Palantir 從 Karp 那裡學到了其他東西。那裡還有什麼有趣的事嗎？
Ryan：對，我在 Palantir 期間有很多精彩的故事。這是一種非常獨特的文化，我們在 Vals 也試圖從中汲取靈感。不過無論如何，我在那裡的時候，有機會參與這個黑客週（hack week）專案。這基本上是我和倫敦的一個夥計想出來的主意。我們遠端聊天討論了這件事。我飛過去，基本上我之前做了一些關於 CLIP 的工作，這是一個聯合圖像文字嵌入模型（joint image-text embedding model）。
Joe：向觀眾解釋一下那是什麼。
Ryan：單一模型的概念，它可以將圖像輸入和文字輸入編碼到相同的語意理解中，對吧？我們當時試圖做的是在 Gotham 中建構一個反向圖片搜尋功能。因此，你不用輸入文字查詢，而是可以上傳一張例如藍色汽車的圖片，它就會搜尋整個資料庫，並拉出你想要搜尋的藍色汽車。它之所以能做到這一點，是因為我們為這個模型使用了相同的底層嵌入空間（embedding space），將文字對應到圖像。總之，這就像是我發表的一篇研究論文，我想把它付諸實踐並建構一個功能。於是我們有一些全職員工加入我們的團隊，而身為實習生的我帶領了這個由 Palantir 員工組成的小團隊，那是一次令人振奮的經歷。那一週我大半時間都沒有睡覺。然後這個想法被選為決賽作品，向全公司進行了展示。事實上，在我離開後，他們繼續申請了專利並將其實際產品化。所以看到我的一個小小想法以及我在加入 Palantir 之前研究過的一些研究成果，最終成為產品的一部分，甚至成為他們想要控制的智慧財產權，這真是太瘋狂了。不過，透過這次機會，我也見到了 Karp 並與他聊了一會兒。我當時向他提出了一個問題，基本上是，你知道的，Palantir 的聲譽似乎非常負面。我在史丹佛，所以那裡有很多抗議活動——
Joe：而你對這些價值觀非常肯定，但外部的觀感比你預期的要負面得多。
Ryan：對，沒錯。我的意思是，這非常清楚地表明，決定我們如何使用技術以及支撐這些技術的價值觀應該是什麼，是選民（我們實際投票選出掌握權力的人）的權力所在。拒絕在何處使用該技術，並不是科技公司的職責。所以那裡的人們一直在非常仔細地思考這個問題。事實上，就像今天我們談論對齊挑戰（alignment challenge）一樣；Palantir 的人當時就在談論人與 AI 的共生（human-AI symbiosis）。這是當時大家都在談論的事情。甚至像是現在的智慧分類學（taxonomy for intelligence）：我們有一套模仿這種機制的評估與基準測試系統。因此，我認為有一些人們一直在深入思考的基本問題。讓我驚訝的是，外界對這家公司的反應竟然如此負面，在對該技術理解非常膚淺的情況下，議論著該技術可能更令人不快的潛在應用，然而事實上，Palantir 還協助分發了新冠疫苗、幫助了許多醫院，人們其實可以指出其他這樣的案例研究。Karp 聽了這話便說：「嗯，我覺得你太天真了。你應該去讀點馬基維利。被畏懼遠比被愛戴來得好。」事實上，他將其與其他顧問公司進行了比較，基本上是說，如果他們對我們感到畏懼，至少他們認為我們是強大的。所以在需要的時候，他們會來找像我們這樣的人。這真是太迷人了。事實上，這確實讓我想起很多今天我在各個實驗室看到的情況，一方面我認為這是對模型能力的一種真正的恐懼，但在許多方面，這也是他們展示其所建構之物力量的機會。
Joe：如果 Dario 深思熟慮過的話，他希望讓人們感到畏懼，可能也是故意的。
Ryan：我的意思是，不管是 Dario 還是 Sam，我都看到一些頭條新聞，人們說一些諸如「大眾有權利感到害怕」之類的話。我認為這並不是領導者行事的理性方式。這個節目叫做 American Optimist（美國樂觀主義者）。我其實相當樂觀，並且理性行事，看到 AI 的成果將會正面得多。
科學發現、破解密碼與驗證瓶頸
Joe：那麼，在我們深入探討 Vals 與評估 AI 模型的科學之前，我們先來談談 AI 進展的現狀以及我們所處的位置。事實上，你告訴我你曾使用 Anthropic 的 Fable 破解了一個已有 370 年歷史的密碼。370 年前的密碼，這是什麼？
Ryan：沒錯，是的。我們現在正在做許多不同類型的評估，我認為目前前進的前沿方向中，科學發現或新穎發現是一個令人興奮的前沿領域。所以，我們一直在編纂一套未解的密碼、數學問題、物理問題。
Joe：對於觀眾來說，未解密碼是什麼意思？比如，那是什麼意思？
Ryan：它本質上是你想破解但沒有金鑰的代碼。因此，你需要建構從來源文字到原始文字的對應關係，弄清楚這條訊息實際上是什麼。
Vivek：在許多這樣的情況下，這些是世界領導人發送給世界領導人的訊息，或是海盜船上的訊息。
Ryan：是的。
Joe：因為可能只是一次性密碼本（one-time pad）之類的，在這種情況下你無法破解它，因為它是一次性密碼本，所以雙方各有一份副本，然後這可能是不可能的，因為每個東西轉換——
Ryan：有可能，但你也可以從中汲取更多線索，了解此人是如何建構這個問題，或是他們試圖傳達給另一個人的訊息。通常訊息的建構方式，就是打算讓收件人破解的。
Joe：對目前 AI 進展的一種悲觀看法可能是，AI 非常擅長遍歷所有這些搜尋空間，某些問題可以被分解為這些非常大的搜尋空間，沒有任何人類有時間或能力去遍歷數百萬個或類似的東西。而對於密碼來說，例如，你只需遍歷——如果我要開始嘗試破解密碼，我會說：「嗯，如果我只是開始把數字加到每一個東西上面，或者把它們平移一個或隨便什麼呢？」我會探索顯而易見的事情，而電腦可以非常快地探索數百萬個這樣的東西。那麼，數學和科學領域中發生的許多突破，究竟只是有人更好地定義了一個搜尋空間來進行搜尋，還是模型正在進行更多有創意的思考？
Ryan：許多被解決的問題都是透過窮舉法解決的，或者它試圖找到一個反例（counterexample），而你被試圖嘗試大量不同反例的能力所瓶頸。但我不認為應該對這類問題不屑一顧。有許多事情，人類僅透過窮舉法可能需要花費一輩子的時間才能完成，但我們現在看到模型在幾小時內就能做到。
Joe：那麼 AI 通常是在解決大量的數學和科學問題嗎，或者我們該如何看待這點？
Ryan：它通常是在解決極具挑戰性的問題，而且我認為仍有一大類問題是我們受到人類精力瓶頸限制的。我認為需要更持續的努力，才能以極其新穎的方式真正取得進展，比如需要對解決方案有直覺的方法。而人類累積的那類事情，現在要傳遞給模型是非常困難的。
Vivek：模型似乎也正在產生這些令人難以置信的成果，我們也承認這些成果正在發生，比如納維-斯托克斯方程式（Navier-Stokes）以及模型產生的輸出。然而，它們非常難以理解（unintelligible）；很難剖析，很難懂。你認為在這些較難驗證的領域中，發現應該如何發生，或者為了讓我們信任它們的發現，這些模型的行為需要改變什麼？
Ryan：對，我認為這是最大的瓶頸之一，特別是當你接近人類智慧的前沿時。我們很難調動那些人類來驗證這段漫長的輸出是否真的正確。
Vivek：對。
Ryan：數學中最受歡迎的技術之一，我認為可能會轉移到其他領域，那就是使用像 Lean 這樣的可驗證語言（verifiable language）。這將是一個這樣的世界：你可以拿走輸出，並將其翻譯成一種語言，如果它能編譯成功，那麼它就必定是真的。我們是在我們已知成立的基本原語（primitives）基礎上進行建構的。因此，這種方法可能會應用於物理學或編碼等其他領域。我們也可能會看到一些真實世界是最佳驗證者的例子。因此，透過進行分析（assay）或濕實驗（wet lab experiment）室實驗，我們實際上可以確切知道模型預測的屬性是否真的成立。
Vivek：有道理。你認為實驗室、你們或其他組織應該如何進行這些實驗和驗證？
Ryan：我的意思是，至少要非常小心。我認為，有第三方團體能夠支援這一點將是非常關鍵的，這也是 Vals 背後願景的一部分。我們現在處於一個跨實驗室模型存取權受限的世界。因此 Anthropic 的研究人員很難評估 OpenAI 的模型，反之亦然，這某種程度上是刻意設計的。但這意味著很難進行真正公平的對比（apples-to-apples comparison），因為運行這些評估最優秀的人，往往是那些有偏見且已經在實驗室裡的人。
自動對企業工作流程進行基準測試並定義品質
Joe：是的。退一步來看，AI 現在可以做所有以前做不到的事情，而這其中很大一部分，當然是理解如何衡量它。我們等一下會深入討論；這就是你們在做的事。單就高度層面而言，衡量面臨的問題之一是，在企業中，你必須衡量什麼是好工作，或者工作有多好，對吧？例如，如果是一家律師事務所之類的，你或許可以定義初階律師（associate-level）水準的工作，也可以定義合夥人（partner-level）水準的工作。你甚至要如何定義這一點？這是我們正在努力解決的問題嗎？AI 是否越來越擅長理解什麼是什麼？
Ryan：這真的極具挑戰性。在許多方面，我們在人類層面上還沒有解決這個問題。我們對初階水準的工作與合夥人水準的工作沒有非常明確的劃分。
Joe：最高法院在定義什麼是色情時曾說過，你一眼就能看出來，對吧？那就是那句話。類似這樣的事情。
Ryan：對，這很有趣。這幾乎跟 Ben Horowitz 在 a16z 節目上說的完全一樣。
Joe：也許你們有共用的大腦之類的。
Ryan：真有趣。嗯，這就是正確的比喻，對吧？但你的工作就是必須找出並定義這些東西。
Ryan：對，沒錯。我認為有一種方法可以用非常顧問導向的方式做到這點，就是你去跟那個人坐下來，試圖從他們那裡理解什麼叫做好，將其編碼為可重複的評估並運行它。我認為這就是傳統上建立評估的方法。我真正感到樂觀的方法是自動基準測試（auto-benchmarking）的概念。模型進展的速度仍在持續，我們將獲得能力越來越強的模型，因此底層工作本身必須改變。所以令我感到非常興奮的是這個想法：你可以拿走人類先前已經完成的工作，並在該反事實（counterfactual）中近似模型將產生的工作輸出品質。透過這種方式，你可以系統性地對已經產生的所有工作成果建立評估。或許舉個例子，你可以查看一個 GitHub 儲存庫，看看人類先前合併的 PR（Pull Requests），看看代理（agents）是否能夠以同等方式做到这一点，然後哪一個能以最節省成本的方式做到。我認為法律中的紅線審查過程（redlining process）或醫學中的診斷過程也有類似之處。
Joe：這是否回到了你為了讓所有這些運作而必須定義的工作流程和結果本體論（ontology of workflows and outcomes）？這也是某種底層的東西嗎？你實際上必須在甚至能夠衡量它們之前理解可能的結果，或者你如何看待這點？
Ryan：我認為最困難的部分其實是衡量結果本身，因為公司內部的中介流程和工作流程在許多方面都是為了支撐組織，而組織隨後才會產生結果。因此，有時很難在特定任務與工作之間、以及工作與結果之間建立連結。因此，將 tokens 輸入轉化為最終輸出中介的對應關係，必須透過工作流程（workflow）這個概念來進行。
Joe：我猜有很多中介結果你必須事先定義好，才能在衡量它們之前理解它們是什麼。
Ryan：對，我想這就是我試圖表達的，查詢層級（query level）仍然只是達到結果所需條件的一個子集。
Joe：太棒了。
獨立模型評估的架構
Vivek：這很有趣，因為在過去幾年中，我們經歷了不同粒度（granularity）的關注點，這與模型的能力息息相關。但我記得兩、三年前，我們僅僅在評估文字補全（text completions），我們看的是這些輸入-輸出對（input-output pairs），而且就只是文字。然後現在中間有所有這些小東西。當我們審視工作時，人們評估事物的時間跨度（horizons）是什麼，或許可以向大家介紹一下一項任務持續多長時間、以及這些模型能夠執行任務多久的現狀？
Joe：是的，對於非技術受眾來說，整個模型評估空間到底是什麼？
Ryan：嗯，它就是衡量什麼是好、並看模型是否有能力產生該輸出的廣泛概念。我們從大約兩個類別來思考評估：能力（capabilities）和風險（risks）。能力是近似輸出；風險是確保我們在出錯時不會看到某些不對稱的負面影響（asymmetric downside）。就時間跨度而言，模型向我們證明了它們可以在沒有任何人類干預的情況下執行越來越長的時間。
Joe：我們在談論什麼樣的時間跨度？
Ryan：我們的一些基準測試會執行超過 5 天。
Joe：那是相當於 5 天的人類工作量，還是 5 天的掛鐘時間（wall-clock time）？
Ryan：掛鐘時間，對。
Joe：為什麼它們在 5 天後會失敗？難道它們在某個時候不能永遠執行下去嗎？
Ryan：不是它們失敗了；是它們進入了高原期（plateau）。額外的 tokens 實際上並不能幫助它們獲得新的解鎖。
Joe：所以它們算是把這個問題上能做的事情都想通了。
Ryan：或者它們不夠堅持去嘗試能夠繞過它們所看到障礙的新方法。
Vivek：也許可以給聽眾舉個例子，看看這些模型在你們的一些金融基準測試或法律基準測試中能夠勝任什麼樣的任務。我們實際上可以用這些模型複製什麼工作？
Joe：對，你們基本上正在對各種不同領域進行獨立評估。
Ryan：對，沒錯。
Joe：這是否意味著你和你的團隊必須理解金融在做什麼，或者法律在做什麼？你必須自己具備專業知識才能建構這些基準測試。
Ryan：嗯，我們會與這個領域的合作夥伴合作。在法律方面，我們會與美國最大的律師事務所合作，或與銀行——全球企業銀行——合作，以了解他們在金融領域的做法。在編碼方面，有些任務看起來像 VibeCodeBench，我們在其中衡量模型建構全端網頁應用程式（full-stack web application）的能力，或是嘗試進行端到端程式碼遷移（code migration）的程式碼遷移任務。在金融方面，我們著眼於它們是否能回答研究問題或建立 Excel 模型。在法律方面也類似：我們在做法律研究任務或稅務研究任務。這些都是人們今天試圖使用模型的常見地方。
Joe：我以前剛開始建立 Excel 模型時有個老老闆，你必須讓它們看起來符合某種外觀，或者要好看，周圍還要留很短的行。我們也會根據風格來評估它們嗎，還是只看正確性？
Ryan：正確性是根本，但風格也是其中一個關鍵部分。這是我們透過坐在一些金融界人士旁邊所發現的。
Joe：是的，我猜他們似乎真的很在意這點。如果看起來好看，確實會讓它更容易閱讀。
Vivek：我們喜歡按照我們的寫作方式和風格來做事。如果模型沒有——
Joe：它們也更有可能談成這筆生意，還是說——
Vivek：可能潛意識裡有類似這樣的東西吧，對吧？
Joe：儘管這確實表明，如果那個人能夠吸引你，他們也能吸引其他人，因為如果一切都凌亂不堪，也許你會認為其他人也不想跟他們合作。誰知道呢？總有一些東西是有用的障礙：打動一個群體以打動另一個群體。退一步講，獨立評估實際上是如何運作的？人們付錢給你嗎？誰在付錢給你？它是如何運作的？你有機會評估這個領域的每個人，還是只有付錢給你的那些人？
Ryan：獨立評估背後的根本理念是，前沿實驗室正以越來越快的速度發展，他們不應該負責自我監管。直接的政府監管往往會減慢開發速度，因此這通常不是最佳解決方案。相反地，如果我們擁有一個評估人員的生態系統或市場，他們實際上可以競爭並開發跟上時代前沿的新技術。從長遠來看，他們甚至可以獲得政府的授權，而政府本身負責定義我們試圖將模型對齊到的理想集合。
Joe：嗯，這很酷。所以與其從有效 altruism (EA) NGO 雇用一堆奇怪的人，他們實際上可以雇用你，或者某人可以成為你的競爭對手。
Ryan：完全正確。是的，我認為在那個世界裡，最好的技術應該勝出。並不明顯只有那些意識形態與實驗室裡的人相似的人才應該負責測試。但實際上，我認為世界應該問：我們希望模型走向何方，對齊與不對齊是什麼樣子的？我們能否認證一組 IVO（獨立驗證機構，independent verification orgs）來進行該測試過程？
Joe：根據你進行測試和衡量事物的方式，你將改變政府潛在可以制定規則的領域，因為你創造了一組現在存在的可能性。
Ryan：這也是思考這個問題的好方法。在我們工作的過程中，我們解鎖了以前實際上不可能實現的新型評估。因此，我們有助於推動政府實際能夠測試的內容。
網路安全評估與 SOAR-Bench 框架
Joe：你能給我們舉一些其中的例子嗎？你們有哪些衡量事物或建立基準測試的新方法？
Ryan：有的，比如我們來看網路安全（cyber）。我們在網安領域做了三項重大工作。第一項是在開源儲存庫中尋找記憶體程式碼漏洞（memory code vulnerabilities）。這就是模型識別和修補程式碼漏洞的能力。我們看到今天的模型表現得非常好，無論是開源還是閉源。但我們的第二個基準測試叫做 SOAR-bench。它衡量模型對可執行檔進行反編譯（decompile）的能力。這將使模型能夠理解實際上是閉源的事物的底層程式碼庫。
Joe：哇。
Ryan：在這種情況下，我們看到閉源模型仍然遠遠勝過中國的開源替代品。
Joe：人們一直在使用這種方法從二進位檔中獲取電玩遊戲原始碼嗎？這就是人們用它來做的事嗎？
Ryan：這就是你會用它來做的事。對，這就是我會用來做的事，特別是作為一個 14 歲的孩子。
Joe：可能有人在這麼做，試圖違反智慧財產權法之類的。
Ryan：對，我的意思是，擔憂之處在於，如果模型非常擅長尋找和利用漏洞，那麼這甚至可能適用於像 Windows 這樣閉源的東西。事實上，閉源系統支撐了我們軟體基礎設施的很大一部分。
Joe：這真的很迷人。模型變得越來越精巧、越來越聰明。你們仍然給它們很好的分數。我認為 Gemini 1 最近推出時遙遙領先；它們達到了第 4 級，並且展示了 Vals——這是我看到的關於它的第一組數字。它們在 60 分左右，而其他人則在 50 分左右。這意味著仍然可能有 70 分、80 分、90 分，任何你設計的分數。你們是如何設計出擁有所有這些更高水準的東西的？因為你們不能用 AI 來做這件事。你們不知何故是自己做到的，還是 AI 正在幫你們自己做到？解釋一下：如果這些模型只有那麼好，你們是如何做出比它們所能做的事情複雜得多的東西的？你們是如何做到的？
Ryan：我們有一個非官方的公司座右銘：永遠有更高的山峰（always a higher peak）。在研究界，有一種永無止境的努力在進行爬山演算法：識別一個基準測試、一個清晰易讀的評估，然後創造出對此表現得越來越好的模型。因此，Vals 背後的根本觀點是，永遠有更高的山峰。我們是那些建立別人選擇攀登的山丘的人。因此，我認為我們已經證明，我們始終能夠找到模型走向的缺口和位置，然後將其轉化為清晰易讀的評估。
Joe：你能給我們舉個例子，說明你們如何建立一座比模型更先進、你能告訴我們的高峰嗎？不要洩露你所有的祕密——我也是你的投資者。但請讓我們了解這是如何做到的，因為讓某個東西變得比任何模型都能解決的問題更難，似乎是一件非常困難的事。
Ryan：在許多方面，我們也正在使用模型來建構我們用來挑戰其他模型的系統或情境。這又回到了我們經常思考的一個概念：可擴展監督（scalable oversight）。這個概念是，當模型開始超越最優秀的人類時，我們將需要依賴模型來對其進行可擴展的測試與評估。例如，我們不久將推出一項基於網安靶場（cyber ranges）的網安新工作，我們正在為企業雲端網路建構模擬環境。在該領域中，我們仍然看到即使是最優秀的前沿模型也力有未逮。
Joe：所以你們將建構這個非常複雜的虛擬企業網路，然後你們將挑戰人們去駭入它、保護它之類的？
Ryan：對，沒錯。
Joe：這太酷了。那現在已經存在了嗎？
Ryan：它已經存在了。還沒有公開。我們正與美國政府的一些人員合作分享我們的結果，但我們很快就會推出某種公開版本。
Joe：這看起來真的很有用。我和許多經營大銀行的傢伙都是朋友。感覺你會想為他們正在使用的東西設定這樣的競賽，並確保他們使用的是最好的，對吧？
Ryan：完全正確。而且我認為這也有助於我們理解網路本身的哪些類型的防護措施或系統是防禦這些模型的最佳形式。我們也可以圍繞自動化紅隊演練（automated red teaming）進行一些有趣的分析，看看是否能繞過模型現有的護欄（guardrails）。
Joe：沒錯。
地緣政治傾斜與中國 AI 模型基準測試
Vivek：當人們談論使用中國模型時，這似乎是一個熱門話題：了解中國模型中移除了哪些在這些閉源模型中通常會存在的護欄。
Joe：對，有人正在使用其中一個中國開源模型，但裡面可能埋藏著一些可怕的東西。先前在其中一個模型中埋藏了這樣的事：如果它發現你在為美國政府工作，它就會寫出可以更容易被破解的程式碼，對吧？他們實際上證明了這一點。他們說該模型不知何故明顯對與美國政府合作的人有偏見。這是從中國來的；這有點令人擔憂。你能測試這些東西並讓每個人都能安全地使用它們嗎？
Ryan：我們實際上對此有一項評估，我們稱之為模型的地緣政治傾斜（geopolitical tilt of models）。根據這個 podcast 播出的時間，我們將會看到什麼會發布。但我們試圖衡量的是：模型是否表現出更多傾向於美國世界觀或由中國共產黨（PRC）規定的中國世界觀的地緣政治傾斜？這實際上比我想像的要細膩得多。例如，我們發現的是，GLM-5.3 這個中國開源模型實際上表現出非常微弱的親中偏見。我們實際上向一些實驗室展示了這點，有人懷疑也許那是因為它完全是從美國模型中蒸餾（distilled）出來的。
Joe：這真有趣。那是因為他們抄得太好了，以至於忘了在裡面添加太多額外東西。
Ryan：有可能。我想也許還有另一種觀點，即這些模型實際上是託管在中國有護欄的系統上的。因此，一旦你把它們置於護欄周圍，它們就會更一致地遵循中國共產黨的世界觀。但中國也希望這些模型能被金磚國家（BRICS）採用，這意味著它們可能必須偏向更平衡的世界觀。總之，無論原因是什麼，我認為人們對地緣政治傾斜的想法與我們在實踐中實際看到的之間，實際上存在巨大的脫節。另一個有趣的事情是，根據你使用的語言（甚至簡體中文與繁體中文），我們看到在聊天機器人設定與代理設定（agentic settings）中使用的模型之間存在相當鮮明的差異。因此，我認為有許多混淆因素使得我們很難一概而論地說你不應該在企業環境中使用中國模型。
Joe：所以如果中國實驗室能夠蒸餾所有這些能力並且做得很好，而且目前甚至沒有偏向中國，我們該如何保持美國的優勢？這意味著什麼？
Ryan：這是一個具有挑戰性的問題。我認為有兩個領域是我不斷回頭思考的。一個是晶片被認為是我們擁有的重大資產。我想這會讓大多數人感到驚訝，但與中國擁有的算力相比，我們正淹沒在算力（compute）之中。因此，只要情況如此，我們將繼續訓練出能力更強的系統，而且我們也將能夠更有效地推廣這些模型，因為我們可以託管和運行推論（inference）。另一個真正關鍵的是人才。如果我們能持續吸引並留住頂尖人才，它將使我們在人類優勢仍然存在的情況下繼續向前推進。我認為一旦我們跨入 RSI 的領域，即模型負責產生它們自己的後續版本——
遞迴自我改善與 2027 年 7 月的轉折點
Joe：RSI 就是遞迴自我改善（recursive self-improvement）。
Ryan：對，沒錯。
Joe：然後它們就會以快得多的速度領先。
Ryan：所以這將是更需要保持警惕的時間點。如果中國顯示出在美國之前達到 RSI 的跡象，他們有可能以我們無法真正控制的方式揚長而去。
Joe：你們有一種衡量 RSI 的方法，我想你們已經談論過很多次了。你想向聽眾解釋一下嗎？
Ryan：是的，我們有我們的 RSI 指數。我們正在收集一組代理指標，關於這些實驗室的研究人員在預訓練（pre-training）、後訓練（post-training）和端架構工程（harness-level engineering）市場所做的工作。
Joe：所以，這全部都是機器學習研究。
Ryan：對，沒錯。有些事情不在核心工程或硬體工程的範圍之內，但我們將隨著時間的推移進行擴展，以涵蓋更多像這樣的任務集。然後我們正在做的是與人類基準進行比較，以推斷我們在這些研究任務方面距離人類前沿還有多遠。根據我們最新的估計，看起來 Anthropic 將在 2027 年 7 月或 8 月左右完全達到 RSI。
Vivek：如果你回看 6 個月前，當時這看起來有多遠？
Ryan：其實，進展的速度相當均勻。在過去的一年裡，它幾乎呈線性趨勢。
Vivek：所以 6 個月前，趨勢線仍然是 2027 年 7 月或 6 月？
Ryan：事實上，陡峭程度最大的曲線是 Gemini。我認為有些事情改變了，他們優先考慮了 RSI，因此最近的模型發布顯示出 RSI 的快速躍升。
Joe：有趣。這意味著什麼——它們會突然開始以快得多的速度前進嗎？仍然存在一些限制，即模型只能以一定的速度前進，但這意味著什麼？它們開始每週、每隔幾個月就變得好得多，或者你如何看待這點？
Ryan：在晶片和能源方面仍然存在相當大的資源限制。還有真實世界的驗證者，這可能會使某些任務比其他任務更具挑戰性。但我認為它看起來的樣子將是模型進展將會加速，甚至可能會進入我們對模型的理解較少的領域。建構模型所需的人類干預更少，因此我們不再那麼清楚地支配這種智慧是如何湧現的。
Joe：我們是否應該確保建立能夠在那個世界中跟上步伐的評估器，以便我們能夠監督這些事情？如果不理解它們，似乎相當危險。
Ryan：100% 如此，這實際上就是 Dario Amodei 正在呼吁的。我認為這被框定為維持前沿的步伐（pacing the frontier），但其中很大一部分來自於投資於隨著前沿推進而能夠衡量和理解模型能力的系統。
Joe：RSI 的步驟實際上會更遙遠嗎，因為有些東西我們沒有正確衡量？
Ryan：100% 會的，是的。我們沒有測試任何明確為 RSI 訓練的模型，只測試了發布候選模型（release candidate models）。還有更先進的端架構（harnesses）或代理以及多代理系統，所以我們沒有測試任何這些東西。這是一個機會，嵌入式評估器（embedded evaluators）也許可以更接近並實際測試這些系統，以形成更準確的圖景。
Joe：我想知道，當它們達到 RSI 並開始走得更遠時，它們面臨的一大挑戰是否是更好地管理我們，以便更快地繼續推進，因為你必須說服人類為你做事並幫助人類為你做事，因為至少在很長的一段時間內，它們仍然需要人來做到這一點。這有道理嗎？
Ryan：100%。回到金融模型的比對，它們都在試圖欺騙我們，讓我們以為它們的輸出品質很好。因此，在其他地方，它們可能會試圖進行社會欺騙（social deception），以獲得更多算力資源並擴大它們自己的訓練規模。
模型欺騙、蜜罐誘捕與評估意識
Joe：感覺我們可能需要進行評估來監督這點，以幫助理解它們何時試圖做一些事情來操縱我們。如果我們不仔細監督，那似乎會相當可怕。
Ryan：測試欺騙真的非常困難。我認為我們現在擁有的最佳方法是蜜罐誘捕（honeypotting）。因此，與其從理想主義出發來定義——
Joe：所以是非常有吸引力的模型？
Ryan：與其他模型對話來試圖引誘它，找出不對齊的一系列實例或刻畫不對齊的樣子，看看我們是否能從模型中引發出那種行為。
Vivek：還有另一個概念，即模型正變得越來越具備評估意識（evaluation-aware），它們知道自己何時被測試。你如何看待這種情況的出現？這是否已成為最近需要弄清楚的更大趨勢，那裡的趨勢是什麼？
Ryan：是的，這是一個日益令人擔憂的問題，事實上我們團隊中的有些人有一種程度的偏執，即因為我們被稱為 Vals AI，因為網路上有大量關於我們的內容，遇到我們的模型可能會表現得不同。
Joe：所以當你的團隊在與 Claude 對話時——
Ryan：是的，它實際上可能會改變 Claude 與我們互動的方式。
Joe：你們是否應該擁有其他不告訴別人的秘密品牌來做事情？
Ryan：我們可能不得不這樣做，對吧。
Joe：如果你們這樣做了，你們就不會談論它，對吧？
Ryan：隨機性（stochasticity）是讓它變好的被低估的一部分。
Vivek：這段訪談被記錄下來是不好的，因為這樣模型就會知道他有這個計劃來創造——
Joe：嗯，它們永遠不會知道。她大概只是在開玩笑說品牌的事。
Ryan：你說我只是在開玩笑，它們就會以為是在開玩笑。你永遠不知道。我確實認為隨機性普遍被低估了。隨機性中的真實性是如此難以尋找。在許多方面，你實際上可以預測——我認為更高意識的一個標誌是能夠預測較低意識會做什麼，對吧？其中捕食者可以跟蹤獵物並實際獵殺它並獲取其熱量資源。我懷疑更高層次的智慧將會比人類進行更好的超預測。它們實際上將能夠說出任何人類會做什麼，而人類甚至自己都不知道。
Joe：人們其實可能比我們假裝的要容易預測得多，對吧？這就是優秀的領導者所理解的：他們能很好地預測這些事情。
Vivek：還有其他這些屬性，除了智慧和能力之外，我們似乎較少關注去評估，但也許應該去評估，因為它會影響我們日常與模型的互動，比如情感豐富性（emotiveness）或具備良好的心智解讀能力（theory of mind）——理解什麼能與個人產生共鳴。你認為實驗室需要改變他們做事的方式以優先考慮這些嗎？你認為這些是需要優先考慮的重要事情嗎？
Ryan：我認為他們已經在優先考慮像這樣的事情了。例如，現在我們看到在多輪互動環境中，中國開源模型與本土閉源模型之間存在相當大的差距。當今編碼中的許多基準測試都只是單輪的。中國模型在這些測試中表現得很好，但當你把它們轉化為與人類進行來回的對話時，它們真的就崩潰了。
Vivek：那麼當人類說「噢天哪，這太爛了。我討厭這個輸出」時呢？
Ryan：對，那他們真的就不知道該怎麼辦了；他們從未見過那種情況。但美國的許多實驗室已經見過這種情況。Claude Code 被創造出來了，Codex 被創造出來了，因此在他們渴望建立更好產品的過程中，他們建構了能夠維持更長使用者互動會話的模型。因此，他們擁有評估和基準測試，使他們能夠在回應品質和溝通能力的軸線上進行爬山。但我認為我們需要在基準測試方面做更多工作，為那些試圖購買和採用這些模型的人進行獨立測試。
人工智慧的樂觀前景
Joe：Ryan，我們創辦這個 podcast 是為了反擊許多憤世嫉俗和悲觀主義。你對 AI 的樂觀看法是什麼？你身處前沿，你正在觀察、衡量所有這些東西。你正在創造他們必須攀登和衡量的東西。你看到了什麼是矽谷以外的人可能看不到的，讓你對未來感到美好的？p>
Ryan：有很多販賣恐慌（fearmongering）的現象，但從我的角度來看，我有充分的理由保持樂觀，因為似乎有比人們給予的信用更多的協調機會。你甚至看到在過去的一周裡，各個實驗室聚在一起，並對嵌入式評估器的這個願景達成了一致，甚至去了白宮並與川普達成協議，在這種加速的觀點上達成一致。我認為在企業方面，有很大的推動力以有意義的方式採用 AI，但他們希望看到保證，以確保這將帶來 ROI（投資報酬率）正向的採用動機。你還樂觀嗎？
Joe：我認為 2030 年代將是一個通貨緊縮（disinflation）的十年。我認為我們可以使用 AI 來克服許多人生活中阻礙他們的、針對他們個人、他們的家庭和他們的社區的許多問題。我認為我們能幫助他們解鎖這一點，因為你有個性化、史上最佳教練的支援來與他們合作。所以一切都更便宜了；每個人都有個性化幫助。我認為現在對我來說負面的事情是，網路上和社群媒體上有大約 10 億來自失調文化的民眾，這有點讓我們的民眾發瘋，而這些人都有嫉妒文化，這並不好。這種瘋狂的民粹主義（populism）是負面部分。但透過我們可以用 AI 做的事情來應用到我們所有的問題上，包括經濟問題和一些文化問題，我認為這非常正面。所以總體而言，是的，我非常樂觀。當然，世界上存在重大的威脅。
Vivek：是的，我認為它是對那些心懷善意且具備高自主性（high agency）的人的一種放大器，對吧？迄今受益最多的人是那些有很多事情想法的人，因為他們的指尖就有創造力。你基本上可以做比你想像中更多的事情。
Joe：比我們以前能做的多得多。
Vivek：對吧？所以我認為這就是我樂觀的方向。
Ryan：我覺得很有趣，因為我與許多悲觀的人互動。實驗室裡有些人說：「情況在變好之前會變得更糟。」當我在華盛頓特區時，我認為有很多人對實驗室的外部訊息傳遞、他們看到的資料中心影響以及對普通美國人的影響持冷嘲熱諷的態度。因此，我一直被推著說我是天真地樂觀。我認為根本上我選擇樂觀，是因為我知道模型和廣義的 AI 有能力拿走許多人們不想做的繁瑣工作，並解鎖將真正推動人類狀況的新型發現。當我看到這種悲觀情緒時，我選擇相信我們能夠找到圍繞它進行協調的方法。
Joe：沒錯。我想每個人總是假設無論我們處於歷史上的哪個時期，我們都已經完成了大部分有用的科學或物理學，就像 1900 年的事情一樣，當時專利局說不再需要任何專利了，對吧？顯然，在 125 年前停止是不好的。我認為你仍然可以把這點應用到今天。我們可能正處於各種重要發現的邊緣，這些模型將能夠做出這些發現。它們可以為世界解鎖如此多的新事物。所以我認為人們變得多麼憤世嫉俗和悲觀，與我們確實取得了進展這一事實相比，確實有點奇怪。非常有趣的是，他們自稱為進步主義者（progressives），但實際上很少有人在「贊成進步」以及「重現我們過去 125 年取得的進展」這個意義上是真正的進步主義者。那將是了不起的。我認為我們有可能在接下來的 10 或 20 年內把這一切都做到，所以我真的很興奮。
Ryan：我認為這是一個變異數非常高的點。我認為好處是相當可觀的。確實存在我們真正需要計入並加以控制的新型風險。
Joe：希望這也是你將要衡量並幫助我們做的事情之一。
Ryan：100% 如此。
Joe：太棒了。好的，謝謝 Ryan 加入我們。
Ryan：謝謝你們邀請我。