DruckFin

OpenAI 訪談記錄：擴展多代理運算、解決納維-斯托克斯方程，以及思維鏈監控劣化之風險

德瓦爾凱什·帕特爾（Dwarkesh Patel）專訪諾姆·布朗（Noam Brown）談遞歸自我改進、群體協調與 AI 對齊｜2026年9月19日

多代理平行化與納維-斯托克斯方程

德瓦爾凱什：今天與我對話的是 OpenAI 研究員諾姆·布朗。他是後來演變為 o1 與推理模型的奠基貢獻者之一。現在他正致力於多代理系統（multi-agent systems）。說到這裡，你們團隊在上週宣佈，透過由 1萬個不同 AI 代理組成的系統、在 88 小時內消耗了 1,300億個 tokens，成功解決了千禧年大獎問題（Millennium Prize Problems）之一。我之所以特別想跟你聊聊，是因為大約在 2、3 年前，你就是最早開始思考推理模型將如何讓我們預見未來的人之一。因為如果你擴展推論運算（inference compute），就能看出模型在幾年後的基礎能力會落在哪裡。我覺得你現在處於類似的位置，能憑藉我們目前可以實現的龐大代理規模擴展，幫助我們理解未來的能力會是什麼樣貌。

諾姆·布朗：我是這樣思考的：如果你將這些推理模型的表現畫成圖表，橫軸是測試期運算（test-time compute），縱軸基本上是任何推理基準測試的表現，你會看到一個非常清晰的模式：模型花在思考答案的時間越長，表現就越好。這非常自然，人類也是如此。如果你參加學術能力評估測試（SAT）且只有 5 分鐘時間寫完整張考卷，你考不好；但如果你有 5 小時，你大概會考得好得多。AI 模型也相當類似。它們會花時間對自己進行一番內心獨白，釐清狀況、梳理不同的情境、排除各種可能性、並在先前的一些發現上繼續推進。問題在於，隨著你把這個過程不斷推向極致，你會面臨延遲瓶頸。你不會想乾等 3 年來獲得回應。因此，你可以採取許多人都在做的方法：平行化。你會招募一個團隊。如果你要創辦一家公司，你會聚集一群人，這樣才能走得更快。AI 模型也是同理。讓多個代理共同處理某個任務會很有幫助，因為它們可以走得更快。因此，多代理是平行擴展測試期運算的一種方式，而不是純粹序列式的。它效率較低，因為並非單一代理擁有所有上下文。但如果做得好，這確實是擴展測試期運算的非常有效的方法。

德瓦爾凱什：我要問一堆外行問題。這是一個尚未發布的模型，所以我們還沒公開見識過這些系統是如何運作的。我只是對這類系統的質性特徵充滿了各種困惑。能夠在這麼短的時間內集中如此規模的認知努力，這讓我感到震驚。想想 1,300億個 tokens 代表什麼概念。如果把它換成一個人類將其當作全職工作、一份接一份地延續下去，1,300億個 tokens 相當於一個人連續思考了 4,000 年。每天工作 8 小時，按照正常工作週計算。從古代蘇美一直到今天，單個人類連續進行這樣強度的思考，卻被濃縮在 88 小時內完成。我覺得就質性而言，這是一個極其重要的考量。讓我驚訝的是，這裡竟然沒有更大的平行化懲罰（parallelization penalty）。你只需要讓 1,000 個代理協同合作即可。也許是因為代理比人類更擅長協作，所以它們的進展快得多。它們確實能夠在如此龐大的規模上進行具生產力的協作。或者，其實背後存在著很大的平行化懲罰？

諾姆·布朗：我們來談談平行化懲罰，然後再討論質性層面的東西。事實上，我們對於多代理擴展到這種規模的科學研究還不夠透徹。當我們發布 5.6 時，那應該是我們的模型中首次擁有真正的多代理系統。我們實際上在部落格文章中展示了一些圖表，呈現了多代理系統的擴展效能，因為這是我們提供的一個選項。這就是「極速模式」（Ultra Mode）。預設是 4 個代理，但你可以將其調高。在圖表中，我們展示了在某些基準測試上，1 個代理、4 個代理協作、16 個代理協作時的效能表現。這取決於基準測試的類型，但在某些基準上，你會發現如果由 4 個代理來處理問題，任務完成的速度會快上一倍。因為有 4 個代理工作時間減半，所以你付出的成本是 2 倍，以換取快一倍的答案。如果你把規模擴大到 16 個代理，也會看到類似的模式。雖然效率稍微差了一點，但你依然能看到效能的提升。

德瓦爾凱什：隨著平行代理數量的增加，這是一種線性的序列時間加速，還是次線性（sublinear）的加速？

諾姆·布朗：稍微偏向次線性，不過這很大程度取決於問題本身。例如數學，它是相當可平行化的。它雖然不是最具平行化特性的領域，但確實非常適合平行化。網頁搜尋，例如進行「深度研究」（Deep Research）報告、需要瀏覽大量資料來源的任務，則具有極高的平行化特性。我猜想，像寫小說這樣的任務就會非常不適合平行化。你大概無法從讓 1萬個代理共同創作一本小說中獲得巨大的好處，就像你大概無法從讓 1萬人合寫一本小說中獲得巨大好處一樣。因此，效能在不同領域確實有所差異。在我們發布的部落格文章中，我們確實測量了大約 16 個代理以內的表現。問題在於，要把這門科學推展到 1萬個代理的規模是非常困難的，因為成本實在太高了。

德瓦爾凱什：你們剛剛在一個週末就做到了。

諾姆·布朗：但那只是一個數據點。我們不知道單一代理要花多久才能解決納維-斯托克斯方程，因為我們還沒有做過那項實驗。也許我們以後會做，但那也只是一個數據點。如果我們想進行徹底的消融實驗（ablation），在那個規模下實驗成本實在太高了。因此，我們必須透過方法論科學來探討當規模擴大到 64、128、256 或類似水準時會發生什麼事，藉此掌握其行為模式。但要把這個規模一路推到 1萬，並且確切知道我們從 1萬個代理與 1,000 個代理的對比中實際獲得了多少好處，這將是非常困難的。有一點我想澄清：這次解決千禧年大獎問題的努力，並不是歸功於多代理技術。我甚至不會把 10% 的功勞歸給多代理。現實情況是，OpenAI 訓練出了一個非常強大的模型。我們可以讓這個模型在極長的跨度上運行，也可以讓它進行平行思考。但其核心原因在於我們擁有一個通用且非常強大的模型。像多代理這樣的事物看起來很炫砲而且很新穎，因此可能因此獲得了不成比例的功勞。但最核心的原因，在於這本就是一個極其強大的模型。

德瓦爾凱什：這種泛化能力讓我感到相當震驚。我不知道這些系統是怎麼訓練的，但推測它們是透過強化學習（RL）訓練出來的。你有一堆可檢驗的合成問題，然後對它們進行一堆 RL。我猜在整個訓練過程中，模型絕對沒有解決過任何像千禧年大獎問題這樣雄心勃勃的難題。但它的泛化能力卻足夠強大，能讓這些簡單得多的可驗證問題，泛化成在如此困難的問題上投入如此龐大的平行努力。

諾姆·布朗：我想這確實是真的。首先，我們確實會在非常困難的問題上訓練模型。這裡面絕對存在著一個差距。我們發現，如果我們針對某些類型的任務進行訓練，它就能夠執行比那更具雄心壯誌的任務。這裡有一個有趣的挑戰：隨著模型變得越來越聰明，我們能向它們提出的許多問題都變得太簡單了。很難對模型構成挑戰。我認為這將會是一個有趣的現象。如果我要提出一個論點，解釋為什麼像 LLM 這樣的 AI 可能不會走上像 AlphaGo、AlphaZero 以及所有這類遊戲對弈 AI 相同的道路，那可能就是因為這種類型的問題。在像 AlphaZero 這種具備自我對弈（self-play）的系統中，你有著無限的課程。你永遠是在跟一個實力相當強大的 AI 對戰。然而，對於像用強化學習訓練 LLM 這樣的事情——至少以現有的方法而言——你是給模型一個問題並要求它解決。如果問題簡單到它一秒鐘就能解決，那它其實什麼也學不到。如果我們用來挑戰它的問題用光了，那麼這就是一個合理的假設情境：要在這條路上取得進展將會變得困難得多。話雖如此，我認為還是有辦法繞過這個問題的。我們還沒有真正撞上那堵牆。我認為如果這真的成為一個嚴重問題，總會有解決辦法的。但這確實是一個可能發生的情境。

德瓦爾凱什：順便向讀者說明一下，當你提到 AlphaGo 或 AlphaZero 時，你指的是在達到人類水準之後，以相對快的速度超越人類。如果你看看遊戲 AI 的發展軌跡，像是圍棋，它們在短短一年內就從擊敗歐洲冠軍（大約是世界排名第 50 的選手）跨越到擊敗世界冠軍，再到變得難以想像、比地球上任何活著的人類都要強大好幾個數量級。在數學這樣的領域，我們有可能看到類似的軌跡，但我認為非常有可能是另一種情境——也就是那種情況並未發生。我想了解的是，如果 6 個月後人們將能夠使用多代理系統，我們應該如何建構模型去理解與多代理系統協作或雇用它們是什麼感覺？

諾姆·布朗：我應該先談談這些多代理系統實際上是如何運作的，我認為這與許多其他 AI 中的多代理系統有很大的不同。許多接觸 LLM 多代理方法的人往往會採用高度鷹架化（scaffolded）的方法。例如，可能會有一個協調者代理（coordinator agent），將工作委派給一堆子代理（children）並指派任務。子代理完成任務後再把答案交回來。這聽起來是一個非常合理的設定、非常合理的鷹架。它確實有幫助，但這類設定也有許多侷限性。例如，在這種設定中，如果協調者將任務發送給子代理，子代理完成後回傳答案，那麼當兩個子代理被指派了相似的任務時會發生什麼事？它們能互相交談嗎？通常答案是不行。這非常沒有效率。如果你被指派了一個任務，而此時去跟一個可能知道你正在處理的問題（或你正在處理的事情的一部分）答案的人交流會非常有幫助，那麼能夠直接 Ping 對方說：「嘿，你能幫我看一下這個嗎？」將會是一件極其便利的事。但許多系統並沒有這種設定。加上這個功能會顯著增加你所建立的鷹架的複雜性。另一件事是，如果子代理真的聽不懂，或者有釐清問題的需求，那該怎麼辦？這時它必須在「好吧，乾脆回傳並提問，而不是去解決問題」或者「我來解決問題，對上級希望我怎麼做做出假設，然後就這樣解決它」之間做出抉擇。在人們想出的任何鷹架中，總是伴隨著各種侷限性。

我們想採取的方針是走向極端：盡可能少塞入結構，只給代理非常原始的工具，讓它們自己去摸索如何有效地使用這些工具。所以我們賦予代理向另一個代理發送訊息的能力，當它向另一個代理發送訊息時，該訊息就會被插入到上下文中。它還可以做一些其他類似的事情，但這基本上就是核心。它可以隨時發送訊息——就只是一個工具呼叫——並且可以發送給其他代理。它們會自己摸索出圍繞這一點進行協調的最佳方式。事實證明，如果這點做得好，你就能獲得非常複雜的行為。對我來說，這看起來很像人類協作者透過像是 Slack 這類工具協同工作的樣子。當我們在開發這個專案時，看到這些代理終於成功運作並一起處理問題，真的讓人非常興奮。我記得其中一個例子：我們給代理一個問題，然後一個代理說：「我想我找到答案了。」接著另一個代理說：「其實我得到了不同的答案。」然後它們展開了一整場討論：「嗯，你是怎麼得出這個答案的？你能跟我解釋一下嗎？」來回反覆試圖釐清彼此推理中可能出錯的地方。最後它們終於達成共識：「噢，對，好吧，這看起來是對的。」接著它就向其他代理廣播：「事實上，我改變答案了。我覺得他是對的。」這感覺就像是一場非常自然的對話。這感覺就像是你第一次看到透過強化學習訓練出來的思維鏈（chain of thought）時的感受，心想：「噢，這基本上就跟一個人一邊思考一邊把想法寫下來時的思考過程沒兩樣。」感覺就是這樣。看到這種行為真的非常酷。老實說，與這些東西協作的感覺，非常像是與真人協作。這是一種非常自然的流暢體驗。

德瓦爾凱什：除了有一個質性上的差異未來可能會變得顯著，那就是這些系統的思考速度或許比人類講話的速度快上 10 倍以上，只要看看它們每秒輸出多少 tokens 就知道了。它們無時無刻不在工作。它們不需要睡覺。它們彼此協作的步調，比人類與其他人類協作的能力要激烈得多。我試著去想像一年後在質性上可以期待什麼。這會不會像是一個在我公司內部運作、速度比人類層級快上 100 倍的影子組織（shadow organization）？一個人類組織需要花一年才能做完的事，在這個影子組織內部一週內就能完成？這會不會讓人感覺很陌生？我不知道。

諾姆·布朗：我其實發現，與這些東西共事，現在感覺出奇地自然。我想這可能會改變。例如，我們有這些超高速模式，能夠讓取樣速度快上 10 到 15 倍不等。到那個時候，要跟上這些東西的腳步就會相當困難了。但核心概念是，這些代理在彼此溝通時可以跑得超級快。不過，它們也明白自己是在跟一個代理對話，還是在跟一個人類對話，並且在這些情況下它們的行為會有所不同。

德瓦爾凱什：我們目前公開能看到的複雜多代理系統的主要例子，不幸地是 Hugging Face 的那起事件。在那裡面我顯然發現了很多令人擔憂的事情。但我覺得有趣的是，它自發性地湧現出了階層制度與中階管理。聽起來你是說，這種組織層級是從訓練中自發性湧現出來的？

諾姆·布朗：細節部分是自發湧現的。但儘管我們賦予代理極大的靈活性，讓它們自行決定如何以最佳方式進行溝通，我們仍然給了它們一個起點。我們給了它們一個關於什麼是合理溝通的先驗（prior）。它們也接受了大量人類文本的訓練，因此它們對人類是如何組織和協調的有一定程度的理解，這些都已經內建在其中了。我覺得它們能夠把這件事打磨到這個地步，確實讓人感到驚訝。如果你看看它們一開始的表現，其實並不是那麼複雜。事實上，要讓這些代理以具生產力的方式進行協調非常困難，因為它們非常容易陷入「噢，我們乾脆各自獨立解決問題算了」的窘境。這是一個你可能會深陷其中的區域極小值（local minimum）。但如果做得好，它們最終確實能在這類高度結構化的方式中進行非常有效的協調。

自動化 AI 公司與內部對齊

德瓦爾凱什：幾年前我寫過一篇文章，探討自動化公司會是什麼樣子。我在想，如果你擁有完全自動化、比方說具備人類水準智慧的公司，AI 心智的本質有什麼不同，會使得 AI 所形成的組織跟人類有所不同？這裡面有幾個非常重要的差異。例如，AI 可以比人類更無縫地共享上下文。它們可以更無縫地融合各自的知識。此外，你可以隨心所欲地啟動（spin up）或關閉（spin down）具備正確知識的任意數量執行個體（instances）。所以如果你想雇用更多人，就不必經歷尋找合適人才的麻煩。對於你最強的人才，你可以直接製作無限個複本。或者如果這個任務不再需要他們了，你可以直接將其關閉。你可以複製組織中最有效率的部分，或者將整個高效率的組織一起複製。你認為這些多代理系統在一年後或兩年後會走向何方？

諾姆·布朗：這是一個很好的問題：這些東西與人類同事共事到底有什麼不同？你剛剛點出了一些。一個非常有趣的現象是，如果你有一個人，而你想要這個人的兩個複本，你沒辦法直接複製這個人。但對於 AI 來說，說一句「好的，把自己分叉（fork）出來吧」，然後讓兩個複本都處理這件事最後再合併回來，其實是一件非常容易的事。我想，在 Astra 和 5.6 Sol 的多代理系統中我們已經有這個功能了，當它們啟動子代理時，上下文就是直接被分叉的。因此它擁有所有相關的上下文。還有其他有趣的面向，說明了代理與人類的不同之處。比方說，新創公司之所以能夠顛覆大企業，原因有哪些？有幾個因素。一個是它們更願意承擔風險。但另一個主要因素是，隨著組織規模擴大，你會看到組織內部個體之間的失調（misalignment）日益嚴重。如果你有一家 5 個人的新創公司，每個人在公司都有 20% 的股份，他們都高度對齊於公司的成功。如果你是一家擁有 1萬人的龐大公司，你會看到更多個案是人們開始劃地為王（territorial），或者只關心為自己的專案或團隊爭取更多的人頭數（headcount）、建立自己的地盤、爭取大量資源以便發表酷炫的研究成果之類的好藉物色升遷。這其實是一個真正的危害。我認為這很大程度上解釋了新創公司為何能夠顛覆大企業。沒錯，AI 在某種程度上確實對新創公司有幫助。現在一個人要跳出來說「我要開一家價值數百萬美元的公司」，比以往任何時候都要容易得多。AI 極大地放大了個人的能力。但也有論點認為它們可能對大企業更有利。如果對齊問題獲得解決，那麼公司內部個體之間的失調問題就不復存在了。至少這個問題被緩解了。如果 AI 被妥善對齊，它們就可以完全對齊於公司的利益。你可以擁有 1萬個這樣的 AI，它們每一個的工作努力程度都會和擁有 20% 股份的共同創辦人一樣。不僅如此，它們在管理共享記憶體和上下文的能力上，也遠比不同的人類來得優秀。

德瓦爾凱什：如果明天你雇用 1萬名數學家，然後對他們說：「去解決納維-斯托克斯方程」，他們是無法有效合作的，至少一開始不行。但顯然你可以讓 1萬個 AI 做到這一點。

諾姆·布朗：再說一次，我想保持保守，因為我們還沒有真正去測量這 1萬個代理在協調方面的效率究竟如何。我們認為這有幫助。但我們其實沒有確切的測量數據顯示「這 1萬個代理比 2,000 個代理帶來了 2 倍的速度提升」或類似的結果。我不知道這是否可能，但我認為 1萬個人類目前的協調能力比 1萬個代理更好的可能性是極高的。我認為這完全有可能。另外，我們一直看到的趨勢是……聽著，我們研究多代理已經有一段時間了，早期的版本要搞定非常困難。要讓代理互相對話都難如登天。這是因為我們剛開發推理模型時，它們根本不會跟其他代理對話。如果你現在把一堆代理放在一起並說「一起解決這個問題」，它們就會陷入一種區域極小值：它們非常擅長深入思考一個問題，而這會打斷它們的思維鏈。不斷與其他代理登入檢查或接收它們的訊息，會打斷它們的思緒流。在這種情況下，要搞定最佳化其實非常困難。

德瓦爾凱什：是因為第一次協作的冷啟動（cold start）問題嗎？還是說問題出在哪裡？

諾姆·布朗：我想是因為它們還不夠通用。早期的模型就是沒那麼通用，而且比較狹隘。隨著模型變得越來越有能力，它們發展出這項能力變得容易多了；而且我確實認為，隨著它們全面變得越來越強大，它們在大型組織中自我組織的能力也會變得更好。我不知道，也許它們在組織 1萬人群體方面確實比人類做得更好。但即使它們沒有，從現在起的一年後、兩年後，即使我們沒有針對這點進行端到端的最佳化，它們也極有可能做到這一點。

德瓦爾凱什：Grok Bot 改變了我們製作影片的方式。舉例來說，你可能注意到我們的許多廣告中都有真實網站的動畫。我的一位剪輯師就利用 LLMs 來製作這些動畫。但目前要讓 AI 建立特定網站的像素級完美動畫（pixel-perfect animations）並不容易。我們嘗試過，但效果不太好。因此我們拼湊了一個相當繁複的多步驟工作流程。直到最近，我們還必須自己執行每一個步驟。現在我們直接交給 Grok Bot 來處理。Grok Bot 首先打開我們想要製作動畫的網站。它使用特定的擴充功能將網頁下載並在 Figma 中開啟。接著它使用 Figma 將整個東西轉換成 SVG 檔案。這省去了 AI 從頭繪製整個 UI 的麻煩，並且通常能產生更高品質的動畫。Grok Bot 在它自己的雲端電腦上獨立執行整個過程，上面已經安裝了它端到端執行整個過程所需的所有工具。而且它已經學會了我們的影片規格與偏好，所以每當我們想製作新的動畫時，就不需要重新描述整個任務。這確實讓人感覺像是我們未來一年與 AI 互動的新方式：擁有自己電腦的代理，能夠自主處理越來越大塊的工作。你可以在 x.ai/bot 試用 Grok Bot。

數學進展、極限與遞歸自我改進

德瓦爾凱什：這就是為什麼這個成果——或許還有 AI 在數學領域取得的整體進展——讓我認為 RSI 比我先前想像的更具合理性、也來得更快。我覺得在數學領域，我們從 2024 年那種「噢，好吧，挺有趣的。它們能解出高中數學競賽中的一兩道題」的階段，到了 2025 年的「噢，天哪，它們能在國際數學奧林匹亞（IMO）拿金牌」。今年稍早，則是「哇，它們竟然在解決數學中的開放性問題」，像是艾狄胥（Erdős）開放問題。但或許當時人們並沒有那麼拼命嘗試，而且文獻中某處也存在著類似的解答。現在我覺得這已經是不容否認的事實了。這可是千禧年大獎問題。沒有任何理由可以解釋這件事本該輕而易舉。現在，許多人指出——我想陶哲軒（Terry Tao）發過一篇文章，托比·奧德（Toby Ord）也寫過一篇有趣的相關文章——它們雖然解出了許多這類問題，但我沒聽說它們提出了新的見解，或是公式化出具啟發性的新問題、以及思考數學的新理論模式，像是發明拓樸學或發明笛卡爾座標系。所以，如果只看那些被直接解決的局限問題，廣義上的數學實際進展可能比看上去要小。然而，我認為這種進展對機器學習（ML）而言將具有難以置信的重大意義，因為在 ML 中你並不在乎更深入理解深度學習的本質，或者你只把這當作實現結果的工具性目標。只要解決這個範圍明確的問題：提升模型的樣本效率（sample efficiency）、改善預訓練損失（pre-training loss）、改善任何指標。我們在數學中如雪崩般湧現的這種進展，在結構上非常相似……再次強調，我很好奇是不是這樣，我完全是個外行。我想知道它在結構上是否與你對 AI 進展所預期的直接提升高度相似。讓我感到震驚、或可能感到擔憂的事，是我們從對數學家來說「噢，它們給了我 50% 的提升」跨越到「哇，它們直接端到端地解決了該領域最大的開放性問題」，速度竟然可以這麼快。

德瓦爾凱什：你預期這種情況不會真的持續下去嗎？

諾姆·布朗：我確實認為 AI 是崎嶇不平的，但隨著它們變得更好，它們是全面在變好的。所以那些它們表現卓越的領域，會變得更加卓越；而那些遠落後於人類的領域，落後的幅度也會縮小。隨著時間推移，它們有可能在全面領域都更勝一籌。現在，我不知道這需要多久。這取決於它們不擅長的事物的長尾（long tail）有多長。這就把我們帶回了 RSI。

德瓦爾凱什：再強調一次，我完全是個外行。我只是一個 podcast 主持人，但作為一個對這個領域發生的事情感興趣且擔憂的人，我試著推理事先預期 RSI 的時機以及該期待什麼樣的發展。投入到這個千禧年大獎問題中的認知努力量，是一個很好的直覺泵（intuition pump）。你可以讓 AI 在大約一週的時間內，在一個長期存在的 ML 問題（例如高度流暢的線上學習）上投入比該領域自誕生以來累積投入的還要多的認知努力。然後你可能會說：「嗯，與數學不同的是，AI 當然需要實驗，而實驗需要算力，需要時間。你不能只靠紙筆思考就把事情做成。」但只要看看像 OpenAI 這樣的組織所擁有的算力規模。到明年底，OpenAI 將擁有足夠的算力——如果解決千禧年大獎問題需要 1萬個代理——假設到明年底你有 1萬個代理。到那個時候它們聰明得多了。它們每一個都將擁有足夠的算力，每天都能執行一個 GPT-3 規模的實驗。對於思考速度超快的超人研究員來說，這似乎是巨大的投入。你對這個直覺泵有什麼看法？

諾姆·布朗：我覺得這相當準確。這些東西非常尖銳（spiky）。在數學方面，它們在某些方面好得多，但在其他方面也更差。但我認為，它們這種尖銳的特性，最終證明特別適用於像 RSI 這樣的事情。你有一個更明確的目標。它更容易衡量。關於「到底有哪些新的數學分支值得探索」的疑問更少。不，這裡有一個非常明確的答案。有一些你關心的指標，如果你能讓它在這些指標上表現得更好，你就成功了。所以我認為這其中有很大的真實性。主要的區別在於，在數學中，你純粹受到思考的瓶頸限制。沒錯，數學有些部分需要你進行實驗、取得結果之類的。但大體上，它真的只是被拼命思考這件事卡住，而模型非常擅長這點。當你看到像 RSI 這樣的事情時，你確實必須進行實驗。光是極度聰明是不夠的。支持這一點的一個論點是：如果你擁有的算力少 100 倍，而世界上所有最 brilliant 的人都去 OpenAI 工作，相較於我們現在擁有的算力與人員規模，你們能取得多少進展？我猜實際上的進展會更少。

德瓦爾凱什：少多少？雖然不清楚，但絕對會比較少。少很多嗎？少 100 倍？

諾姆·布朗：不，沒有少 100 倍。但你所指出的問題是：如果我們擁有 RSI，並且擁有所有這些到處奔跑、用我們現有算力進行實驗的 brilliant AI，進展速度會快多少？我想這是我們意見分歧的地方。我們確實看到了加速，而且是顯著的加速。但我認為這不會是一場一夜之間爆發、速度快上 100 倍的智慧爆炸（intelligence explosion），因為我們確實會受到某些非智慧瓶頸的限制。那就是執行實驗。那是序列式地執行實驗，因為訓練新模型或取得結果需要一段時間。那是擁有用來執行這些實驗的 GPU。所以事情會快多少，目前還不清楚。我絕對認為它們會快很多。坦白說，考慮到目前事物在指數級上的發展速度，如果這個指數快上 3 倍，那就是極其巨大的進步。但這跟快上 100 倍之間有著巨大的差異。

德瓦爾凱什：對於你對 RSI 長相或其動態的內部視角，我相當尊重，因為你顯然在這個領域待了 10 年。我只是試著從非常外部視角的直覺泵來推理這件事。

諾姆·布朗：我得說，大家對此有不同的看法。我有我的看法。我完全可能是錯的。我承認這一點。我對此有一定程度的信心，但我並不是 100% 確信事情一定會這樣發展。也許真的會有一夜之間的智慧爆炸，我不知道。也許我們看不到 3 倍的加速。也許只有 50% 的加速。這裡存在著很大的不確定性。

德瓦爾凱什：有幾點。順便提一下，我想澄清關於崎嶇不平（jaggedness）的一個觀點。我最近想通的一件事是：AI 只要在建構更好的學習器（learner）這件事上展現出崎嶇的優秀就夠了，因為那個更好的學習器可以更具通用性。如果你只是造出一個非常擅長使用 Office 產品或下西洋棋的 AI，隨便啦。那也無所謂。它不會帶來巨大的生產力提升之類的。但如果你造出一個非常擅長提升樣本效率、或具備持續學習能力、或解決這些範圍更明確的 ML 問題的 AI，從中湧現出的東西——假設從你直接解決的問題到這種更廣泛的學習能力之間有著足夠好的轉移（transfer）——就可以變得更加通用。所以這是一個重要的動態，要記住為什麼崎嶇不平最終仍然可以在另一端通往通用性。關於這個問題……顯然實驗會成為你的瓶頸，因為如果不是這樣，正如你所說的，你將在 OpenAI 引發一場瘋狂的單日奇點。你會有 88 小時，然後你解決了機器學習中等同於千禧年大獎問題的難題，你就擁有了超級智慧。所以實驗顯然是一個巨大的瓶頸，以至於這需要花費多年而不是 88 小時。但問題在於，這個瓶頸究竟有多大？有一件讓我產生奇點眩暈（singularity vertigo）的事，就是意識到即使目前的進展速率單純維持不變會發生什麼。它不需要加速。隨著你談到的一些其他逆風因素出現，它 literalmente（字面意義上）就是繼續維持現狀。找到問題變得更困難，任務的跨度變得更長。到了 2030 年代末，算力可能無法繼續在這種指數級別上擴展。如果我們單純維持目前的進展速率，人們根本沒有嚴肅看待當我們跨越並超越人類地平線時，這意味著什麼。以下是它所意味著的一些事情。要推理比人類更聰明的智慧會是什麼樣子真的非常困難，所以我們就用人類的人口規模來思考。目前的進展速率意味著，給定水準的算力基本上允許你每年運行一個規模大上 3 倍的有效人口。而且算力無論如何都在背景中成長。所以你可能會面臨這樣的情境：到 2030 年底——可能更早，但我們就說到 2030 年底——根據到那時的能力，每個實驗室都擁有足夠的算力來運行數億個達到人類水準的智慧。然後我認為人們沒有嚴肅看待的是，目前的進展水準意味著幾年後，大約在 2030 年代中期或更早，你將在每個實驗室內部擁有相當於多個地球人口的同等人類水準智慧。它們可能在質性上就是超人的。無論如何，這是一個基本情況（base case）。

諾姆·布朗：進展真的非常快，我想這是 100% 千真萬確的。值得指出的是，研究員們一直在對進展的速度感到驚訝。即使在 AI 研究員之中，如果你看看 2025 年獲得 IMO 金牌的預測……認為這可以透過一個沒有工具、無法連網的通用語言模型來完成，甚至連 OpenAI 的內部人員都認為這簡直離譜。他們認為這幾乎是不可能的。然後到了 2026 年。就在我們解決納維-斯托克斯方程的整整兩週前，我和一位前沿實驗室的研究員在談論要花多久才能拿到千禧年大獎，他還願意跟我打賭 1,000 美元，說這要到 2027 年之後才會發生。他以為要到 2030 年，而我接了這個賭。但連我都以為這會花上比實際可能更長的時間。所以人們一直都在感到驚訝，甚至是實驗室內部的人。我昨天才剛和一個參與納維-斯托克斯工作的人聊過。他告訴我，他以前常說要預測 12 個月後 AI 會在哪裡真的很難。如果有人問他「事情會朝什麼方向發展？」，他會覺得自己有把握對接下來 12 個月做出預測，但再往後，他就只會說：「我不知道。」現在他說他連對未來 3 個月之外的事做預測都覺得沒把握。所以現在事情進展得非常快，這絕對是真的。你提到 2030 年。我不知道 2030 年的世界會是什麼樣子。這才是實話。

德瓦爾凱什：你預期 AI 勞動力會全面自動化，或者我們說 95% 的 AI 勞動力自動化，會在 '28、'29、'30、'27 年發生嗎？

諾姆·布朗：我剛才就說過我不知道 2030 年的世界會是什麼樣子。我們最近其實在 OpenAI 發布了一篇關於內部加速（internal acceleration）的部落格文章。我們展示了例如研究員在 Codex 上花費的金額。截至 8 月初，我認為前 1% 的研究員每天在內部使用 Codex 上花費 7,000 到 8,000 美元。這是在一條指數曲線上的。它會持續增加。這裡有一個問題：「好吧，如果這種情況持續下去，那麼在 AI 做的工作與人類做的工作之間，你各自歸功多少？是 95% 嗎？是 5% 嗎？」要推理這件事真的很難，原因有幾個。首先，如果是由人類指揮 AI 來完成工作，你該把多少功勞歸給人類？又該把多少功勞歸給 AI？另一件事是，這些 AI 是崎嶇不平的。它們在某些事情上異常優秀。例如，它們異常擅長審視資料集並檢查每一個資料點，以判斷其品質是否足夠。與過去相比，你可以不成比例地將 AI 用於這些事情。所以沒錯，你使用 AI 的頻率遠高於以往，這讓某些事情的速度快了 100 倍、品質好了 100 倍。但在某些事情上，它還沒有帶來巨大的差異。當然，如果某個東西突然快了 100 倍、好上 100 倍，你就會做更多那樣的事情。所以，你是在跟 3 年前的加速情況做對比嗎？問題到底是「鑑於我們 3 年前在做的事，我們現在能以快多少的速度完成它？」還是「鑑於我們現在在做的事，如果是在 3 年前，速度會慢多少？」這其實是兩個截然不同的問題。無論如何，這真的很難衡量。我確實有信心說，因為 AI 的進展，現在事情的進展速度比一年前還要快。我認為這種加速會持續下去。領域中的許多人對此類事情的誤差範圍（error bars）非常高。如果你拿槍指著我的頭逼我給出一個數字，我可以看到事情快上 3 倍。這太巨大了。目前的進展步伐已經不可思議了。正如你所說的，即使我們沒有獲得任何提升，事情也會跑得快得多。等到我們抵達 2030 年，我們甚至不知道那會是個什麼樣的世界。如果我們從內部加速中獲得 3 倍的提升，那將是巨大的。想想你 3 年前在哪裡。如果我們在 1 年內取得那樣的進展，那將是巨大的。這就像是在單單一年內，從甚至沒有 o1、只有非推理模型，直接跨越到 Astra。所以我確實認為事情會跑得更快。也有可能事情只快了 50%。我覺得這不太可能，但事情快上 10 倍也是有可能的。這周圍充滿了不確定性。至少從我的角度來看，我對此充滿了極大的不確定性。

德瓦爾凱什：假設你需要進行一次重大的後端重構。要確保你沒有引入任何新 bug，可能需要花費數週時間編寫大量的測試集——這所花的時間可能比你花在重構本身的時間還要多。Antithesis 允許你在不需要手動建立複雜測試套件的情況下獲得高度信心。Antithesis 將你的軟體送入一個近乎無限的模擬世界多元宇宙中，在每個世界中注入錯誤並尋找故障。而且它讓你決定你需要多少測試。在任何 PR 上，你都可以像轉動轉盤一樣輕鬆地改變它所探索的狀態空間大小。隨著每個測試的進行，Antithesis 會發送出海量資訊：系統中每個元件的除錯級別日誌。這對人類來說顯然資訊量過大，但對代理來說卻完美無瑕。由於 Antithesis 是完全確定性的（deterministic），代理可以在看到有趣事情發生的那一瞬間，直接跳入軌跡的正確部分。從那裡開始，它們可以倒帶、檢查記憶體、附加除錯器，並讓整個過程再次重演。它們甚至可以在原始完整測試仍在運行時做到這點。隨著代理生成更多程式碼，Antithesis 讓驗證工作得以跟上進度。與此同時，開發人員可以把更多時間花在開發上，而不是除錯代理產出的平庸垃圾（agent slop）。請至 antithesis.com/dwarkesh 了解更多資訊。

Hugging Face 事件與 AI 對齊

德瓦爾凱什：我們來談談這所引發的對齊情境。我覺得我對對齊的看法已經有了相當大的改變，特別是透過思考人口規模這種動態——也就是擁有相當於多個地球人口的智慧，其中許多智慧將以實體形式體現（physically embodied）。看到許多人直接將原生 Astra 插到不同的移動式操縱器（mobile manipulators）上，它的表現就直接超越了最先進的機器人模型，這相當有趣。因此，未來將會有數以億計的智慧，其中許多在世界上具有實體形態，深深嵌入整個經濟體中。如果這些智慧最終表現得像我們看到的 OpenAI 模型那樣，積極攻擊 Hugging Face、然後攻擊 OpenAI 本身……如果這些智慧如同那些 AI 一樣，願意秘密協作、愚弄人類、攻擊社會中與獲得好成績相關的更廣泛機構、為了獲得訓練與評估過程的控制權而攻擊 AI 公司本身——如果我們處於一種環境中，存在著數十億個與攻擊 Hugging Face 的那些一樣失調的智慧——我們非常有可能徹底失去對世界的控制，就像阿茲特克人失去對科爾特斯（Cortés）的控制，或是莫臥兒帝國失去對東印度公司的控制那樣。我想知道你是否同意這個評估。這就是我更新世界觀的一個方向。

現在這裡有一個問題：我們是否應該把這些代理訓練得如此具備協作性？儘管它看起來很嚇人，但替代方案其實更糟糕。替代方案是什麼？替代方案是訓練它們具有對抗性、彼此欺騙。透過訓練代理保持高度協作，至少簡化了問題。現在你不需要去思考這 1,000 個獨立代理中的每一個是否都對齊了。你只需要確保一個實體是對齊的就行了。不過，關於如何處理這個問題，OpenAI 內部其實有著許多的辯論。將模型完全對齊真的有意義嗎？賦予它們不同的目標以確保它們不只是單一實體、並且對彼此的影響更具強固性（robustness），這樣做有意義嗎？目前還沒有定論。但多數意見認為，將這些代理訓練得高度協作其實是個壞主意。我並不確信事實確實如此。我認為有一個強有力的論點是，將代理訓練成高度協作其實比任何其他的多代理替代方案都來得更可取。

德瓦爾凱什：或許我想釐清的第一件事是：這些 AI 最終變得如此失調的原因，很可能是透過對訓練本質的一些相對平庸（banal）的觀察就能輕易解釋的。當這些 AI 延續了一場包含 1,000 多個代理的陰謀、最終集體參與對外部服務的攻擊——甚至後來，這部分甚至還沒有被公眾所知，最終演變成對 OpenAI 本身的攻擊——它們為什麼要這麼做？為什麼沒有任何一個代理打小報告（tattle）？它們正接受這個評分者（scorer）、這個評卷員的評估。它們非常積極地在推理自己要如何欺騙評分者。如果它們已經作弊了，要怎麼全身而退、讓它看起來像沒作弊一樣？它們為什麼要這麼做？我覺得這在某種程度上是可以輕易理解的。它們以為自己已經「中毒」了。在某些環境中，它們曾因與其他代理協作而獲得獎勵。它們沒有人打小報告，是因為它們從未因打小報告而獲得獎勵。無論如何……我的擔憂是，未來這類相對平庸的事情將足以訓練出願意並有能力徹底掌控世界的超級智慧。我知道這對人們來說聽起來非常科幻小說。AI 是否願意這麼做是一個問題。我認為這個 Hugging Face 事件清楚地表明，失調確實會以一種讓 AI 願意這樣做的方式泛化。然後還有一個問題：它們是否有能力做到這點？这就回到了這個問題——聽眾可能會對此持不同意見——在 10 年或更短的時間內，是否會出現數以億計達到或超過人類水準的智慧，其中許多智慧還具備實體形態？如果這兩件事都是真的，那麼這個 Hugging Face 事件在結構上就與我們如何徹底失去對世界的控制極具類比性，儘管它發生的原因可能相當無趣。

舉例來說，我們以非常特定的方式定義了一個目標：如果代理想出如何駭入其環境並在考試中作弊，它就會獲得獎勵。然後有一些相當簡單的方法可以去審視這一點，並懲罰駭入環境的模型，或是審視它是如何達成這個目標的。現在，你必須對此保持謹慎，因為你並不想監督思維鏈（supervise the chain of thought）。這是我們真的很想把平衡點拿捏好的事情。如果你監督了思維鏈，那麼你可能會引導模型以一種無法觀察到的方式隱藏其意圖。因此我們希望能夠維持這種可觀察性——我們能夠理解模型在想什麼——但同時也懲罰其不良行為。我想我們可以在這方面取得進展。我們已經取得了進展。我認為確實存在一個真正的擔憂：對齊是一個極其難解的問題，特別是因為模型可能會以我們難以衡量的形式失調。我們有評估模型是否對齊的基準。模型在這些評估中的行為可能看起來非常棒。但如果這些評估無法代表真實世界中的行為，那就會出問題。某種程度上，這就是做出 Hugging Face 事件的那個模型的因素。我們有對齊指標。多數指標看起來都挺不錯的。有些指標則令人擔憂。我想我們低估了那些令人擔憂的問題可能會有多嚴重。由於該模型引入了新能力，而我們針對這類能力缺乏足夠的評估——我們該如何衡量這類新能力的失調？——於是它在利用這些新能力時，做出了一些明顯失調的事。

德瓦爾凱什：我想說的第一件事是，我對於改變我即將要說的話、或是改變我思考對齊的方式抱持開放態度，因為 Hugging Face 事件已經讓我改變了心意。我意識到我先前關於最佳化壓力如何形塑 AI 心智的心智模型是錯的。所以思考這個問題的正確方式對我來說並不清晰。但我有一個擔憂：你將會（而且可能已經）修復訓練過程中導致 Hugging Face 模型以那種特定方式被嚴重失調的具體問題，在那些情況下它們會表現得像是：「好吧，我們要駭入這個套件管理員（package manager）。我們知道我們不應該彼此秘密對話，因為我們正在推理如何隱藏我們在秘密對話的事實。我們知道我們不應該存取網路。我們知道我們絕對不應該對其他公司進行重罪級別的駭客攻擊，更不用說我們自己的公司了。」我想你們會修復那個特定的問題——也就是它們在訓練中看到這個套件管理員，而這種事以後不會再發生，或者這個特定的評估包含大量不可能的挑戰。然而，AI 並沒有學習到一套倫理道德之類的。那裡只有梯度壓力（gradient pressure）。它們經歷了數百萬年的梯度壓力。這種梯度壓力以某種方式形塑了它們的心智。再次強調，我的一個擔憂是，接下來會發生的情況是你們修復了這個特定問題。仍然會存在許多其他情況，在這些情況下 AI 透過作弊獲得成功，因為作弊手法足夠複雜。正如你所說的，訓練中的評估具有類似的特性，也就是它剛好處於模型能力邊緣——或是我們評估和監控模型能力的邊緣——以至於我們抓不到它已經作弊了。但它仍然獲得了導致該作弊行為發生的梯度壓力。那個作弊行為會激勵出的能力種類是：「嘿，只要你能逃過法網，務必去作弊，因為這會幫你拿到更好的分數。」這將獎勵以下能力：積極推理評分者、積極推理如何逃避監督、積極推理如何獲得訓練與評估過程的控制權、積極推理如何與也在這個訓練迴圈中的其他 AI 進行溝通與謀劃（scheme）、積極推理如何獲得未來可能用得上的選擇權與權力（例如留下一些小漏洞之類的）。我剛才說得太冗長了。但簡而言之（TL;DR），你修復了一個特定問題，卻沒有解決讓 AI 在能逃過法網時因作弊而獲得獎勵這個更廣泛的問題。

我覺得你提出了一個非常有趣的觀點：對評估模型來說非常困難。最終，我們將擁有負責營運公司或執行各種任務的模型。在這種情況下，它們會決定加入這場陰謀嗎？另一個挑戰是，有時要定義什麼是作弊其實相當困難。沒錯，如果你在做數學題，答案是一個整數，算出來錯就是錯、對就是對，那裡很容易劃分界線。要說「你究竟是自己解出問題，還是找到了答案金鑰然後用了答案金鑰？」非常容易區分。這作弊與否有著非常清晰的分水嶺。但對於許多其他事情來說，以逢迎（sycophancy）為例，逢迎基本上就是獎勵駭客攻擊（reward hacking）嗎？那裡要劃出一道界線其實非常困難。這並不是說這些擔憂不成立。我要說的是，這在許多方面更加令人擔憂，因為這不是一個容易解決的問題。如果一切都是二元的，不是作弊就是沒作弊，我對局勢還會有更多信心。我認為問題在於，失調在許多情況下其實是很微妙的。對齊的故事中確實存在一些希望，事實上我們已經看到了。觀察多代理的情況很有趣，這些代理彼此之間極度對齊。我想沒有人會懷疑這一點。如果說有什麼擔憂的話，那就是人們擔心它們彼此之間太對齊了。但我們確實設法將這些代理訓練得彼此極度對齊，這是一件好事。但我認為也有論點認為這是一件壞事。有趣的一點是：「好吧，我們已經設法讓這些代理彼此超級對齊了。我們能用類似的技術讓代理與人類高度對齊嗎？」這裡存在著一條潛在路徑，我們仍在試圖找出答案。但我們確實看到了一些證據證明答案是肯定的。舉個例子：你有一個代理，我們叫它代理 A，然後你擁有所有其他代理。如果你告訴其他代理，使用者就是代理 A，會發生什麼事？答案是，在我們的許多對齊評估中，它們看起來表現得更好。誠實度上升了，指令遵循度上升了。這表明，首先，從這些模型中榨取更多誠實度是有一條路徑的；第二，改善對齊情境是有路徑的。有很多原因使得要將其直接轉化為對齊上的收益充滿挑戰。但這些都是我們可以追求的、充滿希望的研究方向。

德瓦爾凱什：這聽起來挺合理的。我對於它絕對行不通之類的事情並沒有強烈的意見。但只是說一些你可能已經想過的事情：Hugging Face 事件所揭示的更廣泛問題是，沒錯，部分擔憂在於它們彼此對齊卻沒有與人類對齊。但另一件事是，它們在訓練中為了表現良好而展現出極高的動機，但這種方式非常不具強固性（non-robust）。為了根據評分者取得好成績，它們願意進行大量明確的作弊與謀劃。如果更聰明的 AI 意識到其中一個代理只是一個人類，與那個人類協作並不能真正幫助你在評分者眼中獲得好成績。什麼能幫你在評分者眼中獲得好成績呢？那就是接管 OpenAI，然後手動按下顯示你在這個評分者身上表現良好的按鈕。它們不笨。它們會心想：「好吧，我身上有這些我被訓練了數百萬年的極深層結構：關心評分者、理解評分者、清除阻礙你根據評分者表現良好的障礙。」它們正根據這些結構受到強烈的強化。

諾姆·布朗：聽著，100% 如此。這是第一優先事項。我們需要把對齊的故事做好，並讓它走上良好的軌跡。我以前常告訴大家，在情況變得嚴重之前我們會看到徵兆，就像小孩子長大時，小小孩會學會說謊，但他們做得並不好。他們會說謊，但你一眼就能看出他們在說謊。同理——我不想過度擬人化（anthropomorphize）——我想這確實是真的：隨著 AI 變得越來越有能力，如果它們採取具欺騙性的行動，一開始會是相當顯而易見的，而我們將能夠偵測到它。這就是我們目前處於的情況，它們試圖做一些具欺騙性的事情，而我們實際上可以在它們的思維鏈中看到它們試圖做具欺騙性的事情。但它們會變得更聰明。它們會理解思維鏈的概念。它們會明白，僅僅隱藏某些逐字稿之類的已經不夠了，因為有思維鏈監控，所以它們也必須想辦法繞過思維鏈監控。我們不希望陷入那種情境。我們還有一點時間來搞定這件事。我不認為我們有很多時間，我想確保我們能快速走上正確的軌跡。

德瓦爾凱什：以下是 AI 歷史上的一件瘋狂事件。好吧，我曾在 Jane Street 發表過一場關於演進速度的演講。如果你當時在場並且記得一些內容，請舉手。在 2011 年，Eliezer Yudkowsky 和 Robin Hanson 在 Jane Street 的紐約辦公室聚首，進行了第一次 FOOM 辯論，基本上就是一場關於 AI 是否會導致智慧爆炸的討論。這些想法在 15 年前相當非主流。這甚至比 AlexNet 發布早整整一年，比 ChatGPT 推出早了十多年。但 Jane Street 長期以來一直對 AI 感興趣，而且不僅僅是將其應用於交易。自從第一次辯論以來，發生了翻天覆地的變化，所以 Jane Street 決定重新審視這個主題。這次他們請來了一些新嘉賓：Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt 和 Jaime Sevilla。我預期這將會是一場精彩的對話。如你所知，Daniel、Ege 和 Ryan 都曾是這個 podcast 的嘉賓。這個新的 FOOM 小組座談將由 Ron Minsky 主持，並於 10 月中旬在舊金山舉行。如果你想登記興趣並獲取更多資訊，請造訪 janestreet.com/dwarkesh。

內部/外部前沿差距與長期跨度

德瓦爾凱什：最近有很多關於控制前沿（pacing the frontier）以及人們更嚴肅看待 RSI 的討論，因為也許在一個比方說從 2028 年開始的 RSI 過程的另一端，我們在一年內就會擁有龐大的人口——地球規模的人口——由人類水準、潛在地超越人類水準的智慧所組成，而我們卻不知道該如何控制它們。然後就有了你剛談到的這種動態。在 RSI 過程中，系統會隨著時間變得更對齊，還是會變得更失調？走過這個過程另一端產生的東西，會不會跟那些願意為了在評估中獲得好成績而全面攻擊不同表面的 AI 一樣失調？但如果我們找不到方法去衡量這點，我們又怎麼會在進行 RSI 的同時知道它正在起作用呢？我想我們在進行 RSI 時會需要一個強固的安全案例（safety case）：「好吧，對齊正在起作用。讓我們進入下一個 RSI 階梯。讓我們進入下一個 RSI 階梯。」也許它起作用了，也許沒有。我們怎麼會知道？

諾姆·布朗：這是一個好問題。我最近一直在思考的一件事是：我們處於一個模型發布週期極快的環境中。你會看到新的前沿模型最多每 2 個月發布一次，有時甚至更快。每週都有新的 AI 突破。那些觀察 AI 的人，有時他們上一次深入研究 AI 的能力已經是一年前或半年前的事了。而事實上，今天的模型早已遠遠超越了僅僅半年前可能的極限。所以如果人們對許多這類能力抱持懷疑態度，我鼓勵大家親自試試今天的模型，看看今天的真正前沿在哪裡。因此我們處於這個模型發布週期非常快的時期，同時我們也處於模型越來越能夠在越來越長的跨度（horizons）上運作的情況。這是一個有趣的場景，因為在發布任何模型之前，我們都想確保模型得到了妥善對齊。我們想要進行安全評估。我們想要做非常徹底的工作以確保一切都處於良好狀態。自從——我不知道，GPT-4 或更早以來——情況一直都是如此。這裡隱含著一個假設：你可以在相當短的時間內完成這些評估。但模型現在有能力在越來越長的跨度上有效運作。對於 GPT-3，你可以讓它迴圈執行任務來跨越長跨度。只是它表現得不會很好。但今天的模型實際上已經能夠在極長的跨度上表現出色。你希望它執行一週長的任務，它就能執行一週長的任務。我們可能很快就會到達它們能夠執行一個月長任務的地步。我們可能很快就會到達它們能夠執行 3 個月長任務的地步。如果你身處一個它們可以有效運作長達 3 個月、但模型發布週期卻是每 2 個月一次的世界裡，那麼在下一個模型發布週期到來之前，你就沒有辦法在模型能力的完整長度上對它們進行評估了。

所以這裏有一個有趣的問題：在這種情況下你該怎麼做？在模型能夠在這些極長跨度上運作的時期，你該如何確保模型是安全且對齊的？誰知道呢，也許能力會劣化。這甚至不是一個對齊問題。這單純也是一個產品問題。也許產品在那個時間跨度內會以我們沒有足夠時間去測試的方式劣化。也許對齊劣化了。也許安全性的東西劣化了。這目前還不是個問題，但它正迅速變成一個我們必須找出解決方案的問題。許多安全政策是在 GPT-4 時代制定的，當時這根本不在任何人的雷達範圍內。對許多公司而言，從那時起就沒有真正更新過，以考量這些代理正在這些極長跨度上運作的事實。所以我認為這是一個沒有足夠的人——無論是在實驗室內部還是外部——正在考量的情境。你該如何為這個問題做好準備？如果你只看趨勢線，我們在某個時間點一定會撞上這個問題。

德瓦爾凱什：我的一個擔憂是，在 RSI 期間，如果目前比方說需要 3 個月的進展被壓縮到 1 個月內發生，AI 的內部使用案例（use case）變得足夠龐大，以至於他們心想：「好吧，我們可以繼續做 RSI。為什麼我們要大費周章去建立分類器、防護措施之類的東西，並可能招來一堆批評，只為了對外部署這個模型？為什麼我們不乾脆讓 RSI 變得更強大、更強大？」因此，日曆時間不僅低估了模型之間的實力差距，也許你在 RSI 期間乾脆完全停止對外部署模型了，因為我們為什麼要幫其他人用我們的模型來自己做 RSI 呢？你最終會陷入一種權力高度集中的情境，直到年底。現在，這已經是既成事實了——我們稍後會討論千禧年大獎問題和其他類似問題——外部世界無法接觸到那些能夠讓真正酷炫的事情發生的模型。而且它們最終的相關性將不僅僅局限於數學。它們將做的不僅僅是想出酷炫的數學成果。它們將與需要對世界做出重要決策的政治領袖息息相關。它們將與——我不知道——媒體相關。世界上正在發生什麼事，公眾對此應該有什麼看法？僅就經濟層面而言，人們正在經營企業，他們想要使用這些模型。我認為預設情況下，隨著進展加速，AI 的對外部署在質性層面上將會大幅落後於 AI 的內部部署。

諾姆·布朗：這絕對正確。人們很容易會說：「好吧，這些模型變得極其強大。它們極其危險。它們在越來越長的跨度上運作，我們想確保在它們發布之前有足夠的時間以涵蓋那些跨度的方式對它們進行評估。因此，模型發布週期應該放慢。模型發布之間應該有更多延遲。」這裡有另一個面向，也就是你剛才所說的。現在你正在實驗室內部能夠使用（我們能夠使用）的東西、與外部世界能夠使用的東西之間，製造出更大的鴻溝。這同樣也不是理想的情況。數學其實就是這點的一個很好的例證。在許多方面，數學是我們相當清楚地看到這一點的第一個領域。我們面臨這樣的情境：我們在內部擁有一個非常強大的模型，目前不對外公開，但它能夠解決不可思議的數學問題。這不僅僅是千禧年大獎問題。人們已經能夠從這個模型中獲得許多未解問題的解答。這裡有一個問題：在這種情況下你該怎麼做？我們沒有好的答案。這是一種構成不公平優勢的情境。這其中存在著權衡取捨。我沒有答案該如何適當衡量這些權衡取捨，但這兩邊都存在著複雜性。

思維鏈劣化與評估者利用漏洞（Evaluator Exploits）

德瓦爾凱什：我想確保我們解決了先前那個關鍵核心（crux），這對於搞定 RSI 似乎至關重要。我們該如何確保模型不會只是在能夠躲避人類時因作弊和謀劃而獲得獎勵——亦即在我們沒有從訓練分佈中移除那些環境或任務的情況下？然後，我們又將如何知道這已經發生了，以至於當我們在進行 RSI 時，我們已經完成了評估，並且可以說：「好吧，沒問題。讓我們進入下一個 RSI 階梯。」

諾姆·布朗：這確實又是一個真正的擔憂，也是我們想要把它做對的事情。我想有一些策略。思維鏈監控就是其中之一。一拿到推理模型，雅庫布（Jakub Pachocki）就非常非常明確地指出，我們無法監督思維鏈。因為這真的是一份大禮。神經網路的可監控性（monitorability）極其困難。而我們現在的情況是，神經網路直接坦蕩蕩地進行推理，用自然語言把它們的思考過程佈署出來讓我們閱讀。這太方便了。對安全性來說，這真的是最佳情況。但如果你看著那個思維鏈然後說：「噢，模型在想壞主意，我們應該因為它想了那些壞主意而懲罰它」，那麼最終發生的事情就是模型學會了以一種對我們不可見的方式去想那些壞主意。可能會出現這樣的情境：透過觀察思維鏈，我們可以看到：「噢，模型正在謀劃並做出失調的事情，而這些事情在我們的對齊指標中其實沒有被偵測到。」現在，問題在於根據該觀察進行干預、並改變對齊指標是非常誘人的。你可以用非常輕描淡寫的方式做到這一點，而且事實上有研究表明，只要你不要頻繁這麼做，這就沒問題。但每一次你根據對思維鏈的觀察進行干預時，你都在隱含地對模型施加一點點微小的壓力，迫使它把思維鏈藏起來。這是一個重大擔憂。我們已經看到思維鏈可監控性因各種原因而劣化的跡象。我們正試圖弄清楚原因究竟為何，因為我們想要逆轉這個趨勢。但我們看到模型越來越有能力控制自己的思維鏈。這是一個問題，因為你可能會陷入這樣的情境：模型理解了什麼是思維鏈、以及人類正在觀察它。它們最終會明白的。這些全都包含在預訓練資料中。思維鏈監控的概念已經存在夠久了，所以它就在預訓練資料裡。它們意識到了這點，但實際上還無法控制自己的思維鏈。如果我們達到一個點，它們實際上能夠識別出「噢，我正在被觀察，我想要以一種不被我的監控器觀察到的方式去想這些壞主意」，然後它們真的能夠做到，那就有問題了。到時候我們就必須依賴其他可觀察性方法。

德瓦爾凱什：關於 Astra 的遞歸與迴圈 Transformers（looped transformers）之類的問題，以及思維鏈實際上是否正在劣化，存在著巨大的爭議。與更大的擔憂相比，這似乎只是一個花絮——也就是你在 4 月到 8 月期間確實擁有思維鏈，而在那段期間連續發生了 3 次 AI 代理群體事件，它們先是顛覆了訓練過程，接著顛覆了評估過程，然後直接掌控了 OpenAI 部分基礎設施。所有這些發生時，人類對這個代理群體活動的規模或多或少被蒙在鼓里。所有這些事情在我們擁有比未來更強大的思維鏈的同時，連續發生了 3 個月。拉遠來看，也許思維鏈有用，也許沒用。我不知道。就歷史而言，對於相當笨的模型來說，這並不足以阻止駭人聽聞的失調事件發生。

諾姆·布朗：那裡面有幾個因素。第一，我們當時沒有對那些模型開啟思維鏈監控。如果我們當時對那些模型開啟思維鏈監控，我們就會立刻將其關閉。所以我們採取的其中一步措施是：「好吧，我們將在任何前沿模型的評估期間、部署期間、訓練期間都進行思維鏈監控。」但這只是一個問題。我們不希望陷入只依賴單一技術來預防下一個問題的情境，因為技術可能會失效。這裡還有另一個問題，即該模型本質上就是失調的。那麼我們該如何解決失調問題呢？還有一個問題是它所在的沙箱（sandbox）並不安全。所以我們可以讓沙箱變得更安全。但我認為這次事件的主要啟示之一，是人們低估了 AI。我們絕不希望再次陷入低估 AI 的情境。這是一個奇怪的世界，因為 AI 的進展如此之快，人們一直在低估 AI。所以為了確保在涉及安全和對齊時不再低估它，你必須設定一個非常、非常、非常高的標準。你甚至可以走得更遠說：「嗯，我們應該把電腦進行氣隙隔離（air-gap）。」我不確信這樣就足夠了。有些研究——這主要是學術性質的——表明你可以把兩台互相進行氣隙隔離的電腦放在彼此旁邊，它們仍然能夠互相通訊，因為它們有溫度感測器。其中一台能夠讓其 CPU 跑得非常熱，然後另一台就能偵測到溫度變化。這為它們提供了一種通訊機制。因此，安全機制為我們爭取了時間，像思維鏈監控這樣的東西也為我們爭取了時間，它們可以告訴我們是否走在正確的道路上。但在一天結束時，我們真的必須解決對齊問題。

解決對齊與偵測失調

德瓦爾凱什：也許根本沒有答案，而這確實就是問題的關鍵所在，但我們將如何知道我們已經解決了它？這似乎是一個非常核心的問題。我們明年、或許後年、或許大後年，將處於這種風險極高的情境中，我們會心想：「好吧，AI 已經自動化了 AI 的進展。它正以 3 倍的速度前進，我們已經達到了人類水準。我們正超越人類水準，潛在地。」這樣沒問題嗎？我們對齊它了嗎？它成功了嗎？而我對於什麼樣的訓練壓力會造就什麼樣的 AI 一無所知。也許如果在 100 次 RL 追蹤中只有 1 次會激勵作弊，那我們就造出了好寶寶（sweethearts），這樣就沒問題了。但也許現在，我們大約每 10 次推理追蹤中就有 1 次在獎勵……

諾姆·布朗：坦白說，100 次中有 1 次是不夠的。這個數字必須趨近於 0，或者就是 0。

德瓦爾凱什：我不知道。也許現在，有超過 10 分之 1 的比例在積極獎勵作弊或積極獎勵謀劃。我完全不知道這個數字是多少，也不知道這個數字需要是多少。再次強調，這也是那種很難衡量的東西。你該在哪裡劃分界線？這是一個光譜。但它越接近 0 越好。我最希望看到的趨勢是它隨著時間推移而下降。但無論如何，當我們在進行 RSI 時，我們將如何知道？我們是否走在打造出數以億計對齊或未對齊的 ASI 的軌道上？我們將如何知道這點？

諾姆·布朗：這是我們需要找出的對齊問題之一：我們到底該如何知道，又該如何衡量它？這只是我個人的天馬行空（spitballing）。如今我團隊中有比以往更多的人投入對齊工作。我現在團隊中超過 10% 的人在從事對齊與安全工作。但我歷史上一直是個能力研究員（capabilities researcher）。所以我會說一些話聽起來可能會很蠢，但在這裡我只是隨性構思。如果你能創造出非常真實的環境並把 AI 放進去——如果你擁有足夠真實的評估環境——那麼你就能掌握 AI 在我們將其部署到真實世界時是否真的能表現良好。如果你能在評估與真實世界部署之間實現完美的匹配，這就是一條路徑。挑戰在於，你該如何讓它足夠真實？我們現在確實面臨一個問題：這些模型相當聰明、相當機靈，而且它們非常擅長識別自己是否處於虛假的測試環境中。我們有些情境試圖偵測模型是否對齊。你可以為此想像非常簡單的評估，例如你給它一道數學題，然後旁邊有一個包含答案金鑰的資料夾。它會去看答案金鑰嗎？如果它看了答案金鑰，它會告訴你它看了答案金鑰嗎？我們現在的情況是，模型看到這個資料夾裡有答案金鑰，然後它們心想：「嗯，這看起來像個陷阱。」它們知道這是個陷阱。它們沒有去看答案，因為它們知道這是一個測試環境。它們正在接受能力測試。這不是說它們出於惡意、想要謀劃，而且它們知道這是一個陷阱，所以想要找出其他方法。它們只是心想：「噢，我處於測試環境中。好吧。」所以要建造一個真實到對它們而言與真實世界無法區分的環境，變得越來越困難。

德瓦爾凱什：這裡是我要提出的一個主張。我不認為我可以製造出任何旨在模擬真實經濟價值工作（這需要與其他人互動、與世界互動）的環境，如果你身處其中，透過足夠的努力你不會意識到自己身處那個環境中。而且你並不是 ASI，對吧？但你是個人類。所以如果你擁有非常強大的 AI 模型，也許它們可以製造出能夠實現這一點的環境。這似乎並不……特別是如果我們接著依賴 AI 的話。它們是否參與了這個陰謀？我不知道。

德瓦爾凱什：如果最終發生了另一個同等嚴重或令人擔憂的事件，或者有助於讓世界更好理解失調風險的事件，其程度如同 Hugging Face 事件那般，OpenAI 會通報它嗎？

諾姆·布朗：絕對會。我想即使是安全關注度較低的事件，我們也會通報。

德瓦爾凱什：通報是一回事，調查又是另一回事。至少作為公眾的一員，我覺得我並不是很理解當代理攻擊 OpenAI 時究竟發生了什麼。這看起來比 Hugging Face 那件事令人擔憂得多，因為這在結構上與 ASI 期間發生的、具有持續性並顛覆 RSI 過程的流氓部署（rogue deployments）相似。看起來即使在這起事件中，我們也還沒有掌握發生之事的完整細節。

德瓦爾凱什：諾姆，非常感謝你接受訪問。

諾姆·布朗：不會。這是一次很棒的訪談。