視訊專論〈遞迴自我改善已經開始〉(Recursive self-improvement has started),於 2026 年 11 月 13 日發布
Dwarkesh Podcast 主持人 Dwarkesh Patel 大幅縮短了他對超級人工智慧(superintelligence)的預測時程。他在 11 月 13 日上傳的一段視訊專論中表示,今年稍早他原本認為這項技術的到來「至少還要大約十年時間」。但在經過三個月的辯論,並觀察到 AI 在可驗證領域的進展後,他現在認為,距離 AI 達到人類頂尖 AI 研究員水準的世界「僅剩短短幾年,甚至可能只剩短短幾個月」。他預期,AI 在 2030 年前將至少達到各領域頂尖人類專家的水準,最快甚至可能在明年實現。他稱此為「瘋狂的斷言」,且這是他幾個月前自己也不相信的觀點。
AI 已在加速 AI 進展的證據
Patel 的論點立足於各大實驗室的數據。獨立評估機構 METR 花了三個月時間進駐 Anthropic,其結論指出,Anthropic 在目標明確任務上的 AI 進展速度是一年前的 2 倍,且「如今這種加速的大部分,很可能是歸因於 Anthropic 廣泛使用 AI 來進行研發(R&D)。」
OpenAI 於 9 月發表的一篇部落格文章顯示,在其研究員群體中,使用量最高前 10% 的 AI 用戶,其內部編碼代理(coding-agent)的每日使用成本從今年初夏的約 1,000 美元,到 8 月底已飆升至超過 7,000 美元。Anthropic 自身的 9 月文章則報導稱,Claude 目前主導了該公司 26% 的 AI 研發工作,高於今年 2 月的不到 1%。
數學:AI 研究的樣板
推動 Patel 修正預測的最大動力,是 AI 在數學領域的進步速度。他指出,在 2023 年時,模型還無法可靠地將四位數相加;到 2024 年,它們勉強能解開高中競賽題目;而在 2025 年,它們就在國際數學奧林匹亞競賽中奪得金牌。今年稍早,它們開始解決利基型的未解難題;就在一個月前,OpenAI 在 88 小時內解決了一道千禧年大獎難題(Millennium Prize problem)。Patel 表示,頂尖數學家花費數十年追求的數百項成果,現在正被作為「炒作未來模型發布的附帶任務」而產出。
他承認 Toby Ord 提出的反對觀點,後者寫道:「幾乎沒有證據表明它們能提出有深度的問題,或發現數學研究中深奧的新領域。」Patel 的反駁是,這句話同時也意味著 AI 正是在缺乏這些能力的情況下,解決了千禧年大獎難題。他主張,對機器學習而言,偏向可驗證的工作比數學本身更重要。數學最終珍視的是新理論,而 AI 實驗室關心的是什麼能從經驗上讓訓練更有效率或讓模型更聰明,且過去十五年半的深度學習進展並不需要太多新理論。
他以 Transformer 架構說明了這一點。引述與 Sholto Douglas 的對話及 Chris Olah 的名言,他指出,其核心組件沒有任何一項讓活躍的研究人員感到意外。該架構只有在正確結合了半打以上的微調後,才證明了明顯的優越性,這需要研究品味加上大量的微小實驗。在他看來,這正是 AI 在數學領域展現優勢的持續性組合搜尋,也是「如果被要求讓注意力機制(attention)運作得更好,Claude 7 本可以發明的那種東西」。
時程:以 2028 年為中位數,兩端皆有厚尾分佈
在假設實驗室全力衝刺、且未受到自身或政府放慢腳步的前提下,Patel 預估自動化研究員匹配人類頂尖 AI 研究員的中位數時間是 2028 年。他認為有至少 25% 的機率,這項突破直到 2032 年之後才會發生,因為 AI 研究的重要環節可能被證明難以自動化。而在另一端,他表示他所知的一些校準最精準的研究員,預期最快明年就會迎來這個里程碑。
他指出,如果將 METR 的發現輸入進飛躍(takeoff)模型中,2027 年也是一個直接的推論。他引述了 Ajeya Cotra 的話:「如果我們照單全收,認為 AI 目前幾乎讓 AI 能力的進展速度加倍,並假設 AI 帶來的加速是平穩的,這天真地意味著我們將在一年內達到極端超級人工智慧。」Patel 的預測中位數之所以不是 2027 年,純粹是因為他不確定這類模型的準確度有多高。
為什麼自動化研究員會更快、更好、數量更多
Patel 提出了當達到該里程碑後,進展會加速的三大原因。首先,AI 的工作速度大約是人類的 10 倍,且能全天候運作,因此每個自動化研究員在每個日曆週內完成的工作量,大約是人類的 50 倍。他警告說,實驗所需的運算能力(compute)不會加速,因此報酬遞減將會相當劇演,但他仍預期演算法的進展速度將快上許多倍。
其次是品質。他估計,前沿實驗室大約 80% 的演算法進展來自其前 50 名頂尖研究員,這也解釋了為什麼祖克柏(Zuckerberg)願意支付數億美元來網羅頂尖人才。但在自動化實驗室中,每位研究員都將達到那個水準。
第三是數量。Patel 主張,AI 研究比起寫小說,更像是將定理形式化(formalizing)。他指向一段動畫,展示了許多個 Claude 共同合作,在數千個可局部檢驗的模組化子任務中,一同將費馬最後定理(Fermat's Last Theorem)形式化。AI 實驗室已經將工作分拆給不同團隊,處理資料過濾、合成強化學習(RL)環境和注意力核心(attention kernels)。他承認存在嚴峻的報酬遞減,並指出「擁有 100,000 個合作者並不意味著你的速度會快 100,000 倍,可能連 100 倍都不到」,但他表示,若說數量級更多的勞動力不會帶來至少快上好幾倍的進展,這並不合乎情理。
火花或純軟體奇異點:擲銅板決定
Patel 將核心問題歸結為:自我改善的循環是否會跑贏尋找新想法日益增加的難度。他指出,AI 公司為了維持固定的進展速度,已經必須每年將研發運算能力擴增為四倍,並將員工規模加倍。如果 AI 的進步速度快過尋找新想法變難的速度,其結果就會是「純軟體奇異點」(software-only singularity)——在不需要額外增加運算能力的情況下,這群 AI 叢集將在幾個月內達到一個超級人工智慧,「直逼我們現今晶片的物理極限」。
如果想法變得困難的速度更快,結果就會是他所謂的「火花」(spark):以目前的速度進行大約三到六年的進展被壓縮在一個日曆年內,之後在建造更多運算能力之前,事情會「沉寂下來(simmer down)」。他給這兩種情境各 50% 的機率。
他說,即使是「火花」的情境,感覺也會極端強烈。他將四年的跳躍比喻為從 GPT-3.5(能寫出勉強及格的打油詩,但「基本上是個無用的玩具」)跨越到假設中的 GPT-6 "Astra"——後者能從頭打造整款電玩遊戲,並以讓旁觀者麻木的速度產出達到費爾茲獎(Fields Medal)水準的貢獻。他表示,從 2027 年或 2028 年開始,這樣的飛躍將產生一個在甚至是稍微可驗證的領域中都遠超人類的心智。他列舉了幾項能力:設計出比 NVIDIA 更好的下一代 AI 加速器;在獲得平等的市場准入權前提下,賺取超越目前人類版 Citadel 和 Jane Street 的利潤;以及在獲得遠端存取材料實驗室的權限時,找到室溫超導體。
超級人工智慧如何擅長難以驗證的現實世界工作
Patel 回應了一個顯而易見的反對意見:在資料中心訓練出來的系統,無法與那些優勢來自多年現實世界經驗的專家相提並論,例如打造企業、贏得訴訟、進行交易或經營選戰。他並未聲稱這些答案可以被直接烘焙到模型的權重(weights)中。他的主張是,規模化後的強化學習(RL)將賦予 AI 通用技能,使其能在新的情境中快速上手,例如尋找資訊、規劃、克服障礙、追蹤已學到的內容以及進行協作。
他預期自動化工程師將建構出比當今多出數萬倍的 RL 環境,規模更大且更具開放性,「這就如同今日的電動遊戲之於馬車,Bugatti 之於馬車一樣巨大。」其中的例子包括將 AI 投放入由數百萬個其他 AI 組成的模擬經濟中來共同創辦公司,或是執行歷史回測。其中一項任務可能是詢問一個訓練語料庫止於 1700 年的 AI,它是否能推導出廣義相對論;另一項則是詢問它能否從截至 1962 年的報紙中預測古巴飛彈危機。自動化研究員也將改善學習演算法本身,特別是在線學習(online learning)和樣本效率(sample efficiency)。...