SemiAnalysis：AI 真正的百倍成長源於軟硬體協同設計，而非單純提升晶片速度
Dylan Patel 解析為何模型、核心與矽晶圓的共同優化能帶來突破性進展，以及為何 CUDA 的護城河從來就不在 CUDA 本身。
SemiAnalysis 創辦人 Dylan Patel 正提出一個與 AI 進展主流觀點相左的激進論點。人工智慧最大的成長動能並非僅來自更快的晶片，而是源於整個技術堆疊的軟硬體協同設計（co-design），這種方式能將原本零星的兩倍效能提升，轉化為百倍的飛躍。在與紅杉資本（Sequoia Capital）合夥人 Shaun Maguire 和 Sonya Huang 的深度對談中，Patel 指出 DeepSeek 的專家層（expert layers）為何專為 Nvidia 的 Hopper 架構進行優化、Google 的 TPU 為何難以高效運行特定模型，以及所謂的「CUDA 護城河」其實從來就與 CUDA 無關。
軟硬體協同設計驅動指數級成長
Patel 根本性地反對認為過去三年 AI 效率提升主要來自硬體改進、輔以演算法優化的觀點。他的研究顯示了截然不同的結果。在 DeepSeek 最優化的部署中，過去三年從 Hopper 到 Blackwell 大約實現了 30 倍的提升。但若以同等品質衡量，每瓦的總智慧效能提升接近 60 倍，部分數據甚至顯示成本降幅達到相同數量級。這種差異源於各層級的共同優化，而非單一改進所致。
Patel 解釋，DeepSeek V3 中所有專家層的形狀都是專為 Hopper 架構優化的。對於 V4，目前正針對 Blackwell 和華為晶片進行優化。這創造了一種有趣的動態：Google 的 TPU 雖然是運行 DeepMind 所有任務並處理 Anthropic 預訓練的頂尖晶片，但在運行 DeepSeek 模型時表現卻不盡理想，因為該模型並非為此硬體設計。反之，其他模型在 TPU 上運行極為出色，但在 Nvidia GPU 上卻表現掙扎。
這種優化程度比多數觀察者所想的更深。Patel 指出，考量因素包括專家層形狀、網路輸入輸出模式、集體通訊（collectives）的處理方式，以及注意力機制（attention mechanisms）的算術強度。模型、硬體與中間的基礎設施軟體之間的一切都在進行協同優化。當你在三個層級同時進行優化時，真正的突破就會發生，這使得幾乎不可能拆解出效能增益究竟來自何處。
模型架構因硬體選擇而分歧
根據 Patel 的分析，OpenAI 與 Anthropic 正趨向截然不同的模型架構。OpenAI 的模型稀疏性更高，這帶來了特定優勢並推動了不同的硬體優化路徑。Anthropic 的模型雖然也具備稀疏性，但整體密度更高，造成了不同的權衡。這些架構選擇並非獨立於硬體之外。網路拓撲結構也至關重要：Nvidia 的所有晶片均連接至 NVLink 交換器，該交換器僅能連接 72 個 GPU；而 Google 的互連架構沒有交換器，卻能透過晶片間傳遞，以超高頻寬連接 8,000 個晶片。這些基礎設施的根本差異，影響了哪些模型架構在各平台上運作效果最佳。
這也影響了各實驗室對硬體的偏好。Patel 認為，OpenAI 模型發展的方向，使得 TPU 對他們而言可能成為極差的選擇。同時，Anthropic 與 Google 模型的發展方向，可能使 GPU 不再適合用於訓練。他強調，這並非單一架構客觀上優於另一種，而是取決於協同設計。當優化延伸至模型層時，你無法將它們分開衡量。
CUDA 護城河實際上是生態系護城河
在 Patel 看來，圍繞 Nvidia CUDA 護城河的敘事被誤解了。這道護城河從來就不是關於 CUDA 本身。實際情況是，下游產品變得更適應 Nvidia 硬體。DeepSeek、Qwen、阿里巴巴、騰訊與小米都發布了專為 GPU 設計的模型。當用戶試圖在 TPU 上運行這些模型時，表現往往不佳。Google 若要建立類似的 TPU 部署網路效應，就必須建立自己的開源模型生態系，而他們已經透過 Gemma 模型開始著手。
傳統的 CUDA 護城河論點假設有成千上萬需要程式設計能力與相容性的客戶。但這一前提正在迅速改變。目前主要的模型公司僅有十幾家，而非數千家。這些實驗室願意為不同晶片編寫自訂核心（custom kernels）。Anthropic 大量使用 TPU 進行訓練，並使用 Trainium 加 GPU 進行推論。像 Claude 以及更新的程式碼生成模型等公司，已具備相當強大的優化能力，使大部分軟體堆疊商品化。真正的鎖定效應在於：如果你是推論 API 提供商或試圖將開源模型客製化用於商業用途的強化學習公司，你正處於一個以 Nvidia 為主的生態系下游。專家維度與隱藏維度是為 GPU 結構化的，因此即使你個人不在乎編寫 CUDA 核心，為了高效運行，你仍必須使用 GPU。
InferenceX 追蹤每年 60 倍的成本優化
SemiAnalysis 推出了 InferenceX，這是一個動態基準測試，每天在價值超過 5,000 萬美元的捐贈硬體上運行最新模型。這項計畫之所以能實現，是因為 Patel 在生態系中建立了足夠的信譽，獲得了 CoreWeave、Crusoe、Nebius、Oracle、Microsoft、Amazon、Google 和 OpenAI 的貢獻。該基準測試與 SG Lang、vLLM 以及目前引領開源推論優化的 Radix Arc 和 Infract 合作。一旦加入 TPU 和 Trainium，總捐贈硬體價值將超過 1 億美元。
該基準測試每天在約 15 種不同晶片類型上運行所有最新模型，包括 Moonshot、阿里巴巴、DeepSeek 和 Qwen 等中國實驗室的頂尖模型，以及美國頂尖的開源模型。系統會掃描多種配置與優化類型，並公開所有結果與配置。這創造了一條帕累托最優（Pareto optimal）曲線，解決了推論基準測試中常見的問題——即人們透過比較次優配置來美化自家硬體。任何想要最佳部署的人，都可以從 InferenceX 下載開源容器並運行該配置，甚至自動下載針對每個模型的最優點。
Patel 認為，InferenceX 所測量的「傳輸量與互動性」曲線已成為業界最重要的曲線。不同的工作負載落在該曲線的不同點上。有些應用需要極低延遲與極快的回應速度（適合單一用戶），此時批次大小（batch size）較小，推測解碼（speculative decoding）等技術極具價值；其他工作負載則涉及夜間批次處理大量文件，此時每 Token 成本遠比速度重要。目前基礎設施將 AI 視為「一體適用」，但隨著時間推移，市場將會沿著這條曲線進行細分。Anthropic 的 Claude 快速模式成本遠高於普通模式，OpenAI 則有優先排隊機制。數據顯示，在同等品質下，模型成本每年下降約 60 倍，這驚人的速度是由軟體優化、硬體改進及其協同設計所驅動的。
記憶體頻寬與功率密度是關鍵瓶頸
當被問及他在堆疊各層級中觀察到的最大瓶頸時，Patel 強調了記憶體容量與頻寬。NAND 單元發明於約 25 年前，DRAM 單元發明於約 40 年前。在整個期間，基本單元結構並無重大突破。進展來自於堆疊更多 HBM 並提升運行速度，但新的創新正在出現：記憶體不再與晶片分開堆疊，而是直接堆疊在晶片上。這將使頻寬爆發式成長，多家公司正致力於此路徑。
功率密度是另一個關鍵限制。過去二十年，資料中心與桌上型電腦晶片的峰值功率約為每平方毫米 1 瓦。若觀察一塊 100 平方毫米的晶片，其功耗通常在 100 瓦左右或更低。最新的 Nvidia 與 TPU 矽晶圓仍落在每平方毫米 1 瓦的範圍內。目前晶片功率已達 1,400 瓦，下一代 Nvidia Rubin 目標為 2,000 瓦，Rubin Ultra 可能達到 4,000 瓦。然而，這些增加來自於矽面積的擴張，而非功率密度的提升。
令人興奮的進展是，目前有研究致力於將遠高於每平方毫米 1 瓦的功率注入矽晶圓。這意味著在達到相同運算能力下，所需的矽面積更小，儘管運行功率更高。顯然，這會帶來散熱挑戰與電磁干擾問題，這也是為何它至今仍是困難的工程難題，以及業界長期停留在每平方毫米 1 瓦的原因。但解決此限制將能釋放巨大的效能增益。
運算需求缺口將持續存在，模型擴張速度快於供應成長
每個季度部署的運算資源都遠高於上一季，資料中心建設也在增加。即使考慮到延遲，今年預計將部署 20 吉瓦（GW），明年則超過 30 吉瓦。然而，Patel 預計運算需求缺口在可預見的未來將持續存在。原因歸結於一個基本動態：實用 AI 工作的總潛在市場（TAM）擴張速度，快於運算能力的成長速度。
他解釋，像 Mythos 5 和 Fable 這類模型的 TAM 不僅僅是 Opus 的兩倍。模型表現大幅提升，能處理的任務更多，導致潛在市場的成長遠超兩倍。然而，在 Opus 4.5 發布到 Fable 與 Mythos 出現的六到八個月內，全球運算能力並未翻倍。模型能力的提升速度快於運算規模的擴張。Anthropic 在 Opus 4.8 Token 上的利潤率在 API 定價下超過 80%，儘管透過 Bedrock 和 Vertex 的交易會稍微拉低整體企業毛利率。憑藉如此高的利潤率，Anthropic 有財務能力以高於市場的價格收購他們所需的每一顆 GPU。同樣的邏輯也適用於其他擁有強大單位經濟效益的領先實驗室。
問題在於如果模型進展停滯會發生什麼。Patel 與 Anthropic 和 OpenAI 工程師的對談顯示，他們仍對進展將持續保持快速步調充滿信心，甚至可能因為模型本身能協助編寫基礎設施並優化程式碼，進而更快推出下一代產品而加速。這創造了一種「偽遞迴式自我改進」循環。如果該評估正確，運算缺口將持續存在；如果模型能力達到平台期，那麼隨著供應追上需求，局勢可能會扭轉。
新雲端服務商的出現，源於超大規模雲端商的專業未能轉移至 AI 工作負載
CoreWeave 和 Crusoe 等新雲端服務商（neoclouds）的崛起看似令人驚訝，畢竟超大規模雲端商（hyperscalers）在規模與基礎設施上具備優勢。Patel 在 2023 年撰寫了一份令 Amazon 不悅的報告《Amazon Cloud Crisis》，解釋了為何 Amazon 是傳統工作負載的最佳雲端供應商。他們的 Nitro NIC 透過在網卡上運行 Hypervisor 並將所有核心賣給客戶，實現了租戶隔離；他們購買原始 NAND 並打造自訂 SSD 以降低儲存成本；其自訂 Graviton CPU 則壓低了每核心成本。這些創新在傳統基於 CPU 的雲端世界運作得極為出色。
但在 AI 雲端中，這些專業知識大多變得無關緊要，甚至有害。Nitro NIC 損害了效能，儘管經過多次迭代，至今表現仍較差。當客戶簽署長期合約租用整個 72 GPU 機櫃，而非僅租用幾小時的單一 GPU 時，為多租戶分時設計的安全功能便毫無意義。Google 和 Amazon 為傳統工作負載優化的自訂網路，實際上反而阻礙了 AI 效能。Microsoft 自建資料中心以節省成本的策略，在資料中心團隊無法應對快速翻倍的預測需求時宣告失敗，迫使他們轉向租用新雲端服務商的產能。
效能優勢與上市時間解釋了新雲端服務商的大部分機會。這些公司的創辦人多為高槓桿股權所有者，透過更快交付運算能力來獲利。他們出身於比特幣挖礦等背景，這教會了他們如何在劇烈波動的市場中運作。同時，龐大的超大規模雲端組織無法為更快建設資料中心提供個人財富創造的激勵。Nvidia 執行長黃仁勳積極支持新雲端生態系，因為他迫切希望世界呈現多極化。如果只有超大規模雲端商能建立運算能力，且只有 OpenAI、Anthropic 和 Google 擁有領先模型，Nvidia 的議價能力將大幅縮減。五年後，Crusoe 和 CoreWeave 的存在意味著 Google 的 TPU 和 Amazon 的 Trainium 將會變弱，從而維護 GPU 的市場佔有率。
資料中心利用率因營運成熟度而大相逕庭
並非所有吉瓦（GW）都是平等的。Trainium 以每年每吉瓦低於 100 億美元的租賃費率賣給 Anthropic 和 OpenAI。在近期運算短缺之前，GPU 通常從新雲端服務商和 Amazon 那裡以每年每吉瓦 120 億至 130 億美元的價格成交。據報導，SpaceX 與 Google 的交易每年每吉瓦達到約 250 億美元，溢價極高。資料中心託管價格過去約為每月每千瓦 60 美元，現在交易價格在 120 至 160 美元之間，部分信貸評級較差的客戶在頂級設施中甚至高達 200 美元，而在電網可靠性與連線能力較差的印度，價格則低至 80 美元。
營運成熟度創造了巨大的價值差異。Google 會在 1 吉瓦的資料中心內部署 1.5 吉瓦的硬體，因為他們對工作負載的理解極深，能夠靈活調配電力。他們不讓硬體運行在 60% 至 70% 的功耗，而是持續使用滿載的 1 吉瓦。有些營運商與公用事業公司達成協議，電網可持續提供 1 吉瓦，但每年有三天可提供 2 吉瓦，他們便部署 2 吉瓦的容量，並利用備用發電機與電池來應對高峰限制日。這需要對工作負載、備用電力與現場發電能力進行極致管理。執行這些策略的公司，能從相同的電網連線中有效地賣出兩倍的吉瓦，或在他人無法建設的地區銷售產能。
根據目前的獲利能力，分配給 Anthropic 的 1 吉瓦產生的營收客觀上高於 OpenAI，儘管考慮到速率限制與 Token 上限，兩家公司都能賣掉手頭上的每一吉瓦。根據 InferenceX 對效能與可靠性的測試，CoreWeave 提供的 GPU 運算效能客觀上優於 Amazon、Google 或 Microsoft。但 CoreWeave 必須在產能上線前六個月就將其售出，並利用這些合約為已發出的採購訂單取得債務融資。相比之下，SpaceX 告訴客戶產能現正運行中且可立即購買，憑藉強大的資產負債表來承擔庫存，從而獲得溢價定價。
太空資料中心五年內不太可能產生影響
當被問及在 10 到 15 年的時間框架內，推論運算將有多少比例發生在太空中時，Patel 給出了一個反對部分炒作的細緻觀點。他不認為太空資料中心在未來三到五年內會有太大影響。真正的因素在於地球土地上建設電力的成本，以及地球上能部署多少電力。但到了 2040 年，他預計絕大多數運算將在太空中運行。到 2030 年，僅 OpenAI 和 Anthropic 合計可能就將佔用超過 100 吉瓦。加上 Meta、Google 和其他參與者，總計將是專用於推論的龐大部署。到 2040 年，業界將在太瓦（TW）規模下運作。
Patel 評估，AI 帶來的生產力提升曲線將推動推論部署成為全球最大的市場之一，規模將遠大於石油。如果該預測正確，地球電力限制最終將迫使運算遷移至太空。但在 2030 年，他預計僅有不到 1% 的新增運算會進入軌道設施。技術與經濟效益還需要十年時間成熟，太空才能成為主要的部署環境。