SemiAnalysis 於 2026 年 11 月 5 日針對 4 種模型發布首份 TPUv7 長上下文、多輪 AgentX 基準測試

SemiAnalysis 表示，Google 已經接下了 Nvidia 執行長黃仁勳（Jensen Huang）先前在《Dwarkesh Podcast》節目中所發出的挑戰——當時黃仁勳指出，沒有其他晶片供應商能在 InferenceX 基準測試中展現成果。該機構發布了他們所稱針對 TPUv7（Ironwood）的首份官方長上下文、多輪且具現實意義的代理式（agentic）推論結果。這些結果涵蓋了 4 種模型。TPUv7 在外部客戶的性價比（效能成本比）上，不僅具備競爭力，在某些配置下更繳出了最佳提交成績。SemiAnalysis 將此視為 TPU 故事中軟體領域的半壁江山；長期以來，Nvidia 的護城河不僅建立在矽晶片上，同樣也奠基於其開發者生態系。

Qwen3.5 測試結果促使 Nvidia 提交反擊方案

最具影響力的結果是兩週前 Google 首度提交、在 vLLM 上執行的 Qwen3.5 397B。SemiAnalysis 指出，運行 FP8 的 TPUv7，其性價比達到運行 GB300 NVL72（採用 FP4 這種通常具備巨大吞吐量優勢的低精確度格式）的 1.67 倍。透過 llm-d 分離式服務（disaggregated serving），TPUv7 FP8 在每一個互動層級（interactivity level）的表現皆超越 GB300 FP8，在高吞吐量時更是領先超過 2 倍。它在超高速區域（ultrafast region）也超越了每秒每使用者 1,000 個 tokens（tok/s/user）。

SemiAnalysis 指出 Nvidia 的反應相當激進。Nvidia「組建了一支由人類工程師和代理集群（agent swarms）組成的突擊隊，橫跨美國與中國大陸，進行 997 工作制（從早 9 點到晚 9 點、每週工作 7 天），加班至當地時間凌晨 2 點及週末無休。」Nvidia 首度提交的 GB300 FP4 反對方案，在解碼效能（decode performance）上確實擊敗了 TPUv7 FP8。報告指出，該方案為了追求解碼表現而過度調校（overtuned），代價卻是犧牲了預填（prefill）效能，進而拖累了端到端（end-to-end）表現。在端到端基礎上，TPUv7 FP8 仍然領先，且在多數曲線區間中，該反擊方案的性價比仍比 TPUv7 FP8 差 1.64 倍。SemiAnalysis 認為，只要有足夠的優化，Nvidia 或許能在 GB300 FP4 對比 TPUv7 FP8 時奪回微幅領先；但他們認為，Nvidia 無法在特定模型的 FP8 對 FP8 比較中奪回領先地位。

Nvidia 或許會辯稱 Qwen3.5 對他們並不重要。SemiAnalysis 駁斥了這種說法，並引用其提交數據佐證。Nvidia 在特定 SKU 的該模型上，已經花費了超過 20% 的測試 GPU 時數（sweep GPU hours），並指派了其最強的推論工程師參與。SemiAnalysis 補充道，部分超大規模雲端運營商（hyperscalers）與 AI 實驗室正在使用 Qwen3.5 397B 及其架構的多兆參數衍生版本，作為硬體採購與產能規劃的代理模型（proxy models）。

GLM-5.2 與 Kimi K3：FP8 成本最低，但 FP4 GPU 仍全面勝出

在 GLM-5.2 這款擁有 7440 億參數、具備約 390 億活躍參數的混合專家模型（mixture-of-experts model）上，TPUv7 是成本最低的 FP8 選項。在 60 至 300 tok/s/user 的區間內，其每美元產出的 tokens 數為 B200、B300 及 MI355X 的 1.2 倍至 2.7 倍，在 150 tok/s/user 時更是 H200 的 4.4 倍。報告毫不諱言地指出這項優勢的極限：Nvidia 的 FP4 GPU 在多數速度下，成本仍佔優勢。在 100 tok/s/user 時，GB300 與 GB200 FP4 的性價比分別為 TPUv7 的 3.6 倍和 3.5 倍。TPUv7 並未原生支援 FP4，SemiAnalysis 預期此情況要到 2027 年第一季的 TPUv8 才會改變。由於 GLM-5.3 並未針對區塊縮放（block-scaled）FP4 進行原生量化感知訓練（quantization-aware training），因此 FP4 在此模型上確實帶有輕微的準確率懲罰，這削弱了但並未消除 Nvidia 的優勢。

Kimi K3 的測試結果是與 vLLM 開發者 Inferact 合作、使用 MXFP4 權重提交的，這展現出競爭態勢的變化速度有多快。在 10 月 17 日發表時，TPUv7 在 50 至 200 tok/s/user 區間內產出的 tokens 數為 GB300 的 0.77 倍至 0.91 倍。針對單一使用者，其速度也快上 1.6 倍（以 391 tok/s/user 對比 251 tok/s/user）。若以 Google 內部成本為基準，它在 100 及 200 tok/s/user 時擊敗了 GB300。在經過 Nvidia 進行 4 次軟體更新後，GB300 FP4 目前領先 1.5 倍至 2.6 倍。不過，TPUv7 的性價比依然是 GB200、B200、B300 與 MI355X 的 1.15 倍至 2.5 倍。預覽版的 Rubin VR200 提交數據顯示其為 TPUv7 的 4.3 倍至 5.6 倍，部分比較甚至高達 6 倍。SemiAnalysis 稱這是一場不公平的對決，因為 Rubin 應該與 TPUv8i 進行比較，而他們計劃近期對其進行基準測試。該機構也強調，Rubin 的數據仍是尚未經其獨立重現的預覽提交資料。

Meta 的 Muse Spark Open 展現 TPU 在 GPU 架構模型上的競爭力

技術上最有趣的結果可能是 Meta 的 Muse Spark Open，這是一個在 SGLang 上運行、搭配 TorchTPU 的 8160 億參數模型，由 SGLang 的主要維護者 RadixArk 所提交。SemiAnalysis 表示，Meta 已經透過這套技術堆疊（stack）將 TPUv7 部署至生產環境中。它在生產推論中使用 SGLang，並在強化學習推演（rollouts）中使用 vLLM。

該模型在設計之初即以 GPU 為考量。其 64 的注意力頭維度（head dimension）意味著，在進行長上下文注意力運算時，TPU 的脈動陣列（systolic array）中有 25% 處於填充狀態（padded）。GPU 矩陣核心（matrix cores）採用較小的磚塊（tiles），因此在 H100 或 B200 上，將注意力頭維度設為 64 而非 128 幾乎不需要付出成本，同時還能讓注意力層（attention layer）的成本降低。SemiAnalysis 指出，擁有龐大 TPU 機隊的實驗室（例如 Anthropic、Google DeepMind，以及不久後的 OpenAI）通常會進行模型的共同設計（co-design），以確保注意力形狀（attention shapes）契合硬體。即便以 Meta 購買 TPU 的成本基準來看，TPUv7 仍繳出了具競爭力的解碼性價比。不過，端到端延遲（end-to-end latency）尚未具備競爭力，報告指出預填核心（prefill kernels）仍需進一步優化。

效能提升的來源

SemiAnalysis 將多數進展歸功於 Google 與開源維護者的軟體工作。解碼巨型核心（decode megakernels）能在單一核心中執行整個解碼步驟，並在目前層進行運算的同時，預先擷取（prefetch）下一層的權重。這消除了傳統步驟中數百到數千次核心啟動（kernel launches）之間的閒置空隙。AMD 回報指出，其自身的版本將 GLM-5.2 的解碼步驟從大約 2,459 次啟動削減至 210 次，並在批次大小（batch）為 1 時運行速度快了 2.31 倍。

在 Qwen3.5 技術堆疊方面，Google 還開源了 TPU Sync，這是一個將 KV 快取（KV cache）與線性注意力狀態傾倒至主機 DRAM 的框架。根據 Google 的數據，llm-d 中的快取感知路由（cache-aware routing）會將每一輪對話發送至持有其前綴（prefix）的主機，使得解碼快取命中率（cache hit rates）從 56% 提升至 76%。針對 GLM-5.3，優化項目包含解碼上下文並行（decode context parallelism）、利用 TPUv7 的 SparseCores 來收集選定的 2,048 個快取條目、減少浪費位元組（bytes）的重新打包索引器佈局（repacked indexer layout），以及額外的小批次核心形狀。這種分離式方法也伴隨成本：在最快的一點，p90 首個 token 耗時（time to first token）為 8.6 秒，相較之下 GB300 FP4 為 11.1 秒。基於輪次的路由（turn-based routing）仍讓 TPU 在端到端表現上落後於 GB300 TRT-LLM FP4，不過在 FP8 與 FP4 表現上，都大幅領先 GB300 SGLang。

Nvidia 的官僚主義問題

SemiAnalysis 在報告中用相當篇幅批評了 Nvidia 的企業文化，稱官僚主義是「黃仁勳必須解決的 NVIDIA 護城河最大風險之一」。報告指出，開源維護者與客戶回報，PyTorch CUDA 圖形擷取（graph capture）所需的簡單驅動程式功能，已經在「Nvidia 內部法律審查」中卡了三個月。針對改善 ConnectX、NVSwitch 與 HGX 機板上的 DCGM 電力遙測（power telemetry）請求，進度同樣緩慢。以他們的經驗來看，Nvidia 現在對外部建議、提交程式碼與意見回饋的反應速度，已經比 AMD、Google 和 Amazon 還要慢。

集群存取（Cluster access）也是抱怨的一環。SemiAnalysis 表示，Nvidia 對社群維護者的算力貢獻已經「包裹在 DMV 風格的官僚作風中，充其量顯得吝嗇」，這讓他們難以將其與一家市值 5 兆美元的公司聯想在一起。相較之下，Google 則運用了 Nvidia 的劇本，大方提供維護者大量晶片。目前針對 Muse Spark Open 與 Kimi K3.1 Pro，已實現 Day 0 的 TPU 支援。AMD 對於上游維護者也變得更大方。報告肯定了部分 Nvidia 團隊，特別是前 CentML vLLM 小組，他們在短短一週內就跟上了 AMD 與 TPU 的巨型核心工作。

證據的注意事項

投資人應權衡幾個要點。基準測試 InferenceX 雖由 SemiAnalysis 自行推出，但背後有廣泛的買家、實驗室與開源專案支持。報告區分了 Google 的內部成本基準與外部客戶實際支付的價格，在某些對比中，TPU 的優勢會縮小或逆轉。Rubin 的結果是尚未證實的預覽版，且 Nvidia 迄今已證明其能快速改善成果。報告坦言，TPUv7 缺乏 FP4 支援，且在部分配置的端到端延遲上落後。即便如此，SemiAnalysis 認為，透過 vLLM、SGLang、llm-d 與 PyTorch 在代理式工作負載上展現出可信的 TPU 性價比，已削弱了 CUDA 是唯一可行生產路徑的說法。報告也指出，正如其加速器模型（Accelerator Model）所預測，Oracle、OpenAI、Anthropic 與 Meta 皆已成為 TPU 客戶。預期 RadixArk 的後續 AgentX 提交以及首批 TPUv8i 基準測試將很快登場。