セミアナリシス、4モデルを対象としたTPUv7向けの初となる長文脈・マルチターンAgentXベンチマークを11月5日に発表

セミアナリシス（SemiAnalysis）によると、グーグルはNvidiaのジェンスン・ファンCEOがポッドキャスト番組「Dwarkesh Podcast」で、インファレンスX（InferenceX）ベンチマークで結果を示しているチップベンダーはほかにいないと指摘した挑戦を受け入れたという。同社は、TPUv7（開発コード名：Ironwood）を対象とした初となる公式の長文脈、マルチターン、かつ現実的なエージェント型（agentic）推論の結果を公表した。対象となったのは4モデルである。TPUv7は、外部顧客向けのドル当たり性能において競合と同等か、構成によっては提出された中で最高の結果を示している。セミアナリシスはこれをTPU戦略のソフトウェアの側面であると位置づけている。Nvidiaの強固な経済的濠（モート）は、これまでシリコンと同様に開発者エコシステムに依存してきた。

Qwen3.5の結果を受け、Nvidiaが対抗提出を余儀なくされる

最も影響力の大きい結果は、2週間前に行われたvLLM上での「Qwen3.5 397B」に関するものであり、これがグーグルにとって初のAgentXへの提出となった。セミアナリシスによると、FP8で稼働するTPUv7は、通常ならスループットで大きな優位性を持つ低精度フォーマットのFP4を採用した「GB300 NVL72」と比較して、ドル当たり性能で1.67倍の優位性を発揮した。llm-dの分解型サービング（disaggregated serving）を活用した場合、TPUv7のFP8はあらゆるインタラクティビティ（対話性）レベルでGB300のFP8を上回り、高スループット時には2倍以上の差をつけた。また、超高速領域では1秒当たり1,000トークン（tok/s/user）を超過した。

セミアナリシスによれば、Nvidiaはこれに激しく反応した。「米国および中国本土にわたり、ヒトのエンジニアとエージェントの群れからなる特命チームを編成し、地元の深夜午前2時や週末に至るまで、997（週7日・午前9時〜午後9時）体制で作業に従事させた」という。Nvidiaによる初のGB300 FP4での対抗提出分は、デコード性能においてTPUv7のFP8を実際に上回っている。同レポートによると、この対抗分はプリフィル（事前処理）を犠牲にしてデコードに過剰な最適化（オーバーチューニング）が施されており、それがエンドツーエンドの結果を押し下げる要因となった。エンドツーエンドベースでは、TPUv7のFP8が依然として優勢であり、対抗提出分はほとんどの領域でTPUv7のFP8に比べドル当たりで1.64倍劣ったままである。セミアナリシスは、十分な最適化を行えば、NvidiaがGB300 FP4でTPUv7のFP8に対するわずかな優位性を奪還できる可能性があるとみている。ただし、特定のモデルにおけるFP8同士の比較において、Nvidiaが主導権を奪還することは不可能だと考えている。

Nvidia側は、Qwen3.5は自社にとって重要ではないと主張するかもしれない。しかしセミアナリシスは、自社の提出分析を引き合いに出してその見方を否定している。Nvidiaは特定のSKUにおいて、このモデルに対するスイープGPU時間の20%以上を費やしており、最強クラスの推論エンジニアの何人かをこの案件に割り当てている。さらに同社は、一部の大手クラウド事業者（ハイパースケーラー）やAI研究機関が、Qwen3.5 397Bおよびそのアーキテクチャから派生した数兆パラメータ規模のモデルを、ハードウェア調達やキャパシティプランニングのためのプロキシ（代理）モデルとして利用していると付け加えている。

GLM-5.2とKimi K3：FP8では最安値だが、FP4のGPUが依然として総合的に優勢

活性パラメータが約39Bの7440億パラメータ（744B）Mixture-of-Experts（専門家混合）モデルである「GLM-5.2」において、TPUv7は最も安価なFP8の選択肢となっている。60〜300 tok/s/userの範囲において、B200、B300、MI355Xの1.2倍〜2.7倍、150 tok/s/user時点ではH200の4.4倍のドル当たりトークン性能を発揮する。もっとも、レポートはその主張の限界についても率直に指摘している。大半の速度域において、コスト面では依然としてNvidiaのFP4搭載GPUが優位に立っている。100 tok/s/userの時点では、GB300およびGB200のFP4は、TPUv7のそれぞれ3.6倍および3.5倍のドル当たりトークン性能を提供する。TPUv7にはネイティブのFP4サポートがなく、セミアナリシスはこれが2027年第1四半期のTPUv8まで変更されないと予想している。GLM-5.3はブロック単位でスケーリングされるFP4向けにネイティブの量子化対応トレーニング（QAT）が施されていなかったため、このモデルではFP4の採用によりわずかな精度低下が生じる。これによりNvidiaの優位性は削がれるものの、完全に消え去るわけではない。

MXFP4ウェイトを使用し、vLLM開発元のインファクト（Inferact）と共に提出された「Kimi K3」の結果は、競争環境の移り変わりの早さを示している。10月17日の発表時点では、TPUv7は50〜200 tok/s/userの範囲においてGB300のドル当たりトークンの0.77倍〜0.91倍の性能だった。また、単一ユーザー向けでは、GB300の251 tok/s/userに対し、391 tok/s/userと1.6倍高速であった。グーグルの社内コスト基準では、100および200 tok/s/userでGB300を凌駕した。その後、Nvidiaが4回のソフトウェアアップデートを実施した結果、現在ではGB300 FP4が1.5倍〜2.6倍の差をつけてリードしている。もっとも、TPUv7は依然としてGB200、B200、B300、MI355Xの1.15倍〜2.5倍のドル当たりトークン性能を維持している。プレビュー版である「Rubin VR200」の提出分ではTPUv7の4.3倍〜5.6倍、一部の比較では最大6倍の数値が示されている。これについてセミアナリシスは、Rubinは近々ベンチマークを実施予定のTPUv8iと比較されるべきであり、不公正な対決であると評している。同時に、Rubinの数値は同社が独自に再現していないプレビュー版の提出値であることも強調している。

メタの「Muse Spark Open」、GPU型モデルでTPUの競争力を証明

技術的に最も興味深い結果となったのは、SGLangの主要メンテナーであるRadixArkが提出し、SGLang上でTorchTPUを用いて実行された816Bパラメータモデル「Muse Spark Open」かもしれない。セミアナリシスによれば、メタ（Meta）はこの技術スタックを通じてすでに生産環境でTPUv7を展開している。プロダクション推論にはSGLangを、強化学習のロールアウトにはvLLMを使用しているという。

このモデルはもともとGPUを念頭に置いて設計されたものだ。その64のヘッド次元（head dimension）により、長文脈アテンションにおいてはTPUのシストリックアレイの25%が無駄なパディング（埋め合わせ）となる。GPUのマトリックスコアはより小さなタイルを処理するため、H100やB200ではヘッド次元を128ではなく64にしてもコストはほとんどかからず、アテンション層をより安価にできる。セミアナリシスが指摘するように、アンソロピック（Anthropic）やグーグル・ディープマインド（Google DeepMind）、そして間もなくオープンAI（OpenAI）といった大規模なTPUフリートを持つ研究機関は通常、アテンションの形状がハードウェアに適合するようにモデルを共同設計している。それでもTPUv7は、TPU調達に関するメタのコスト基準に基づいた場合であっても、競争力のあるドル当たりのデコード性能を記録した。ただし、エンドツーエンドのレイテンシはまだ競争力に達しておらず、レポートではプリフィルカーネルのさらなる最適化が必要であると述べられている。

パフォーマンス向上の要因

セミアナリシスは、性能向上の大部分がグーグルおよびオープンソースのメンテナーによるソフトウェアの成果によるものだと分析している。デコード用メガカーネル（decod megakernels）は、1つのデコードステップ全体を単一のカーネル内で実行し、現在の層の計算が行われている間に次の層のウェイトをプリフェッチする。これにより、従来のステップで発生していた何百から何千ものカーネル起動の間に生じるアイドルギャップが排除される。AMDの発表によると、同社独自のバージョンでは、GLM-5.2のデコードステップにおけるカーネル起動回数が約2,459回から210回に削減され、バッチサイズ1の場合で2.31倍高速に動作するという。

Qwen3.5のスタックにおいて、グーグルはKVキャッシュとリニアアテンションの状態をホストDRAMに退避させるフレームワーク「TPU Sync」もオープンソース化した。グーグルによれば、プレフィックスを保持するホストに各ターンを送信するllm-d内のキャッシュ認識ルーティングにより、デコードキャッシュのヒット率は56%から76%に向上したという。GLM-5.3向けの最適化には、デコードコンテキスト並列処理、選別された2,048個のキャッシュエントリを収集するためのTPUv7のSparseCoresの活用、無駄なバイト数を削減する再パックされたインデクサーレイアウト、および小バッチ向けカーネル形状の追加などが含まれる。分解型アプローチにはコストも伴う。最も高速な地点において、最初のトークン生成までの時間（p90 TTFT）は、GB300 FP4の11.1秒に対し、8.6秒となっている。ターンベースのルーティングでは、TPUはエンドツーエンドでGB300 TRT-LLM FP4の後塵を拝するものの、FP8およびFP4のどちらの環境でもGB300 SGLangを大きく引き離している。

Nvidiaが抱える官僚主義の課題

セミアナリシスはそのリポートの少なくない紙幅を割いてNvidiaの企業文化を批判し、官僚主義を「ジェンスンが対処せざるを得ないNvidiaのモートに対する最大の脅威の一つ」と呼んでいる。オープンソースのメンテナーや顧客からの報告によると、PyTorch CUDAグラフキャプチャに必要な単純なドライバー機能が「Nvidia社内の法務審査」に3か月間放置されたままであるという。ConnectX、NVSwitch、HGXボードにおけるDCGM電源テレメトリーの改善要求も同様に遅れている。同社の経験では、Nvidiaは外部からの提案、コミット、フィードバックに対する反応速度において、現在ではAMD、グーグル、アマゾン（Amazon）よりも遅くなっている。

クラスターへのアクセスも苦情の一部となっている。セミアナリシスによれば、コミュニティのメンテナーに対するNvidiaの計算資源の提供は「DMV（車両管理局）スタイルの官僚主義に包まれ、せいぜいケチくさいもの」になっており、時価総額5兆ドルの企業としては理解しがたいとしている。対照的にグーグルは、メンテナーに十分なチップを提供するというNvidiaのプレイブック（常道）を踏襲している。Muse Spark OpenおよびKimi K3.1 Pro向けには、すでにDay 0（対応初日）のTPUサポートが提供されている。AMDもアップストリームのメンテナーに対してより寛大になっている。なお、レポートではNvidiaの一部のチーム、特に元CentMLのvLLMグループの功績を称えており、彼らはAMDやTPUのメガカーネルの作業に1週間以内で追いついた。

裏付けに関する留意点

投資家はいくつかのポイントを慎重に吟味すべきである。ベンチマークである「InferenceX」はセミアナリシス自身が作成したものであるが、幅広い購入者、研究機関、オープンソースプロジェクトによって支持されている。同レポートは、グーグルの社内コスト基準と、外部の顧客が支払う価格設定を区別しており、それらの比較によってはTPUの優位性が縮小、あるいは逆転することもある。Rubinの結果は未検証のプレビュー版であり、Nvidiaはこれまでのところ結果を迅速に改善できることを示している。レポートも、TPUv7にはFP4がなく、一部の構成においてエンドツーエンドのレイテンシで劣っていることを認めている。それでもセミアナリシスは、vLLM、SGLang、llm-d、PyTorchを通じて提供されるエージェント型ワークロードにおける信頼性の高いTPUの価格性能比が、「CUDAこそが唯一の現実的な本番環境へのパスである」という主張を弱めていると論じている。また、同社のアクセラレータモデルが予測した通り、オラクル（Oracle）、オープンAI、アンソロピック、メタのすべてがTPUの顧客になっていることも特筆している。RadixArkによるさらなるAgentXの提出や、初のTPUv8iベンチマークも間もなく公開される見通しである。