SemiAnalysis：AIの「100倍」の飛躍は、チップの高速化ではなくハード・ソフトの共同設計から生まれる
Dylan Patel氏が語る、モデル・カーネル・シリコンの統合最適化がもたらす画期的なゲインと、「CUDAの堀」の真実
SemiAnalysisの創業者であるDylan Patel氏は、AIの進化に関する従来の通説を覆す挑発的な主張を展開している。AIの最大の飛躍は、単なるチップの高速化からは生まれない。AIの進化は、スタック全体にわたるソフトウェアとハードウェアの「共同設計（Co-Design）」によってもたらされる。これにより、各層での2倍の改善が積み重なり、最終的に100倍の飛躍へとつながるのだ。Sequoia CapitalのパートナーであるShaun Maguire氏、Sonya Huang氏との広範な対談の中で、Patel氏は以下の点を指摘した。DeepSeekの専門家レイヤーがなぜNvidiaのHopperアーキテクチャ向けに最適化されたのか、GoogleのTPUが特定のモデルを効率的に実行するのに苦労する理由は何か、そして、いわゆる「CUDAの堀」が実際にはCUDAそのものではなかったという真相についてである。
ハードウェアとソフトウェアの共同設計が指数関数的なゲインを推進
Patel氏は、過去3年間のAI効率の向上が主にハードウェアの改善によるもので、モデルレベルのアルゴリズムの進歩がそれに付随しただけだという見方を根本的に否定する。同氏の調査は全く異なる実態を示している。DeepSeekの最も最適化されたデプロイメントでは、過去3年間でHopperからBlackwellへの移行により約30倍の向上が見られた。しかし、同等の品質におけるワットあたりのインテリジェンス（知能）は60倍近く向上しており、一部の測定では同程度のコスト低減も確認されている。この差は、単一の改善ではなく、各レイヤー間の共同最適化から生じている。
Patel氏によると、DeepSeek V3のすべての専門家レイヤーの形状は、Hopperアーキテクチャ専用に最適化されていた。V4では、BlackwellおよびHuaweiのチップ向けに最適化が進められている。これにより興味深い力学が働いている。GoogleのTPUは、DeepMindの全処理を担い、Anthropicの事前学習も処理する非常に優れたチップであるにもかかわらず、DeepSeekモデルの実行時にはパフォーマンスが低下する。モデルがそのハードウェア向けに設計されていないからだ。逆に、他のモデルはTPUで極めて良好に動作するが、NvidiaのGPUでは苦戦する。
最適化のレベルは、多くの観察者が認識しているよりもはるかに深い。Patel氏は、専門家の形状、ネットワークの入出力パターン、コレクティブ（集団通信）の処理方法、アテンションメカニズムの算術強度などが考慮されていると指摘する。モデル、ハードウェア、そしてその間にあるインフラストラクチャソフトウェアの間ですべてが共同最適化されているのだ。真のブレイクスルーはこれら3つのレイヤーすべてを同時に最適化することで起こるため、どこからゲインが生まれているのかを切り離して考えることはほぼ不可能になっている。
ハードウェアの選択に基づき分岐するモデルアーキテクチャ
Patel氏の分析によれば、OpenAIとAnthropicは、それぞれ大きく異なるモデルアーキテクチャへと収束しつつある。OpenAIのモデルはよりスパース（疎）であり、特定の利点をもたらす一方で、異なるハードウェア最適化を必要とする。Anthropicのモデルもスパースではあるが、全体としてはよりデンス（密）であり、異なるトレードオフを生んでいる。これらのアーキテクチャの選択は、ハードウェアから独立して行われるわけではない。ネットワークトポロジーも極めて重要だ。Nvidiaのチップはすべて、72基のGPUしか接続できないNVLinkスイッチに接続される。一方、Googleのインターコネクトにはスイッチがなく、他のチップを経由することで8,000基のチップを極めて高い帯域幅で接続できる。こうしたインフラストラクチャの基本的な違いが、各プラットフォームでどのモデルアーキテクチャが最適に機能するかに影響を与える。
この影響は、各ラボがどのハードウェアを好むかという点にも及ぶ。Patel氏は、OpenAIのモデルの方向性を考えると、TPUは彼らにとって最悪の選択肢になり得ると示唆した。一方で、AnthropicやGoogleのモデルが向かっている方向性は、GPUが学習には適さない可能性を示している。同氏は、これはどちらのアーキテクチャが客観的に優れているかという話ではないと強調する。すべては共同設計に帰結する。最適化がモデルレイヤーにまで及んでいる以上、それらを切り離して測定することはできない。
「CUDAの堀」の正体はエコシステムの堀
Nvidiaの「CUDAの堀」をめぐる言説は誤解されている、とPatel氏は見ている。その堀は、CUDAそのものではなかった。実際には、ダウンストリームの製品がNvidiaのハードウェア向けに最適化されるようになっただけだ。DeepSeek、Qwen、Alibaba、Tencent、Xiaomiはすべて、GPU向けに共同設計されたモデルをリリースした。ユーザーがこれらのモデルをTPUで実行しようとすると、多くの場合、パフォーマンスが発揮できない。GoogleがTPUデプロイメントで同様のネットワーク効果を確立するには、Gemmaモデルで始めたように、自前のオープンソースモデルエコシステムを構築する必要がある。
従来の「CUDAの堀」という議論は、プログラマビリティと互換性を必要とする数万の顧客が存在するという前提に基づいていた。その前提は急速に変化している。主要なモデル企業は数千社ではなく、数十社程度だ。これらのラボは、異なるチップのためにカスタムカーネルを書くことを厭わない。Anthropicは学習にTPUを、推論にはTrainiumとGPUを組み合わせて活用している。Claudeのようなモデル企業や新しいコード生成モデルは最適化作業に長けており、ソフトウェアスタックの多くをコモディティ化させている。真のロックインは、推論APIプロバイダーや、ビジネスユースケースのためにオープンモデルをカスタマイズしようとする強化学習企業が、Nvidiaを主軸とするエコシステムのダウンストリームに位置しているという事実から生じている。専門家ディメンションや隠れ層のディメンションがGPU向けに構成されているため、たとえ本人がCUDAカーネルを書くことを気にしていなくても、効率的に実行するにはGPUが必要となるのだ。
InferenceXが追跡する年率60倍のコスト改善
SemiAnalysisは、最新モデルを毎日5,000万ドル以上の寄贈ハードウェアで実行するライブベンチマーク「InferenceX」を立ち上げた。このイニシアチブは、Patel氏がエコシステム内で十分な信頼を築き、CoreWeave、Crusoe、Nebius、Oracle、Microsoft、Amazon、Google、OpenAIからの協力を取り付けたことで実現した。このベンチマークは、SG Lang、vLLM、そして現在はオープンソースの推論最適化をリードするRadix ArcやInfractと連携している。TPUとTrainiumが追加されれば、寄贈ハードウェアの総額は1億ドルを超える見込みだ。
このベンチマークは、毎日約15種類のチップタイプで最新モデルをすべて実行しており、Moonshot、Alibaba、DeepSeek、Qwenといった中国ラボの最高峰モデルや、米国のトップオープンソースモデルも含まれている。システムはさまざまな構成や最適化タイプを網羅し、その結果と構成をすべて公開している。これにより、一部の企業が自社のハードウェアを有利に見せるために最適化不足の構成と比較するという、推論ベンチマークにおける大きな問題を解決する「パレート最適曲線」が作成される。最適なデプロイメントを求めるユーザーは、InferenceXからオープンソースコンテナをダウンロードしてその構成を実行したり、モデルごとに最も最適なポイントを自動ダウンロードしたりすることも可能だ。
InferenceXが測定する「スループット対インタラクティビティ」の曲線は、業界にとって最も重要な指標になったとPatel氏は主張する。ワークロードによってこの曲線の位置は異なる。バッチサイズが小さく、投機的デコーディング（Speculative Decoding）のような技術が有効な、個々のユーザー向けに超低遅延で高速な応答を必要とするアプリケーションもあれば、コストが速度よりもはるかに重要な、夜間に大量の文書をバッチ処理するワークロードもある。現在のインフラストラクチャはAIを「万能」なものとして扱っているが、市場は時間をかけてこの曲線に沿ってセグメント化されていくだろう。AnthropicのClaude「fast mode」は通常モードより大幅にコストが高い。OpenAIには優先キューがある。データは、同等の品質におけるモデルコストが年率で約60倍低下していることを示しており、これはソフトウェア最適化、ハードウェア改善、そしてそれらの共同設計によって推進される驚異的なペースである。
メモリ帯域幅と電力密度が主要なボトルネック
スタックのあらゆるレベルで追跡している最大のボトルネックについて尋ねられると、Patel氏はメモリ容量と帯域幅を挙げた。NANDセルは約25年前、DRAMセルは約40年前に発明された。その間、基本的なセル構造に大きなブレイクスルーはなかった。進歩はHBMを積み重ね、高速化することで達成されてきたが、HBMをチップと別に積層するのではなく、メモリを直接チップ上に積層するという新たなイノベーションが進行中だ。これにより帯域幅は爆発的に向上し、複数の企業がこのアプローチに取り組んでいる。
電力密度もまた、重要な制約である。過去20年間、データセンターおよびデスクトップチップは、シリコン1平方ミリメートルあたり約1ワットでピークに達している。100平方ミリメートルのチップであれば、消費電力は概ね100ワット以下となる。最新のNvidiaシリコンやGoogleのTPUシリコンも、この1平方ミリメートルあたり1ワットの範囲に収まっている。現在、チップは1,400ワットに達しており、次世代のNvidia Rubinは2,000ワット、Rubin Ultraは4,000ワットに達する可能性がある。しかし、これらの増加は電力密度の向上ではなく、シリコン面積の拡大によるものだ。
エキサイティングな開発は、1平方ミリメートルあたり1ワットを大幅に超える電力をシリコンに供給する取り組みだ。これが実現すれば、より高い電力で動作させることで、同じ演算能力を達成するために必要なシリコン面積を減らすことができる。当然、熱の問題や電気的干渉の問題が生じるため、これは依然として困難なエンジニアリング課題であり、業界が約1ワット/平方ミリメートルに留まってきた理由でもある。しかし、この制約を解決できれば、大幅なゲインが解き放たれる可能性がある。
モデルのTAM拡大が供給を上回り、計算資源の逼迫は続く
四半期ごとに前四半期よりも大幅に多くの計算資源がデプロイされ、データセンターも増設されている。今年は遅延を考慮しても20ギガワットがデプロイされ、来年は30ギガワットを超える見込みだ。それでもPatel氏は、計算資源の逼迫は当面続くと予想している。その理由は、有用なAIワークのTAM（獲得可能な最大市場規模）が、計算能力の増加よりも速く拡大するという根本的な力学にある。
Mythos 5やFableのようなモデルのTAMは、Opusの単なる2倍ではないと彼は説明する。モデルがはるかに優れ、より多くのタスクを処理できるため、TAMは2倍以上に拡大している。しかし、Opus 4.5の発売からFableやMythosが登場するまでの6〜8ヶ月間で、世界の計算資源が2倍になったわけではない。モデルの能力向上は、計算資源のスケールアップよりも速い。AnthropicのOpus 4.8トークンのマージンはAPI価格ベースで80％を超えているが、BedrockやVertexを通じた取引により、企業全体の粗利益は幾分押し下げられている。これほど高いマージンがあれば、Anthropicは調達するすべてのGPUに対して市場価格以上の金額を支払う財務能力がある。同じ論理が、強力なユニットエコノミクスを持つ他の主要ラボにも当てはまる。
問題は、モデルの進歩が停滞した場合に何が起こるかだ。AnthropicやOpenAIのエンジニアとの会話から、彼らは進歩が急速なペースで続くことを確信していることがうかがえる。モデル自体がインフラストラクチャの構築やコードの最適化を支援し、次世代モデルのリリースを早めることで、進歩が加速する可能性すらある。これは一種の「疑似再帰的な自己改善ループ」を生み出している。この評価が正しければ、計算資源の逼迫は続く。もしモデル能力が停滞すれば、供給が需要に追いつき、潮目が変わる可能性がある。
ハイパースケーラーの専門知識がAIワークロードに転用できず、ネオクラウドが台頭
CoreWeaveやCrusoeのような「ネオクラウド」の出現は、規模とインフラにおけるハイパースケーラーの優位性を考えると驚くべきことに思えるかもしれない。Patel氏は2023年にAmazonを激怒させたレポート『Amazon Cloud Crisis』を執筆し、なぜAmazonが従来のワークロードにおいて最高のクラウドプロバイダーであったかを説明した。彼らのNitro NICは、ハイパーバイザーをNIC上で実行してすべてのコアを顧客に販売することで、テナント分離を実現した。彼らは生のNANDを購入してカスタムSSDを構築し、ストレージコストを削減した。カスタムGraviton CPUはコアあたりのコストを押し下げた。これらのイノベーションは、従来のCPUベースのクラウド世界では見事に機能した。
しかし、AIクラウドにおいては、こうした専門知識の多くは無関係であるか、むしろ有害ですらあった。Nitro NICはパフォーマンスを低下させ、現在も反復改善されているものの、依然としてパフォーマンスは劣る。顧客が単一のGPUを数時間借りるのではなく、長期契約で72基のGPUラック全体を借りる場合、マルチテナントのタイムスライシング用に設計されたセキュリティ機能は重要ではない。GoogleやAmazonで従来のワークロード向けに最適化されたカスタムネットワークは、実際にはAIのパフォーマンスを阻害した。Microsoftは自社データセンターの構築によるコスト削減を狙ったが、データセンターチームが予測を急速に倍増させる必要性に対応できず、ネオクラウドのキャパシティを借りざるを得なくなった。
パフォーマンスの優位性と市場投入までの時間が、ネオクラウドの機会の多くを説明している。これらの企業を構築しているのは、計算資源をより速く提供することで富を得る、レバレッジの効いたエクイティオーナーたちだ。彼らはビットコインマイニングなどの背景を持ち、市場の変動が激しい環境での運営方法を熟知している。一方で、巨大なハイパースケーラー組織には、データセンターを6ヶ月早く構築するための個人的な富の創出インセンティブが存在しない。NvidiaのCEOであるJensen Huang氏は、マルチポーラー（多極化）な世界を強く望んでいるため、ネオクラウドのエコシステムを積極的に支援している。ハイパースケーラーだけが計算資源を構築し、OpenAI、Anthropic、Googleだけが主要なモデルを持つ世界になれば、Nvidiaの交渉力は劇的に低下するだろう。5年後、CrusoeやCoreWeaveが存在することは、GoogleのTPUやAmazonのTrainiumが相対的に弱体化し、GPUの市場シェアが維持されることを意味する。
運用能力の差で大きく異なるデータセンターの稼働率
すべてのギガワットが平等に作られているわけではない。Trainiumは、AnthropicやOpenAIに対して1ギガワットあたり100億ドル未満のレンタルレートで販売されている。最近の計算資源不足以前、GPUはネオクラウドやAmazonから1ギガワットあたり120億〜130億ドルで取引されていた。GoogleとSpaceXの契約は、年間1ギガワットあたり約250億ドルに達したと報じられており、莫大なプレミアムがついている。データセンターのコロケーション価格はかつて1キロワットあたり月額60ドルだったが、現在は120〜160ドルで取引されており、信用力の低い顧客やプレミアム施設では200ドルに達することもある。一方で、送電網の信頼性や接続性が劣るインドなどでは80ドルという低価格もある。
運用能力の洗練度は、価値に巨大な差を生む。Googleは、ワークロードを深く理解しているため、電力を柔軟に融通できる。その結果、1ギガワットのデータセンターに1.5ギガワット分のハードウェアをデプロイする。ハードウェアが60〜70％の電力消費で稼働するのではなく、1ギガワットを継続的に使い切るのだ。一部のオペレーターは電力会社と契約を結び、送電網が持続的に1ギガワットを提供しつつ、年間3日を除いて2ギガワットを提供できるような運用を行う。彼らは2ギガワットのキャパシティをデプロイし、バックアップ発電機やバッテリーを使ってピーク時の制約に対処する。これには、ワークロード、バックアップ電源、オンサイト発電能力の卓越した管理が必要だ。この戦略を実行できる企業は、同じ送電網接続から実質的に2倍のギガワットを販売したり、他社が構築できない場所でキャパシティを販売したりできる。
現在の収益化状況に基づけば、Anthropicに提供された1ギガワットは、OpenAIに提供された1ギガワットよりも客観的に多くの収益を生む。ただし、両社ともレート制限やトークン上限を考慮すれば、現在確保しているすべてのギガワットを販売できる。InferenceXのパフォーマンスと信頼性テストに基づけば、CoreWeaveはAmazon、Google、Microsoftよりも客観的に優れたGPU計算パフォーマンスを提供している。しかし、CoreWeaveはキャパシティがオンラインになる6ヶ月前に販売し、その契約を使って発行済みの発注書に対する債務融資を確保しなければならない。対照的にSpaceXは、キャパシティが現在稼働中であり即座に購入可能であると顧客に伝えることで、在庫を抱えるバランスシートの強さを背景にプレミアム価格を実現している。
宇宙データセンターの重要性は5年以内には限定的
10〜15年の期間で推論計算の何パーセントが宇宙で行われるかという問いに対し、Patel氏は誇大広告に反する慎重な見解を示した。同氏は、今後3〜5年で宇宙データセンターが重要になるとは考えていない。真の要因は、地上での電力構築コストと、地上でどれだけの電力をデプロイできるかにかかっている。しかし、2040年までには計算資源の大半が宇宙で運用されると予想している。2030年までに、OpenAIとAnthropicだけで合計100ギガワットを超える計算資源を指揮するだろう。MetaやGoogleなどのプレイヤーを加えると、推論専用の巨大なデプロイメント規模になる。2040年には、業界はテラワット規模で運用されているはずだ。
AIによる生産性向上の曲線は、推論デプロイメントを世界最大の市場の一つに押し上げるだろう。Patel氏の評価では、石油よりもはるかに大きな市場になる。その予測が正しければ、地上の電力制約が最終的に宇宙への移行を強制することになる。しかし2030年時点では、増分計算資源の1％未満が軌道上の施設に向かうと予想している。宇宙が主要なデプロイメント環境になるには、技術と経済性が成熟するまであと10年を要するだろう。