DeepMindのYao Shunyu氏：事前学習は終わっておらず、英雄の時代は去り、次のフロンティアは「長期タスク」にある
Zhang Xiaojun氏によるポッドキャストインタビュー（2026年3月収録）
Google DeepMindのリサーチサイエンティストであり、以前はAnthropicでClaude 3.7および4.5のトレーニングに従事したYao Shunyu氏は、現在のAIの立ち位置について極めて率直な評価を下している。すなわち、個人の英雄によるイノベーションの時代は終わり、事前学習には依然として大きな伸びしろがあり、世間で信じられているような「根本的な限界（壁）」には到達していないというものだ。Gemini 3の開発に携わる立場から、Yao氏は世界トップレベルのAIラボの内部で実際に何が起きているのか、極めて率直なインサイダーの視点を語った。
事前学習は決して終わっていない
Yao氏の主張の中で最も逆張り的なのは、事前学習が頭打ちになったという一般的な見方を否定している点だ。「私の経験上、頭打ちにはなっていない」と、スケーリング則（Scaling Laws）が限界に達したのかという問いに対し、同氏は断言する。「今後4カ月を見ても、終わる兆候は全く感じられない」。これは、推論モデルやポストトレーニングの向上を巡る初期の熱狂の後、多くの観測筋が信じていたこととは真っ向から対立する。
Yao氏は、壁に突き当たったと主張する人々の大半は、根本的な限界ではなく、単なるバグに遭遇しているだけだと論じる。「私の観察では、壁に突き当たったと言う人々の大半は、実は3番目の理由、つまり自分では気づいていない作業上のバグがあるだけだ。だから限界に達したと思い込んでいる」。同氏は、トークンホライズンやデータ選択に関する科学的な前提の誤り、あるいは単純な実装ミスが真の原因であると指摘する。
技術的なニュアンスが重要だ。何が実際に向上しているのかと問われると、Yao氏はこう説明する。「モデルの学習能力はますます強固になっている。以前はモデルに何かを学習させるのに多大な労力を要したが、今はおそらくそれほど必要ない。最も重要なのは、問題を明確に定義し、適切なデータを構築する方法を見つけ出すことだ」
なぜコーディングが最初に爆発したのか
エージェント的なコーディングがなぜ最初にブレイクスルーとなったのかという問いに対し、Yao氏はAnthropicで実際に何が起きたのかについて極めて明快な見解を示す。コーディングが優位だったのは構造的な理由によるもので、偶然ではない。「コーディングのシナリオには2つの最大の利点がある。1つ目は報酬シグナル、つまりフィードバックシグナルが非常に明確であることだ」。機能を実装する際、入力と出力はテスト可能であり、成功か失敗かは二元的かつ即座に判明する。
2つ目の利点はデータインフラだ。「GitHubは過去数十年にわたり、多くの優れたプログラマーが書いた高品質なコードを蓄積してきた。そのコードを起点に、膨大な数の環境を構築できる」。この明確なフィードバックと豊富な高品質データの組み合わせが、コーディングを大規模強化学習にとって理想的な最初の領域にした。
しかし、そこには偶然性も絡んでいた。Yao氏は、Claude 3.5のコーディング能力が、事前学習データにおいてコード品質を好むような技術的選択から、ある種偶発的に生まれたことを明かす。「ウェブから無作為に収集し、データフィルタリングを行わなければ、GitHubのページは他の一般的なウェブページよりも質が著しく高いため、自然とコードデータの品質は高くなる」。Anthropicがユーザーフィードバックを通じてこの優位性に気づくと、同社は全力を注ぐことを決断した。これは、同社特有の組織構造によって可能になった判断だった。
Anthropicの構造的優位性と限界
Yao氏は、Anthropicがトップダウンの意思決定によって「非常に強力な実行力」を持っていると評する。これは他の多くの企業が模倣できないものだ。その秘訣は、創業チームに集中する技術的信頼性にある。「技術リーダーが実際に会社の共同創業者であることだ」と、Jared Kaplan氏とSam McCandlish氏を名指しする。「彼ら自身が決定を下す。彼らの会社なのだから、トップダウンで実行する権限を持っている」
この構造により、Anthropicはチャンスが到来した際にコーディングに対して果敢な賭けに出ることができた。「私が入社した時、誰もがこのことが可能であり、重要であると確信していた。しかし、やり方は完全にはわかっていなかった。私が参加した時、全員でその方法を研究していた」。同社は、技術とビジネスのリーダーシップが分離している組織では不可能な方法で、大規模強化学習にリソースを迅速に集中させることができた。
しかし、Yao氏は約1年でAnthropicを去った。その理由は、急速な拡大に伴う文化の変化と、CEOのDario Amodei氏の「反中姿勢」への同意の欠如であり、後者が退職理由の約40%を占めるという。「私はDarioの反中姿勢に同意できなかった。会社CEOとして、個人的にどのような見解を持っていようと構わない。しかし、会社CEOとして、この見解を極端に押し出すのは非常に感情的な反応だと感じた」
Googleの異なるプレイブック
Google DeepMindにおいて、Yao氏はAnthropicとは全く異なるものの、機能している組織モデルを見出した。Anthropicのトップダウンの賭けとは異なり、Googleはポートフォリオ・アプローチを採用している。「大企業とスタートアップでは、プレイブックが根本的に異なる。スタートアップにとって重要なのは賭けをすることだ。何かを賭けなければならない。賭けるということは、リスクがあることを意味する」
Googleの優位性は別にある。「大企業の考え方は、ギャンブルの側面を最小限に抑えるだけでなく、あらゆる領域に予備を確保しておくことかもしれない。そして、何かが成功すれば追いつくことができる。自ら成功すれば、リードを奪うことさえできる」。つまり、GoogleにはAnthropicが必要とするような集中型の技術リーダーシップは不要なのだ。
Googleにおける事前学習は「非常に制御可能で、予測可能なもの」となっている。「次世代モデルが悪くなることはない」と確信できる。組織は誰が何を所有しているかを明確にしており、モデル開発をGoogleの伝統的な強みを生かしたエンジニアリングプロジェクトに変貌させている。「Googleのエンジニアリング管理能力は非常に強力だ。だから、時間をかけて着実に良くしていくことができる」
Yao氏によれば、Geminiの転換点はGemini 3だけではなく、「Nano Banana」がバイラル化してユーザー数を獲得し、直後にGemini 3が優れたモデル品質でそれらのユーザーを維持したという「二段構え」の成功にあった。「もしGemini 3しかなかったら、これほど素晴らしい結果にはならなかっただろう。市場シェアが10%未満の段階では、モデルが多少優れていようが悪かろうが、普及は遅すぎるからだ」
次のパラダイム：長期タスク
次の大きなブレイクスルーについて問われると、Yao氏はマルチモーダル生成や継続学習ではなく、「長期タスク」が重要なフロンティアであると指摘する。彼のビジョンは、内部で使われる「有限のコンテキストで学習し、無限のコンテキストとして使用する」というスローガンに集約される。目標は、インテリジェントなコンテキスト管理を通じて、限られたコンテキストウィンドウ内でモデルに非常に長いタスクを処理させること、つまり、人間のように重要事項を選択的に記憶・忘却するようにモデルを教育することだ。
「人間のコンテキストは実は非常に短い。昨晩何を食べたか聞かれても、全く思い出せない」とYao氏は言う。「現在のシナリオにとって重要ではないからだ。だから忘れることを選ぶ。人間のコンテキストの本質は非常に短い。しかし、人間は選択的に忘却し、選択的に取り出すことで、現在のシナリオに関連する重要な情報を呼び戻すことができる」
この方向性は、MLコーディング、つまりAIを使ってAI研究自体を自動化することと密接に関連している。Yao氏は6〜12カ月以内に「AIが自ら実験を行う」ようになると考えている。実験の設計、実行、結果の分析、新しい仮説の提案、反復といった研究プロジェクト全体を完結させるという意味だ。「チェーンはまだ完成していない。しかし、このチェーンこそが、徐々に完成に向かう次のものになるだろう」
蒸留、ベンチマーク、そして真に重要なこと
frontierモデルから蒸留を行う中国のラボについて、Yao氏は「ハード蒸留」と「ソフト蒸留」の間に微妙だが重要な区別を設ける。Claudeが生成したトークンをそのまま学習に使うハード蒸留は、非倫理的であるだけでなく、「知的にもかなり愚か」であり、企業が「自分たちが何をしたいのかさえわかっていない」ことを示している。しかし、データパイプラインのアシスタントや評価者として他のモデルを利用するソフト蒸留は、「商業的にはグレーゾーンだが、技術的な観点からは非常に興味深い」と語る。
同氏は、このアプローチを採用する中国のラボは「マルチエージェント学習のパイオニアになっている可能性がある」と論じる。「もし彼らが異なる企業のモデルをより賢いアプローチで統合し、単一の学習システムに組み込めば、各モデルの分布は大きく異なる可能性があるからだ」
現在のベンチマーク競争について、Yao氏は冷ややかだ。「ある意味で、注目に値するものは何もない」。誰もが競い合う公開ベンチマークは本質的に飽和している。「モデルの基本的な能力が強力であることを証明するために、誰もが様々なベンチマークで1位を競い合う。このことは、今や世間の注目を集めており、それらのベンチマークはいくぶん限界に達している」
個人の英雄の死
Yao氏の最も印象的なテーゼは、AI研究が個人の卓越性から集団的な実行へと根本的にシフトしたというものだ。「今の誰もが基本的にサーファーのようなものだ。本質的には波であり、サーファーではない」と彼は言う。「言語モデルにおける個人の英雄の時代は、おそらく過ぎ去った」
英雄の時代はいつ終わったのか。「Transformerの瞬間だ。技術がスケールアップ段階に達する前は、その技術を発見した人物が英雄だったかもしれない。その技術が見つかった後、モデル側に関しては、長い間集団主義的な側面が強かった」
これは謙遜ではない。Yao氏は、この分野が単純化されたため、個人の貢献は体系的な実行に比べてはるかに重要度が下がったと本気で信じている。「AIという分野は根本的に単純だ。アイデアが本当に深い洞察を必要とするような飛躍の瞬間を除けば、その後のプロセスにおける多くのアイデアは実は非常に些細なものだ。非常に愚かと言ってもいい。誰でも思いつくし、誰でも実行できる。たまたま幸運にも、それを実行する機会を掴んだだけだ」
今重要なのは卓越性ではなく、信頼性だ。「この業界で最も重要な資質は、信頼できること、慎重に物事を行うこと、そして自分の行動に責任を持つことだ。これが最も重要だ」。彼はさらに踏み込む。「このAIというものは、実はそれほど頭を必要としないように思える。本当に、それほど頭を必要としない」
ラッパー問題と製品の堀
OpenClawやManusのようなアプリケーション企業が、初期の強い牽引力にもかかわらずモデルラボに売却された理由について、Yao氏はモデル企業の重力から逃れるための脱出速度が不十分であるという根本的な問題を指摘する。「現在の環境でラッパー（既存モデルの皮を被ったアプリ）が生き残るには2つのアプローチがある。1つは十分に速く脱出することだ。成長速度が速く、モデル企業が追いつく頃には、すでに重要なユーザーの心をつかんでいるという状態だ」
AIネイティブなコーディング空間において「私が考えうる中でほぼ最も急成長しているスタートアップ」であるCursorでさえ、Claude Codeの登場後、Anthropicと「かなり競争的な関係」にある。核心的な問題は、生産性ツールにおける「勝者総取り」のダイナミクスだ。「コーディングに関しては、本質的にプロのユーザーにサービスを提供するプロのニーズだ。生産性ツールなのだ。生産性ツールでよくあるシナリオは、勝者総取りである」
もう一つの生存経路は、モデル企業が競争するのを面倒に思うほど小さく留まることだ。Yao氏はMidjourneyがこれに成功したと示唆する。「市場が非常に小さいため、GeminiがMidjourneyの模倣を試みようとしても、それには労力や資金、データが必要であり、Geminiが時間を割く価値があるかというと、そうではないほど小さいのだ」
プログラマーが懸念すべき理由
Yao氏はソフトウェアエンジニアの未来について、オブラートに包んだ言い方はしない。プログラマーが完全に置き換えられるのはいつかという問いに対し、こう答える。「その日は来るだろう。しかし、一気に来るわけではない」。同氏は最終的に「かつての1,000分の1の人数が全員分の仕事をこなし、現在の100倍の給与を稼ぐようになるだろう」と推測する。
自身のコーディング生産性についての評価は厳しい。控えめに見ても「モデルが90%以上を書いている。控えめでなければ、99%か100%かもしれない」。自身で書く残りの部分は「ますます少なくなっている」。研究者として、自身の実験速度は1年半前と比べて「20倍、あるいは50倍速く」なっている。
生き残りたいプログラマーへのアドバイスは何か。「新しいものを受け入れること。それが非常に重要だ」。将来のプログラマーには、技術的に強力であり、自分の仕事が組織全体の中でどう適合するかを理解し、複雑なタスクをAIが処理できる断片に分解する強力な計画能力が必要になる。しかし、Yao氏はこれらの要件さえさらに縮小する可能性があると警告する。「半年後にまた聞かれたら、最後の一つもAIがすでにできるようになっているかもしれない。そうすれば、残るは2つだけだ」
実際には機能していないもの
理論的高エネルギー物理学での博士課程での経験について問われると、Yao氏は何が良い研究を作るかという見方を形成した経験を明かす。「自分自身としては多くを学び、成長した。しかし、この世界に対しては、何ら貢献を生み出さなかった」。問題は仕事の質ではなかった。「私の博士論文が悪いと言う人は誰もいなかった」が、分野の根本的な構造に問題があった。
高エネルギー理論は実験で検証可能な範囲を超えて進歩しており、評価基準は数学的な自己整合性と、分野のシニア研究者の主観的な判断だけが残されている。「この分野が実験や客観的な基準を完全に欠いている時、ただ一つのフレームワークだけが現れることは決してない。この時、誰がうまくいき、誰がうまくいかないかは、実際には分野の古参たちの主観的な判断に依存する」
この経験から、Yao氏は「比較的客観的な評価基準を持つこと、あるいは別の観点からは、この世界に影響を与えられることを行う」ことを学んだ。彼がAIにおける検証不可能な曖昧な主張を嫌うのはそのためだ。特定の著名な人物の声明は「定義が明確ではないため、間違っているとさえ言えない」という。
中国と米国の分岐
Yao氏は、中国と米国のAI競争が、それぞれの地域の歴史的な強みに形作られ、根本的に異なる方向に向かっていると見ている。米国のエンタープライズおよび生産性ソフトウェアへの注力は、容易な利益率とわかりやすいビジネスモデルを反映している。「コードを書くのを手伝い、コストは月150ドル、200ドルで販売すれば、50ドルの利益が出る」
中国の消費者向けアプローチは、洗練された間接的な収益化の10年の経験に基づいている。「中国が本当に強いのは消費者側だ。非常に複雑な製品機能や構造を思いつき、一見不自然な方法で、利益を雪だるま式に増やすことができる」。彼が挙げる例はDouyin（TikTokの中国版）であり、動画ごとに課金するのではなく、広告、ライブストリーミング、Eコマースを通じて静かに収益化している。
この分岐は、中国のAI議論を支配する「スーパーアプリ」の物語が、米国市場ではほとんど意味をなさないことを意味する。「OpenAIとAnthropicのどちらが先に死ぬか（もちろん実際には死なないが、どちらが先に重要でなくなるか）と聞かれたら、当時はAnthropicの方が先に重要でなくなると思っただろう。しかしその後、OpenAIがGoogleに殴られ、Anthropic自身が軌道に乗った。だから今ではAnthropicの方が優位に見える」
米国企業がByteDanceを理解しているかという問いに対し、Yao氏は率直だ。「私の感覚では、ノーだ。まだ理解していない」。誰もがByteDanceを過小評価されており、消費者市場で支配的であることは認識しているが、同社がどのように運営されているかの真の理解は依然として捉えどころがない。
真のボトルネック
あらゆる技術的進歩にもかかわらず、Yao氏は製品定義こそが現在の限界要因であると特定する。「今は後者だと思う。やりたいことは頭打ちになっている。現在、チャットボットがあることは知っており、これをするように教えることができる。そしてコーディングがあり、これをするように教えることができる。そして、他に何を教えるべきかわからない」
これはモデルの能力の問題ではない。「このモデルは今でも非常に賢い子供だ。多くのことを教えることができる。しかし、教師である我々人間は、次に何を教えるべきか、あるいは現在のパラダイムを使ってどのように合理的に教えるべきかを知らない」。これは、適切な問題を特定し、明確な学習目標を定義できるプロダクトマネージャーが、ソリューションを実装できる研究者よりも価値が高くなったことを意味する。
OpenAIの現在の立ち位置を見ると、Yao氏は、Googleがチャットボットで追いつく前に検索を完全に置き換えなかったことで「OpenAIはGoogleの命を救った」という皮肉を指摘する。もしOpenAIがGoogleの対応前に検索を完全に奪っていたら、「非常に厳しい状況になっていただろう。しかし幸運にも、OpenAIが最初にこれを行い、Googleにこれが重要だと気づかせた。しかし、最後までやり遂げなかった」
最終的な評価は至って淡々としている。「今、誰の地位も安泰ではないと思う。AIの形態はまだ長い道のりの途中だ。我々はまだエンドゲームには到達していない」。AGIに向けて突き進んでいるとされる分野にとって、真の課題は計算資源のスケールアップよりも、何を構築すべきかを解明することにあるかもしれないという、冷静な警告である。