姚舜禹：預学習の壁は存在せず、AI研究は本質的にシンプルであり、個人の英雄主義の時代は終わった
元AnthropicおよびGoogle DeepMindの研究者が語るClaude 3.7、4.5、Gemini 3のトレーニング（2026年3月収録）
姚舜禹（Yao Shunyu）は、光によって色が変わるアンバー色の眼鏡をかけてインタビューに現れた。シリコンバレーのAI界隈には「姚舜禹」という名が2人おり、どちらも清華大学の同級生である。1人は2025年にOpenAIからTencentへ移籍した。そしてもう1人、今回のゲストである彼は、同年AnthropicからGoogle DeepMindへ移った。過去2年間、彼はClaude 3.7、4.5、Gemini 3といった主要モデルの開発に貢献してきた。彼のキャリアの軌跡は、AI研究が個人の卓越性による時代から、集団的な実行力の時代へとどのように進化してきたかを物語っている。
最も物議を醸す見解：預学習の進展は鈍化していない
2026年第1四半期という最前線の研究者としての立場から、姚は現在の支配的なナラティブに反する見解を示す。「全く鈍化していないと思います」と、モデルの進化が停滞しているかという問いに彼は断言する。「私の経験上、鈍化はしていません。今後4ヶ月間を見ても、それが終わる兆候は全く見当たりません」
この見方は物議を醸すものだ。数ヶ月前、多くの人々がスケーリング則（Scaling Law）は限界に達したのではないかと議論していた。姚の考えは明確だ。「誰かがパターンに限界が来たと考えるとき、それは基本的に2つの状況のどちらかです。1つは、そのパターンの適用範囲が限界に達したと感じる場合。もう1つは、データが枯渇したように、前提条件が満たせなくなったと感じる場合です。しかし実際には第3の可能性があります。それは、彼ら自身の作業の中に、自分では気づいていないバグがあるということです」
姚の観察によれば、限界に突き当たったと考える人々の大半は、この第3の理由によるものだ。「例えば、スケーリング則に取り組む際、科学的な仮定が少し間違っていたり、単純なバグがあったりするケースです。業界においてこれは驚くべきことではありません。多くの場合、1つのバグを修正する方が、小手先のテクニックよりもはるかに大きな進歩をもたらします」
姚によれば、預学習（Pre-training）はここ数ヶ月でむしろ強化されている。「モデルの預学習は、この数ヶ月で実際に強くなっています。今後4ヶ月を見ても、それが終わる兆候は全く見当たりません」。なぜ人々が限界を感じるのかという問いに対し、彼はこう答える。「なぜ彼らが限界に達したと考えているのかは分かりません。私自身は、全く限界を感じていないからです」
進歩を牽引するのは何か：データか、計算資源か、アルゴリズムか
モデルの能力を牽引するものについて、姚はすべてが寄与するものの、データと計算資源（Compute）は強く相関していると見ている。「計算資源が増えれば自然とより多くのデータが集まり、データが増えれば自然とより多くの計算資源が必要になります」。アルゴリズムについては、進歩にはフェーズ遷移があると主張する。何をすべきか全く分かっていない段階ではアルゴリズムが極めて重要だが、最も重要な洞察を得た後は、改善は漸進的になるという。
「例えば、言語モデルの預学習という観点では、そのアルゴリズムの飛躍はTransformerの開発でした。しかし、Transformerが発見されて以降、進歩は主に漸進的でスムーズなものです」と彼は説明する。預学習や事後学習（Post-training）といった比較的明確な枠組みの中では、主要なドライバーは確かに計算資源とデータである。しかし、マルチモーダル生成のような他の方向性では、まだ完全には解明されていない科学的な問題が残っている。
姚は、AIが根本的な限界に突き当たっているという考えを否定する。「AIが壁に突き当たっているとは感じません。なぜなら第一に、試せることは山ほどあるからです。第二に、誰もがアイデアを使い果たして試すことがなくなったわけではないからです。むしろアイデアが多すぎて、一つずつ試す必要がある状態なのです」。彼は、今後6〜12ヶ月以内に、AIが自ら実験を行うようになると予測している。単にコードを書いて実験を実行するだけでなく、結果を分析し、新たな仮説を立て、新しいコードを設計し、完全なループの中で実験を繰り返すようになるという。
Anthropicがコーディングに賭けた理由
姚がAnthropicに入社したのは2024年9月、同社が最も重要な転換期を迎えていた時だった。当時の目標は明確で、コーディングに大規模な強化学習を適用することだった。「入社した時、誰もがこの手法は可能であり重要だと分かっていました。しかし、どうやるべきかは完全には理解していなかった。私は皆と一緒に、その方法を研究していました」
この賭けの起源はClaude 3にある。リリース後、Claude 3はGPT-4よりも優れたコードを書くという議論がTwitterで盛り上がった。「GPT-4より重要なことを一つでもうまくこなせるというのは、非常に印象的でした」と姚は振り返る。Anthropicはこの市場のフィードバックを非常に真剣に受け止めた。
なぜコーディングなのか。姚は2つの大きな利点を挙げる。「第一の利点は、報酬シグナル、つまりフィードバックシグナルが非常に明確であることです。ソフトウェアエンジニアリングのタスクは、『機能を実装するためにコードを書く』というもので、テストが容易です。入力と出力が一致すれば、実装は成功したと判断できます」。第二の利点はデータである。GitHubには何十年分もの優秀なプログラマーによる高品質なコードが蓄積されており、環境構築のための素晴らしい基盤となっている。
その結果生まれたClaude 3.7は、Anthropicの事後学習にとっての転換点となった。「3.7以前の事後学習は小規模で、パッチを当てるような状態でした」と姚は説明する。当時は誰も事後学習をどうスケールさせるべきか理解していなかった。しかし、OpenAI、Anthropic、そして中国のDeepSeekなどが、フィードバックシグナルが明確で、環境自体が強力なデータソースとなる場所を見つけ、その上で学習を安定させれば成功することに気づいた。
3.7から4.5への開発では、預学習と事後学習の両方がより大規模に行われたが、パラダイムとして大きく変わったことはないと姚は指摘する。鍵となったのは、大規模なシステム的な実行力だった。
Anthropic独自の組織的優位性
Anthropicがコーディングに対してこれほど果断に実行できたのはなぜか。姚は同社の異例の組織構造を挙げる。「Anthropicという会社は、トップダウンのメカニズムを実装できるという点で非常にユニークです」。重要なのは、技術的な決定を下す人物が、会社の意思決定者でもあることだ。「技術的に説得力を持たなければ、下の研究者を納得させることはできません。一方で、会社の意思決定者として、会社に対して責任を負う必要があります」
Anthropicには、技術リーダーであるJared KaplanとSam McCandlishが共同創業者であるという強みがある。「彼ら自身が決定を下します。彼らの会社なのですから、トップダウンで進める権限があるのです」。姚はこれをOpenAIと比較する。「Ilya（Sutskever）がいた頃は可能だったかもしれません。しかし、Ilyaは後に何らかの理由で意思決定能力を失ったように見え、そして去っていきました」
姚が入社した当時、Anthropicの従業員は700〜800人程度だった。彼の第一印象は、非常に強力な実行力とトップダウンの構造だった。「決定されたことはすべて、全力で実行されるのです」。従業員間の雰囲気も良く、全員が顔見知りで、情報の隠蔽もなかった。
創業チームが維持されていることも重要だと姚は見る。「一人も会社を去っていません。彼らの過去を見れば、真に共に戦ってきた仲間であることが分かります。彼らは皆、元OpenAIのメンバーです」。スケーリング則やGPT-3などの主要論文の共著者も多く、「彼らは同じ塹壕にいた仲間です。相互の信頼関係が非常に重要だと思います」
コーディングが普及した理由と今後の展望
コーディングのシナリオは、Claude 3.5（あるいは3.6）のリリース以来、急速に発展してきた。姚の控えめな見積もりでは、現在彼が書くコードの90%はAI生成によるものだ。「控えめに言って90%、そうでなければ99%から100%です。残りの10%は、AIが書けないか、私が書かせなかったものです」
AIが書けないものは減り続けている。1年半前、実際にソフトウェアエンジニアリングのコードを書けたのはClaudeだけだったが、それでも多くの欠陥があった。「以前は、1つのファイルにしか集中できず、ファイル間の関係性や深い階層のクラス定義を見失うことがありました。今では、そうしたことはほとんどありません」
効率の向上は劇的だ。1年半前と比較して、実験やアイデアの実装効率は20倍から50倍になっている。「驚異的です。複数のアイデアを同時に開き、並行してテストできます。モデルが実験の監視や結果の分析を助けてくれることさえあります」
しかし、これによって労働時間が短くなったわけではない。「開発スピードが上がった分、試したいことが増えるからです」。姚は通常午前10時に出社し、夜10時か11時まで残る。「生成AIの分野では、誰も手を抜くことはできません」
今後の展望として、姚はコーディングの卓越性には技術力以上のものが必要になると考えている。「将来の優れたプログラマーは、技術的に非常に強力であることは間違いありません。技術的に弱ければ、AIに取って代わられる理由がないからです。しかし、技術的な強さは十分条件であっても、唯一の条件ではないでしょう」。重要なのは、自分の仕事が組織の中でどう位置づけられるかを理解する力、複雑なタスクをAI向けに分解する計画能力、そして何より、AIの進化に適応する能力である。
物理学からAIへ：個人の英雄主義を否定する
姚のAIへの道は型破りなものだった。清華大学の学部生時代は凝縮系物理学を専攻し、非エルミート系や開放量子力学に焦点を当てていた。しかし、その成功にもかかわらず、博士課程ではスタンフォード大学で高エネルギー物理学へと転向した。
「これは人間の弱さです。常に知らないことに挑戦したいという気持ちがあるのです」。振り返ってみれば、博士課程は個人的には多くを学んだが、「世界への貢献は何もなかった」と彼は言う。高エネルギー理論は、実験が全く追いつかない段階に達していた。進歩は実験的な検証ではなく数学的な自己整合性に依存しており、「実験や客観的な基準が欠如している分野では、誰が優れているかは一部の古参の主観的な判断に依存してしまうのです」
この気づきが、彼を「客観的な評価基準」を持つ分野へと向かわせた。量子コンピューティングとAIの間で、彼はAIを選んだ。量子コンピューティングのボトルネックはアルゴリズムではなく実験的な実装にあったからだ。「AIはアイデアがあれば数値で検証できます。この数値的な側面は、物理学の研究と非常に似ています」
彼がAIに見出したのは、「AIという分野は本質的にシンプルだ」ということだった。物理学とは異なり、AIは実験データがなくても理論が進んでいく。「今、私は考えつくあらゆる実験を行うことができます。計算資源をスケールさせる時間は必要かもしれませんが、根本的な難しさはありません」
このシンプルさは深い意味を持つ。「この時代、最も重要な特性は信頼性、細部へのこだわり、そして自分の仕事に対する責任感です。これこそが最も重要です」。AIには知能が必要かという問いに、姚は率直だ。「それほど知能は必要ありません。本当に、大した知能は必要ないのです」
この世界観が、彼の最も物議を醸す姿勢を形作っている。「言語モデルにおける個人の英雄主義の時代は、おそらく終わりました」。彼はそれをTransformerの登場時までと見ている。「その後は、モデルの側面から見れば、集団主義の時代です。グループが協力し、共通の目標に向かって時間とエネルギーを費やせるか。それが最も重要なのです」
Claude 3.7やGemini 3への個人的な貢献について聞かれると、姚は一貫して否定する。「私の貢献は、それほど重要ではありません。重要なプロジェクトに参加する機会に恵まれたという幸運があっただけです」。彼はこう付け加える。「誰もがサーファーです。本質的に重要なのは波であり、サーファーではありません。AIという波は、あなたが乗ろうが乗るまいが前進し続けるのです」
Googleの復活：混沌からエンジニアリングの卓越性へ
姚は2025年9月、Gemini 2.5の成功ではなく、人々と異なることを学ぶ機会を求めてGoogle DeepMindへ移籍した。「Dario（Amodei）の反中国的な姿勢に同意できなかった」ことも4割ほど理由としてあるが、より重要なのは、Anthropicがやっていないマルチモーダル生成や低レイヤーのエンジニアリングインフラに取り組みたいという思いだった。
彼がGoogleで見出したのは、混沌から脱却しつつある組織だった。初期の預学習は「非常に混沌としていた」が、彼が到着した頃には状況は変わっていた。「組織には明確さが増していました。特に預学習は、誰が何を責任を持つのか、各ノードの責任者は誰か、ということが非常に明確になっています」
この明確さと、Googleの強力な技術的背景、体系的なアプローチにより、預学習は「非常に制御可能で予測可能なもの」となった。「次世代のモデルが悪くなることはない、と確信できるのです」。Googleの強みは、誰もが同じ検索ボックスを使うというシンプルな製品形態を見つけ、その上で技術を徹底的に競うことにある。「検索エンジンがまさにそうです。1つのボタンで、他より速く正確に検索する。それに対してできることは何もありません」
組織モデルはAnthropicと根本的に異なる。Anthropicが特定の方向性に賭けるスタートアップとしてトップダウンで動くのに対し、Googleは各分野にリソースを蓄え、ボトムアップで動く。「Googleのエンジニアリング管理能力は非常に強力です」
Geminiの市場突破は、「Nano Banana」と「Gemini 3」の連続リリースによって実現した。「Gemini 3だけでは、これほどの成果は出なかったでしょう。シェアが10%未満では、モデルが少し優れていても普及は遅いからです。しかし、Nano Bananaが市場でバイラルヒットとなり、膨大なユーザーがGeminiアプリをダウンロードしました。その直後にGemini 3がリリースされ、ユーザーを維持したのです」
姚は、これがOpenAIの戦略的ミスをGoogleが突いた結果だと見ている。「OpenAIはGoogleを救ったのです。誰もがチャットボットが検索を完全に置き換えるのではないかと恐れていました。もしそうなればGoogleは窮地に陥っていたでしょう。しかし幸いなことに、OpenAIはチャットボットを先行させましたが、検索を完全に殺すまでには至りませんでした。その結果、Googleはチャットボットで追いつくことができ、今や苦境にあるのはOpenAIの方です」
ロングコンテキストと事後学習の技術的現実
Geminiのロングコンテキスト能力について、姚は「いくつかトリックがある」と明かす。詳細は明かせないが、預学習に関連する「本当に驚かされるトリック」があるという。ロングコンテキストをうまく扱うには、預学習と事後学習の両方のアプローチが必要だというのが彼の原則だ。
今後、姚は「MLコーディング」と「ロングホライゾン（長期的視野）」という2つの方向性に取り組んでいる。MLコーディングは、AIが研究プロジェクトを最初から最後まで完遂するプロセスを目指している。コードの記述、実行、結果の分析、仮説の提案、再設計といったチェーンが、今後徐々に完成していくだろう。
ロングホライゾンについては、「有限のコンテキストで学習し、無限のコンテキストとして使用する」という彼の信条を追求している。単一の学習セグメントを長くするのではなく、人間のように情報を選択的に忘れ、取り出す方法をモデルに教えることだ。「人間のコンテキストは非常に短いです。昨晩何を食べたか、今の私には重要ではないので忘れています」。スパースアテンションのような預学習の解決策と、コンテキスト管理を含む事後学習の解決策の両方が探求されている。
預学習と事後学習の違いについて、姚はこう語る。「技術的には、SFT（教師あり微調整）とRL（強化学習）の本質的な違いを言うのは難しい。預学習とSFTは、エキスパートの出力を正解として分布を合わせるという点で本質的に同じです。強化学習は、より広いレベルで、自分で生成した結果の中から良いものと悪いものを選別するプロセスです」
彼にとって最大の違いはデータにある。「預学習では分布の広さが重要ですが、データ品質は極端に高くなくても良い。しかし事後学習では逆で、分布は狭くても、データの品質要求は非常に高いのです」
「ラッパー」がモデル企業から逃げられない理由
AI製品やラッパー（モデルを包むだけのアプリ）について、姚は辛辣だ。ManusやOpenClawがモデル企業に買収されたことについて、「ラッパーが生き残るには2つの道しかない。1つは、モデル企業が追いつく前に圧倒的なユーザー数と市場シェアを獲得することだ」と語る。
Cursorはこの道を歩んでいるが、危機感は強い。「Anthropicとの関係は非常に繊細です。かつてはシームレスなパートナーでしたが、AnthropicがClaude Codeを開発し、成功させたことで、今や競合関係にあります」。根本的な問題は、コーディングツールのような生産性ツールは「勝者総取り」の傾向があることだ。もう1つの生存戦略は、Midjourneyのように、モデル企業がわざわざ参入する価値を感じないほどニッチな市場に留まることである。
OpenAIのOpenClaw買収について、姚は「最大の利点は、アジアの強力なプロダクトチームを獲得したことでしょう。技術的には米国のAIが先行していますが、プロダクトの面では、中国の才能は米国よりも優れていると感じます」と推測する。
蒸留の議論と中国のAIラボ
姚は中国のAI企業について、「ハード蒸留」と「ソフト蒸留」という有用な区別を導入する。「ハード蒸留は、Claudeが生成したトークンを強制的に学習させることで、ビジネス的にも倫理的にも問題があり、知的にも愚かです。コピーすることしかできないと公言しているようなものです」
一方、ソフト蒸留は、他のモデルをアシスタントや評価者として活用する賢いアプローチだ。「これは商業的にはグレーですが、技術的には非常に興味深い。ある意味で、中国のラボはマルチエージェント学習のパイオニアになっているかもしれません」
彼は具体的な企業名は挙げないが、ByteDanceについては「DoubaoはGeminiやClaudeほど賢くはないが、音声生成は非常に優れており、日常的な質問にはDoubaoを使いたくなるほど速い」と評価する。なぜ米国の企業がこれを最適化しないのかという問いには、「米国は仕事の効率向上に集中している。ByteDanceは、ユーザー最適化においても非常に優れているのです」と答える。
優れたAI研究者とは何か
姚は独自の採用手法を持っている。候補者に24時間で強化学習プロジェクトをゼロから完成させるという課題を与える。「AI時代において、AIを使えば24時間で完遂することは可能です。重要なのは、AIをどれだけ効果的に活用できるかです」。しかし、罠もある。「AIにすべてをやらせて、その内容を理解していない候補者は、1時間の議論で即座に見抜かれます」
また、「24時間」という設定には意図がある。「誰がこの機会を本当に価値あるものと考えているか。徹夜してでもやり遂げようとする熱意があるかを見ているのです」
姚にとって、AI研究で最も重要な特性は信頼性、細部へのこだわり、そして責任感だ。「この時代、最も重要なのは、システム全体を理解し、何が有益かという全体像を把握することです」。これは個人の英雄主義を抑えることにつながる。「個人の英雄主義を光らせるよりも、システムを堅牢にすることの方が、結果として個人のアウトプットも最大化されます。英雄主義は消えますが、それは他人も同じです」
今後の展望
現在のAI分野は、能力レベルではコモディティ化が進んでいる。「論文上の数値では、どのモデルも80%前後の性能で横並びです」。競争は純粋な能力から、製品の実行力と市場でのポジショニングへとシフトしている。「今や、公開されたモデル能力を追いかけることにあまり意味はありません。秘密はもう存在しないのです」
OpenAIの立場について、姚は「中国と米国のトレンドは分岐しました。中国は消費者向けの複雑な製品機能に強い。しかし、生産性ソフトウェアはシンプルさが重要です。OpenAIの強みは製品の実行力にありますが、Googleが追いついてきており、安泰ではありません」と分析する。
「誰も安泰ではありません。AIの形態はまだ発展途上であり、エンドゲームには程遠いのです」。中国でスーパーアプリを巡るゼロサムゲームのような議論があることに対し、彼は懐疑的だ。「もし誰かが全く別の形態を提示したら、今のアプリはサブセットに過ぎなくなるかもしれません」
若い研究者へのアドバイスは厳しい。「言語モデルに取り組むのは、もはやブルーオーシャンではありません。最後の列車はすでに出発しました」。しかし、マルチモーダル生成やロボティクス、AIを用いた科学研究など、チャンスは他にも残されているという。
仕事の哲学
インタビューを通じて、姚はAIを取り巻く「天才崇拝」とは相容れないテーマを繰り返した。彼は業界に師を持たず、守るべき古い友人もいないため、「誰でも批判できる」立場にいる。Slackで「壮大な原理」を語るよりも、実装こそがすべてだと信じている。
彼の歩みは、常に困難で目立たない道を選ぶものだった。高エネルギー物理学の博士課程で学んだ「客観的な評価基準」の重要性は、彼をAIの道へと導いた。「AIは実験ができる。理解していなくても、前進できるのです」
自身の将来について、姚は「Googleに長く留まるかは分かりません。自分を拷問にかけるような、挑戦しがいのある何かを見つける必要がある」と語る。彼にとって個人の達成よりも、機能するシステムの一部であることが重要だ。「この時代、最も重要なのは信頼性、細部へのこだわり、責任感です」。個人の英雄主義の時代は終わり、それは喜ぶべきことだというのが彼の結論である。