Google DeepMindインタビュー：Claude 3.7とGemini 3の開発、個人英雄主義の終焉、そしてAIの本質的な単純さについて
2026年第1四半期：Google DeepMind研究員・姚順雨氏が語る大規模言語モデルの最前線
序論：シリコンバレーに存在する「二人の姚順雨」
Xiaojun：皆さん、こんにちは。Xiaojunです。本日のゲストは、Google DeepMindの研究員である姚順雨（Yao Shunyu）さんです。実はシリコンバレーには、同じ名前を持つ著名人が二人います。一人はかつてOpenAIに在籍し、後にテンセント（Tencent）のチーフAIサイエンティストに就任した人物で、以前当番組にも出演していただきました。本日はもう一人の姚順雨さんをお招きしました。Anthropicを経て、現在はGoogle DeepMindに在籍されています。まずは、モデルを取り巻く環境の激変について伺っていきましょう。それでは、インタビュー本編です。
姚順雨：姚順雨です。おっしゃる通り、テンセントでチーフAIサイエンティストを務めている元OpenAIの研究員とは同姓同名です。キャリアパスも一部重なっているため、見分けるのは難しいかもしれません。私はもともと物理学を専攻し、清華大学の学部時代は物性理論を研究していました。その後、スタンフォード大学で理論高エネルギー物理学、量子情報、ブラックホール物理学を学びました。スタンフォードを離れた後、バークレーで2週間ほどポスドクとして過ごしましたが、すぐに辞めてAnthropicに入社し、1年間勤務しました。昨年の9月末から10月上旬にかけて、Google DeepMindのGeminiチームに加わりました。見分けるための最大のポイントは、もう一人の順雨が最初からコンピュータサイエンスを専門としていたのに対し、私は物理学を経てこの分野に転身したという点でしょうか。
Xiaojun：お二人は親しいのですか？大学時代からの知り合いで、同い年だと伺っていますが、お互いをどう評価していますか？
姚順雨：ええ、清華大学の学部時代からの知り合いです。彼はコンピュータサイエンスの英才クラスである「姚班」で最初からCSを学んでいましたが、私は物理学の「基科班」でした。その後、彼がプリンストン大学へ、私がスタンフォード大学へ進みました。一般的にスタンフォードはCS、プリンストンは物理学のイメージがあるため、逆の進路をとったことが混乱を招いているのかもしれません。私たちは本当にタイプが違います。彼は私よりもはるかに興味深い人物で、多くのことを学ばせてもらいました。彼は人間とAIの相互作用や製品コンセプトについて深く考えています。シリコンバレーにいた頃は数週間に一度は会って、食事をしたり、散歩しながら雑談したり、カードゲームをしたりしていました。彼が帰国した後も、数ヶ月に一度は近況報告を兼ねて連絡を取り合っています。
Xiaojun：彼からテンセントのチームに誘われたことはありますか？
姚順雨：おそらく誘われてはいるのでしょうが、今の私にはあまり関係ありません。個人的には、長期的な次のステップをまだ決めていないからです。中国企業に入社しなかったのは、昨年9月にAnthropicを離れた際、単に「全く異なることを学びたい」という強い動機があったからです。巨大プロジェクトを率いることよりも、新しい技術領域を学ぶことを優先した結果、Geminiチームを選びました。
AI競争の変容：競争条件の平準化
Xiaojun：もう一人の姚順雨さんは昨年、「AIは開発サイクルの後半戦に入った」と語りました。あなたは現在のAIがどの段階にあると考えますか？
姚順雨：私にとって、前半や後半という定義はあまり明確ではありません。しかし、AI業界が「モデルが特定の能力を実現できるか」を心配する段階から、「解決すべき課題自体が適切に定義されているか」を問う段階に入ったのは確かです。1年前、Anthropicにいた頃は、OpenAIの推論能力に追いつけるか、追い越せるかという不安が業界全体にありました。今日、Google Gemini、OpenAI、Anthropicといったトップラボにおいて、後れを取ることを真剣に心配している人はいません。今難しいのは、モデルに何をさせるべきかを決めることです。これには深い洞察と、戦略的な賭けが必要になります。
Xiaojun：それは、モデルの能力が平準化・均質化し、差別化の余地がほとんどなくなったということでしょうか？
姚順雨：ペーパー上、つまり標準化された公開ベンチマークで見れば、各社は非常に拮抗しています。SWE-bench、AIME、IMOといった測定フレームワークは、かつては推論能力やコーディング能力を明確に区別できていました。しかし今や、トップモデルは複雑なベンチマークで80%前後のスコアに密集しており、1〜2%の差は優劣というよりノイズに過ぎません。それでも、ユーザーは日々の使用感で違いを感じ取れます。Claudeはツール利用エージェントとして依然として最も有能な汎用モデルですし、コーディング単体では他社との差が縮まり、Geminiは純粋な推論や日常的な会話シナリオで優位性を見せています。
Xiaojun：そうした能力差は、企業の意図的な優先順位付けによるものですか、それとも工学的な限界によるものでしょうか？
姚順雨：優先順位付けは極めて大きな要因です。かつてモデルの違いがベンチマークに表れていた頃は、特定の方向性を優先する意欲があれば、適切なデータパイプラインやインフラを構築するためにチームがリソースを集中できました。データキュレーションには膨大な時間と労力がかかります。現在は、優先順位付けと課題定義の両方が関わっています。課題が不明確な場合、モデルの性能差は予想もしなかった要因から生じることがあります。例えば数年前、ウェブデータで学習したモデルが驚くほどコーディングに強いことが判明しました。これはGitHubのデータが通常のウェブページよりも構造化されており、結果として事前学習データの質が意図せず高まっていたためです。
製品の堀とAIアシスタントの進化
Xiaojun：現場の研究者として、OpenClawのようなオープンソースのAIコンピュータ操作エージェントに対する熱狂をどう見ていますか？研究コミュニティ内ではどのような議論がなされていますか？
姚順雨：興味深いことに、業界外の議論の方が業界内よりも激しいようです。業界関係者にとって、このプロダクト形態は驚くべきものではありません。トップ企業の研究者は既に同様の内部デモや実験を行っており、単にそれを消費者向け製品としてパッケージ化・洗練させていなかっただけです。OpenClawのGitHubの初期コードは特筆すべきほど洗練されてはいませんでしたが、コンセプトの有効性を世に示したという点で重要でした。公開直後、OpenClawの作者はOpenAIに引き抜かれました。主要なAIラボはすぐに追随し、これらの機能を堅牢な製品へと磨き上げるでしょう。GoogleもOpenClaw公開前から同様のエージェントに取り組んでいましたが、大企業には当然ながら長い開発・リリースプロセスがあります。技術的に言えば、Claude 3.5 Opusがリリースされた時点で、他社に比べて優れたツール利用能力を持っていたため、これらのエージェント機能は既に実現可能でした。
Xiaojun：Manusのような初期のエージェントフレームワークと、OpenClawのような新しいものとの決定的な違いは何でしょうか？なぜ両社ともMetaやOpenAIのような大手への売却を選んだのでしょうか？
姚順雨：正直なところ、何が決定的な違いで、なぜ古いフレームワークが同じようなバイラルな成功を収められなかったのかは分かりません。おそらく実行力とタイミングの問題でしょう。売却の理由については、AIスタートアップが長期的に生き残るには「堀（Moat）」が必要であり、現時点での最大の堀はモデル側にあるということを示しています。開発者向けのコーディングツールを除けば、AIネイティブなアプリケーションで大規模な成功を収めた例はほとんどありません。チャットボット自体は、従来の検索エンジンの対話的な拡張に過ぎません。それらは同様の情報ニーズを満たしつつ、回答を要約・抽出する高度に対話的な体験を提供しているだけです。
Xiaojun：こうしたアプリケーション層のスタートアップがモデル企業に買収されることは、スタートアップが基盤モデルプロバイダーの重力から逃れられないことを証明しているのでしょうか？
姚順雨：現在、ラッパー系スタートアップが生き残るには二つの道があります。第一は、超高速成長で脱出速度を得ることです。モデル企業が追いつく前にユーザーの心をつかみ、独自の専門モデルを学習させる戦略です。Cursorはその好例です。当初はAnthropicのシームレスなパートナーでしたが、AnthropicがClaude Codeなどの開発者ツールを開発するにつれ、Cursorは独自のComposerモデルを学習させ、競合関係へと移行しました。生産性ツールや開発者ツール市場は勝者総取りの傾向が強く、スタートアップにもモデルプロバイダーにも強い焦燥感を生んでいます。第二の道は、大手企業がわざわざ直接競合する価値を感じないほど小さな市場で活動することです。Midjourneyはその好例です。Googleのような企業がリソースを割けば同様のことは容易に模倣できますが、市場規模が小さすぎて、汎用モデルからリソースを割く正当な理由にならないのです。
Xiaojun：もしあなたなら、どちらの道を選びますか？
姚順雨：個人的には、万分の一の可能性に賭けて大きな勝負をしたいですが、現実的には一足飛びには到達できません。まずは高いアップサイドを持つニッチな領域を確保するのが現実的でしょう。買収に関して言えば、大企業が外部のプロダクトチームを買収する大きなメリットは、特にアジアのような地域からトップレベルの製品・エンジニアリング人材を獲得できる点にあります。米国は依然として基盤モデル研究でリードしていますが、中国には極めて優秀な製品・エンジニアリング人材が豊富です。スタートアップは素早く動き、荒削りなコードを書き、実験的な機能をリリースできます。大企業は法務、ブランド、リソースの制約が大きく、ユーザーのPCに深いシステム権限を要求するような実験的な製品をリリースすることは困難です。
スケーリング則と事前学習限界の神話
Xiaojun：2026年第1四半期の視点から、この1年間のモデル環境をどう予測しますか？
姚順雨：多くの刺激的な可能性があります。技術面では、「有限のコンテキストで学習し、無限のように扱う」という哲学を強く支持します。つまり、学習時のコンテキスト長は制限しつつ、推論時にはほぼ無限のコンテキストウィンドウを扱えるようにする手法です。これが実現すれば、継続的に対話し、会話を動的に評価し、重要でない情報を捨てて重要な文脈を長期間保持するような、全く新しいパーソナルアシスタントが可能になります。技術的には今年中に必ず実現できると確信しています。業界で技術的な合意はまだできていませんが、複数の有望なアイデアを実際のユーザーシナリオでテストしており、最も効率的なアプローチを模索しています。
Xiaojun：モデルの改善ペースは鈍化していると感じますか？
姚順雨：全くそうは思いません。標準的なベンチマークだけを見れば、スコアが100%に近づくにつれて進歩が鈍化しているように見えるのは当然です。しかし、ユーザーが感じる質的な違いはベンチマークの向上と線形に比例しません。複雑なタスクで70%から75%に向上することは、50%から60%への向上よりもはるかに大きな使い勝手の飛躍を感じさせます。研究者としての個人的な観察では、モデルの学習能力そのものは強化されています。かつてはモデルに教え込むために多大なエンジニアリングが必要だったタスクが、今でははるかに少ない摩擦で達成できるようになっています。ボトルネックはモデルの学習能力ではなく、課題を明確に定義し、高品質なデータ環境を構築する能力にあります。
Xiaojun：なぜ学習能力が強化されているのでしょうか？事前学習のスケーリング則が壁に突き当たっているという議論もありますが。
姚順雨：私の経験では、事前学習のスケーリングは壁に突き当たっておらず、停滞の兆候も見られません。スケーリング則が限界に達したと主張する人は、通常3つの理由のいずれかです。パラダイムの物理的限界に達したと信じているか、スケーリングに必要なデータが枯渇したと信じているか、あるいは単に実装に気づかないバグがあるかのいずれかです。圧倒的多数のケースで、チームが壁に突き当たるのは3番目の理由です。この業界では、スケーリング科学やデータパイプラインの微妙なバグを一つ修正するだけで、どんな派手なアルゴリズムのトリックよりも大きな進歩が得られます。バグに遭遇した際、パラダイムが制限されていると信じれば「壁だ」と宣言し、修正可能だと信じれば掘り下げ続けます。GeminiとAnthropicが優れているのは、この体系的な問題解決能力です。クリーンなアブレーション実験を設計し、すべての変数を分離してテストしなければなりません。
Xiaojun：この進歩の主な原動力は何ですか？計算資源、データ、それともアルゴリズムでしょうか？
姚順雨：すべてが寄与していますが、データと計算資源は強く相関しています。計算資源をスケールさせれば、より多くのデータが必要になり、その逆もまた然りです。アルゴリズムのブレイクスルーは段階的に起こります。概念的なボトルネックで行き詰まった時は、Transformerアーキテクチャの発明のように、アルゴリズムのブレイクスルーが決定的な役割を果たします。一度フレームワークが確立されれば、アルゴリズムの進歩は計算とデータの効率改善に焦点が移り、緩やかになります。現在の事前学習・事後学習という明確なフレームワーク内では、計算資源とデータが主要な原動力です。しかし、マルチモーダル生成のような未解決の科学領域ではパラダイムが固定されていないため、アルゴリズムの革新が支配的です。自然言語に関しては、科学的フレームワークは比較的明確であり、課題は膨大なエンジニアリングの実行にあります。
AIコーディングツールの爆発的普及
Xiaojun：なぜコーディングが、ここ数ヶ月でAIモデルにとって最も急速に発展した応用分野となったのでしょうか？
姚順雨：コーディングには、AIにとって完璧な二つの大きな利点があります。第一に、客観的で明確に定義された報酬シグナルがあることです。モデルに特定の機能を実装するコードを書かせれば、入力が期待される出力と一致するかどうかを簡単にテストできます。フィードバックループが即時かつ明確なのです。第二に、GitHubという数十年にわたる素晴らしいデータ基盤があることです。優れたプログラマーが書いた高品質なコードの巨大なリポジトリが、堅牢なシミュレーション環境を構築する助けとなります。製品の観点から見ると、コーディングのユーザー要件は比較的単一で標準化されています。ユーザーの好みが主観的で多様なソーシャルメディアやゲームとは異なり、優れたプログラマーは「クリーンで簡潔、構造的に明確で抽象化されたコードとは何か」について概ね合意しています。この合意が、コーディング製品の開発を容易にしています。
Xiaojun：研究者としての日常業務で、コードの何パーセントがAIによって生成されていますか？
姚順雨：控えめに見積もっても、私が使用する生のコードの90%以上はモデル生成です。控えめに見積もらなければ、99%から100%に近いでしょう。ただし、設計通りであることを確認するために、ロジックのレビュー、編集、検証にはかなりの時間を費やしています。ソフトウェアエンジニアリングの核心は、構文を書くことから、システムアーキテクチャを設計し、ロジックを定義し、モデルに適切なコンテキストと参照ファイルを提供することへとシフトしました。モデルが書けないコードの割合は急速に減少しています。18ヶ月前と比べて、アイデアを実装し、研究実験を実行する効率は20倍から50倍に向上しました。複数の実験アイデアを並行して走らせ、モデルに実行結果を監視・分析させることができます。その結果、作業時間は以前より長く、激しくなりました。イテレーションのサイクルが非常に速いため、すぐにテストしたいアイデアが常に増え続けているからです。生成AIの分野では、誰も手を抜いていません。自律的で技術に情熱を持っているなら、そのペースは信じられないほど過酷です。
Xiaojun：プログラマーは最終的にAIに完全に置き換えられるのでしょうか？
姚順雨：その日は来ると思いますが、一夜にしてすべての開発者が解雇されるようなものではなく、段階的なプロセスになるでしょう。既にその兆候は見えています。AIは高度に中央集権的な技術であり、少数の有能な個人を信じられないほど生産的にしますが、平均的なエントリーレベルの開発者の独自の価値を低下させる可能性があります。従来のソフトウェアエンジニアリングの最終的な結果は、過去の労働力全体の1000分の1の人数が仕事をこなし、より高い報酬を得るようになることかもしれません。プログラマーへのアドバイスは、新しいツールを受け入れ、AIと効果的に協力する方法を学ぶことです。高レベルなシステム設計、戦略的計画、そして技術的な仕事が大規模組織にどう統合されるかを理解することに集中してください。AIは特定のコードブロックを驚くほど上手く書けますが、巨大で曖昧なプロジェクトを実行可能でモジュール化されたステップに分解することは、少なくとも今のところは人間が支配的なスキルです。
中国と西側のAIモデルのギャップを評価する
Xiaojun：マルチモーダル生成分野におけるByteDanceの「Seed」モデルのような最近の成功についてどう考えますか？Google DeepMindチームにとってのプレッシャーになりますか？
姚順雨：特にマルチモーダル生成を担当するチームにとっては、確かにプレッシャーになります。しかし、根本的なパラダイムシフトだとは思いません。ByteDanceは歴史的にユーザーデータと製品エンジニアリングに強みがあり、その細部を実行する能力が非常に高い。マルチモーダル生成は、学習パラダイムが業界全体でまだ標準化されていない、非常にアクティブな科学的問題です。推測ですが、ByteDanceの好調さは優れたデータキュレーションと、エンジニアリングの細部への細心の注意から来ているのでしょう。ByteDanceの大型モデルチームを率いる呉永輝（Wu Yonghui）氏については、直接一緒に働いたことはありませんが、Google時代の貢献やコミット履歴を見ると、非常にシニアなリーダーでありながら、驚くほど鋭い技術力を維持している希少な人物の一人です。
Xiaojun：2026年第1四半期の業界を俯瞰したとき、中国と西側のAIモデルの能力差は拡大していますか、それとも縮小していますか？
姚順雨：絶対的な能力差は縮小しています。中国のモデル開発者は、厳しいハードウェアと計算資源の制約に直面しながらも、競争力のあるモデルを構築する能力を非常に高めています。しかし、西側のモデルを完全に追い越せるかどうかは未解決の問題です。計算資源の不利は、中国のラボをモデル蒸留やマルチエージェント学習システムといった他の分野で非常に革新的にさせる要因となっています。
ハード蒸留とソフト蒸留の力学
Xiaojun：AnthropicのCEOが最近、自社のモデルからデータを蒸留している競合他社を批判しました。モデル蒸留という慣行をどう見ていますか？
姚順雨：モデル蒸留は業界の公然の秘密ですが、力任せの蒸留と、スマートなソフト蒸留には大きな違いがあります。力任せの「ハード蒸留」は、Claudeのようなモデルが生成した大量の出力を取得し、それを直接学習データとして使うことです。商業的に疑問があるだけでなく、知的にも少し愚かです。チームが何を構築したいのか分かっておらず、単に他人の分布をコピーしてベンチマークスコアを高めようとしているだけだからです。一方で「ソフト蒸留」は、独自のデータ生成パイプラインの中で、他のモデルをアシスタントや評価者として活用することです。これは非常に魅力的な科学的アプローチです。これにより、中国の一部のラボは、多様なモデル分布を単一の統合的な学習エコシステムに統合する、マルチエージェント学習システムのパイオニアとなりました。ByteDanceの「豆包（Doubao）」は非常に個性的です。GeminiやClaudeのような生の推論知能には及ばないかもしれませんが、リアルタイム音声生成は世界最高水準と言えます。彼らは特定の消費者層に最適化し、生のベンチマーク性能よりも低遅延と魅力的なユーザー体験を優先しています。
Xiaojun：なぜ米国の企業は、それらのリアルタイム消費者向け機能を同程度に優先してこなかったのでしょうか？
姚順雨：米国のモデル開発者の主な焦点は、作業効率と生の認知知能の最大化にありました。中国では、消費者側への焦点がはるかに強く、日常生活にフィットする魅力的な製品を作ることに注力しています。例えば「豆包」スマホは、リアルタイムでタスクを実行する優れた製品コンセプトですが、モデル実行コストがサービス価値を上回らないよう、技術的なオーバーヘッドを慎重に最適化する必要があります。AppleもGeminiとの提携を通じてこの消費者アシスタント空間に取り組もうとしており、SiriやAI戦略を重視しつつも、自社のモデル開発が最前線から遅れていることを認識しています。
ロボティクスとワールドモデルの未来
Xiaojun：人型ロボットへの熱狂が高まっています。ロボティクス分野について、大規模言語モデルの開発タイムラインと比較して何か観察はありますか？
姚順雨：人型ロボットとその価格をいくつか見ましたが、中国のハードウェアサプライチェーンは信じられないほど成熟しており、物理プラットフォームは驚くほど安価です。しかしソフトウェア面では、ロボティクスは依然として「特徴エンジニアリングの時代」にあります。ロボットは特定の決定論的な環境で非常にうまく動作するように最適化できますが、汎用性に欠けています。服を畳んだり水を注いだりする訓練をしても、その能力は他のタスクに自然に抽象化・汎用化されません。言語モデルは、ベースモデルをスケールアップすればすべての下流能力が同時に向上するという重要な閾値を超えました。ロボティクスはまだ「GPT-1の瞬間」に到達しておらず、物理的なアクションモデルの学習を真にスケールさせる方法を見つけていません。多くのロボットラボが、マルチモーダル言語モデルをベースとして使用し、視覚・言語・アクションモデルを学習させてこのギャップを埋めようとしています。これらのラボを訪れるのは非常に楽しいです。言語モデルのオフィスよりもはるかにダイナミックで、研究者が絶えず物理データを収集し、機械を制御しています。
Xiaojun：あなたの「ワールドモデル」の定義は何ですか？業界内でこの用語についてかなりの意見の相違があるようです。
姚順雨：確かに、1万人に聞けば1万通りの定義が返ってくるでしょう。学術ラボが構築しているワールドモデルは、私たちが注力しているエンドツーエンドのモデルとは大きく異なります。Geminiにとってのワールドモデルは、説明から静止画を生成するだけでなく、物理シナリオを実際にモデリングするようにエンドツーエンドで学習されます。モデルは状態を生成し、アクション入力を受け取り、先行する状態とアクションの直接的な関数として後続の状態を予測します。まだ非常に探索的な段階であり、ワールドモデルの最終形態について業界全体で単一の合意には至っていません。
姚順雨氏の旅路：理論物理学から人工知能へ
Xiaojun：あなたの個人的な経歴についてお聞かせください。清華大学とスタンフォード大学で理論物理学を学び、AIに転身されました。その転身のきっかけは何でしたか？
姚順雨：私は寧夏回族自治区の小さな炭鉱の街、大武口で生まれましたが、小学校時代に両親と共に上海へ移住しました。比較的平凡な小中学校に通い、若い頃はかなり平凡でした。エリートのオリンピック選抜のような道で清華大学に入ったわけではありません。高校時代、上海のトップ4高校の普通クラスに行くか、負け犬と見なされていた格致高校の物理コンペクラスに行くかの選択を迫られました。私は、自分が本来得意ではないことに挑戦するのが好きだったので、後者を選びました。その決断が最終的に清華大学物理学科への道を開きました。高校3年生の時、清華の入試事務局に「なぜ北京の学生だけに独立入学試験を開放しているのか」と大胆に問い合わせました。彼らは試験を受けることを許可してくれ、合格することができました。その経験から、人生の大きな教訓を学びました。「大胆にチャンスを掴みに行け。聞かなければ、答えは常にノーなのだから」ということです。
Xiaojun：清華大学とスタンフォード大学では、物性理論や非エルミート系を研究されていましたね。その研究を簡単に説明していただけますか？
姚順雨：人間的な言葉で説明してみます。基本的な量子力学では、エネルギー状態が数学的に自己整合的である「エルミート行列」によって記述される、孤立したシステムを想定します。しかし、現実世界のシステムは決して完全に孤立しておらず、常に環境と情報や物質を交換しています。これらが「非エルミート・ハミルトニアン」で記述される開放量子系です。学部時代の研究で、これらのシステムの解析計算が数値シミュレーションと一致しないことに気づきました。最終的に、非エルミート系ではエネルギー固有状態が材料の境界に物理的に蓄積することを発見し、それを体系的にモデリングして記述する数学的フレームワークを確立しました。その研究は、AIに直接適用できる重要な教訓を教えてくれました。「純粋な理論を過信せず、数値シミュレーションを使って複雑なシステムに対する理解を絶えず検証し、洗練させよ」ということです。
Xiaojun：なぜスタンフォードでの博士課程中に高エネルギー物理学を離れることを選んだのですか？
姚順雨：高エネルギー物理学は非常に美しく知的にも挑戦的ですが、理論が私たちの生涯で実験的に検証できない地点まで発展してしまいました。実証データがなければ、分野は数学的な自己整合性と、シニアな学者の主観的な意見に大きく依存します。客観的で現実世界のフィードバックを欠いた分野の学術体制に人生を捧げたくない、と気づいたのです。私は世界に積極的に影響を与え、成功の基準が明確で客観的な仕事をしたかった。博士課程の最後の数年間、量子コンピューティングとAIを探求しました。量子コンピューティングの主なボトルネックは実験的なハードウェアエンジニアリングであり、それは私の強みではないと気づきました。一方、AIはデジタルな砂場であり、アイデアを思いついたらすぐに数値実験を実行して検証できます。それは、理論的な推測と能動的な実験が手を取り合っていた19世紀物理学の黄金時代のように感じられました。
AnthropicでのClaude 3.7および4.5の開発
Xiaojun：Anthropicでの旅はどのように始まり、Claude 3.7と4.5の開発中の文化はどうでしたか？
姚順雨：Anthropicには以前の学術的な同僚がおり、同社は歴史的に理論物理学の背景を持つ多くの研究者を雇用してきました。2024年後半に面接を受けた際、強化学習チームは非常に小さく、コアチームは10〜11人ほどでした。当時、大規模言語モデルのRLは非常に未熟で、OpenAIのo1も公開されておらず、ほとんどのラボは大規模RLをどう安定させるかを模索していました。物理学の背景を持つチームマネージャーが、これらのスケーリングの課題に取り組むよう誘ってくれました。技術面接の準備のためにAndrej Karpathyの「nanoGPT」のようなオープンソースプロジェクトを使って独自のGPTシステムを自作し、その後すぐに入社しました。
Xiaojun：その時期、研究組織としてのAnthropicは何がユニークだったのでしょうか？
Xiaojun：Anthropicは非常に効果的でトップダウンの意思決定構造を持っています。Jared KaplanやSam McCandlishのような技術リーダーが共同創業者でもあるため、彼らは巨大な技術的信頼性と企業権限を持っています。明確な技術的シグナルを受け取ると、コーディング能力の優先など、特定の賭けに全社を挙げて即座に整合させることができます。これは他社が模倣するのは非常に困難です。OpenAIでは内部の政治闘争がこの整合性を乱し、Googleでは組織が歴史的にボトムアップで分散しています。Anthropicの創業チームは、OpenAI時代から共に戦ってきた深い相互信頼があり、組織が非常に反応的で集中力を保っています。
Xiaojun：Claude 3.7はどのように開発され、あなたはどのような役割を果たしましたか？
姚順雨：Claude 3.7以前、事後学習はスケーラブルなパラダイムというよりは、事前学習済みモデルにパッチを当てるプロセスでした。ブレイクスルーは、明確なフィードバックシグナルを持つクリーンで客観的な環境、具体的にはソフトウェアエンジニアリング環境を活用することで、強化学習をスケールさせる方法を業界が発見した時に訪れました。Claude 3.7のコア開発には約4〜5ヶ月かかりました。私の仕事は、大規模RLのアルゴリズムの安定性と、モジュール式の学習環境の構築に集中していました。しかし、この規模のAI開発は巨大で高度に協力的なシステムエンジニアリングの努力です。AIにおける個人の英雄主義の時代は終わりました。技術は止められない波であり、研究者はその波頭を捉えようとするサーファーに過ぎません。ある個人が特定の発見をしなくても、資金豊富なラボの別のチームが数週間以内に必ず発見するでしょう。
OpenAI、Anthropic、Google DeepMindの文化の違い
Xiaojun：なぜAnthropicを離れ、Google DeepMindのGeminiチームに参加することを決めたのですか？
姚順雨：いくつかの要因があります。第一に、Anthropicは非常に急速に成長し、私が在籍中に従業員数が2000人近くまで倍増しました。この急速な成長は、文化的な希薄化と内部摩擦をもたらしました。私は個人的に、アイデアを実装するために必要なハードで緻密なエンジニアリング作業をするのではなく、Slackで抽象的な原則について一日中議論しているような文化が嫌いです。第二に、Anthropicの指導部が推し進める、ますます過激で感情的な反中国的な政治姿勢に同意できませんでした。最後に、Anthropicは狭い製品セットに集中しており、低レベルのインフラ研究やマルチモーダル生成に投資していません。私はより広い人間の知性から学び、多様な研究方向を模索する自由が欲しかった。Google DeepMindはその規模の研究の自由にとって比類のない環境を提供しています。
Xiaojun：多くの研究者が、Googleの企業構造が遅すぎる、あるいは制限が多すぎると感じてGoogleを去ります。なぜあなたは逆の意見なのですか？
姚順雨：それは何を目指すかによって完全に異なります。もしあなたの目標が、特定のアイデアを即座に消費者向け製品に押し込むことなら、Googleの巨大な規模と複雑なリリースプロセスは非常にフラストレーションが溜まるでしょう。しかし、目標が研究の自由であり、膨大な技術スペクトル全体で世界クラスのエンジニアリング人材にアクセスすることであれば、これ以上の場所はありません。Googleの技術的備蓄は比類のないものです。さらに、OpenAIの初期の成功は、巨人を叩き起こすことで結果的にGoogleを救いました。それはGoogleに意思決定を再編・合理化させ、事前学習をGoogleの快適な領域内で完全に動作する、高度に規律的で予測可能なエンジニアリングプロセスへと変貌させました。
なぜAI研究は本質的に単純なのか
Xiaojun：あなたは「AIは本質的に単純であり、並外れた知性を必要としない」という物議を醸す発言をしました。どういう意味でしょうか？
姚順雨：物理学では、特定のエネルギー規模で実験データがなければ、先に進むことはできません。AIはこの根本的な制約に直面していません。アイデアの欠如ではなく、私たちが既に持っている数千のアイデアをテストするための時間と計算資源によってブロックされている、高度に経験的な分野です。進歩するために天才的なパラダイムシフトの洞察は必要なく、実行において非常に信頼性が高く、細部に注意を払い、体系的である必要があるため、本質的に単純なのです。クリーンなコードを書き、微妙なバグを排除し、経験的なデータを注意深く分析しなければなりません。ブレイクスルーのほとんどは、個人の天才ではなく、集団的で規律あるエンジニアリングの結果です。
Xiaojun：信頼性が高く質の高いAI研究者を見極めるために、どのような面接プロセスを設計していますか？
姚順雨：候補者に24時間を与え、強化学習プロジェクトをゼロから構築・学習させるという面接タスクを設計しました。モデル、データ、アルゴリズムを選択させ、実装について1時間議論します。現代のAI時代において、生のコードを書くことはAIを使えば簡単です。真のテストは、彼らが構築したシステムを真に理解しているかどうかです。深い体系的な理解なしに盲目的にAIにすべてを生成させていれば、技術的な議論ですぐに失敗します。また、厳しい制約の下で優れた結果を出すために徹夜を厭わないか、という献身とハングリー精神もテストします。
エンジニアリングのリーダーシップと大規模AIプロジェクトの管理
Xiaojun：各ラボは、事前学習と事後学習のトレードオフを管理するために、どのように研究チームを組織していますか？
姚順雨：AnthropicとGoogleはどちらも、事前学習と事後学習のために別々の専任チームを維持しています。OpenAIの構造は歴史的に流動的で時に混沌としており、事後学習、強化学習、製品チームが責任範囲で重なることもあります。効果的な組織構造は、最終的には巨大な信頼性を持つ技術リーダーがいるかどうかに依存します。このリーダーは、問題が発生した際に最前線に立って重要な技術的火消しをする実務能力と、自分では思いつかなかった多様で探索的なアイデアを理解しサポートする寛容さの両方が必要です。Googleはこの点で強力なバランスを見つけており、Koray KavukcuogluのようなリーダーがGeminiのスケーリングプロジェクトを管理し、Demis Hassabisが創薬のようなより広い科学的応用を統括しています。
Xiaojun：NVIDIAのGPUという業界標準に対して、TPUのようなカスタムハードウェアに関するGoogleの競争上の利点は何ですか？
姚順雨：純粋なハードウェアの観点から見れば、どちらかが大規模デプロイメントで本質的に優れているわけではありません。GPUの主な利点は成熟したオープンソースのソフトウェアエコシステムですが、TPUはGoogleが独自のカスタムコンパイラとインフラを構築するために多額の投資をすることを要求します。しかし、数十万チップという規模では、このソフトウェア投資は完全に正当化されます。アーキテクチャ設計の哲学はかなり異なります。NVIDIAのGPUポッドは、比較的小さなカードノード内で信じられないほど高速なNVLinkインターコネクトに焦点を当てています。GoogleのTPUは3Dトーラスネットワークトポロジを利用し、ペア間の相互接続速度を一部犠牲にして、単一クラスター内で膨大な数のカードを直接リンクします。コンパイラやデータシャーディング戦略がこのトポロジを活用できるように十分に書かれていれば、大規模なメモリ容量を実現し、大規模学習中の通信ボトルネックを大幅に削減できます。
LLMパラダイムの展望とプログラマーへのキャリアアドバイス
Xiaojun：今日AI分野に入る若者にとって、そこはまだチャンスに満ちたブルーオーシャンでしょうか？
姚順雨：純粋な自然言語処理と標準的なLLMスケーリングは、もはやブルーオーシャンではありません。最後の列車は既に出発しており、風景は巨大で統合されたエンジニアリングチームによって支配されています。しかし、AIは信じられないほど広大な領域です。マルチモーダル生成、物理ロボティクス、そしてAIを使って科学的・数学的な根本問題を解決することには巨大なチャンスがあります。若い研究者にとっての最善の選択は、今日の最も騒がしいトレンドを追いかけることではなく、明日解決されるべき未解決で放置された課題に焦点を当てることです。
Xiaojun：あなた自身の将来の個人的な計画は？
姚順雨：一生巨大テック企業に留まることはないでしょう。自分自身に挑戦し続け、解決すべき難しい問題を見つけ、新しい技術領域を学び続けたい。現在、私の最優先事項は、MLコーディングと長期的な学習システムを、高度に安定した本番環境で動作する状態にすることです。それが達成されたら、次に攻略すべき難しい課題を探すつもりです。
Xiaojun：当番組のすべてのゲストに、深く影響を受けた本を推薦していただいています。視聴者に何を勧めますか？
姚順雨：正直なところ、私はあまり読書家ではなく、伝統的な本を読むのは好きではありません。読むもののほとんどは専門的な研究論文です。しかし、最近ノーベル物理学賞を受賞した湯川秀樹の自伝『旅人』を読みました。これは、若き日に自己不信や課題に苦しむ、非常に成功した科学者の姿を非常に本物らしく、心温まる視点で描いています。フィクションの素晴らしい推薦が欲しいなら、日本の小説『新世界より』を強くお勧めします。
Xiaojun：順雨さん、本日は非常に直接的で価値のある洞察を共有していただき、ありがとうございました。
姚順雨：ありがとうございました。お話しできて光栄でした。