DruckFin

Googleトランスクリプト：ジェフ・ディーンが語る推論ハードウェアの特化と自己改善型AIシステム

Y Combinator Startup School 2026、2026年9月20日

AIモデルはすでにジュニアエンジニアなのか？

ダイアナ・フー：それでは、ジェフ、始めましょうか？

ジェフ・ディーン：もちろんです。よろしくお願いします。

ダイアナ・フー：ジェフ、ようこそ。そして本日はご参加いただき本当にありがとうございます。特に、ちょうど風邪を引かれたとのことですが、お越しいただき感謝します。

ジェフ・ディーン：ええ、声を潰してしまって申し訳ありません。普段はこのような声ではないのですが、できる限り頑張ります。

ダイアナ・フー：あなたはMapReduce、Bigtable、TensorFlow、TPU、Geminiを構築されました。これまでの業績について話すだけで1時間まるまる使えてしまいそうですが、何より素晴らしいのは、今でも公の場で大胆な予測を発信し続けていることです。昨年の2025年5月に開催されたAI Ascentで、あなたはAIはジュニアエンジニアのレベルにあるとおっしゃいました。あれから約1年が経ちますが、その予測にはどのくらい近づいていますか？

ジェフ・ディーン：そうですね、モデルはエージェントベースの、より長時間実行されるコーディングタスクにおいて一段と向上していると感じています。現在では実際にかなりの能力を備えていることはかなり明白です。ジュニアエンジニアの定義にもよりますが、かなり的を射ていると言えるのではないでしょうか。

ダイアナ・フー：その予測において、過小評価していたことは何ですか？

ジェフ・ディーン：より複雑なタスクをこなす能力の向上が、私の予想よりも速かった点ですね。また、コーディング以外でも、こうしたエージェントベースのシステムが他の領域でめきめきと頭角を現し始めています。それは今後重要なトレンドになっていくと思います。

ダイアナ・フー：もう一つ大胆な予測を聞かせてください。2027年版は何になるとお考えですか？

自ら改善するAIシステム

ジェフ・ディーン：ML（機械学習）システム自体の自動化が一段と進むでしょう。基本的には、多数の実験を実行し、問題をサブ問題に分解し、それらのサブ問題を緊密な自動実験ループの中で処理し、結果を統合して、そうした完全自動化された問題分解と自動実験からより優れたシステムを生み出す、という形でMLシステムの能力を向上させていくことです。これは本当にエキサイティングなものになると思います。また、これはMLに限らず、科学やエンジニアリングの他の分野にも当てはまります。測定可能な目的を設定できるものであれば、現在では大きな進歩を遂げることが可能になると考えています。

ダイアナ・フー：それでは少し歴史を振り返ってみましょう。はるか昔の2001年、Google検索はハードドライブ上で稼働していました。

ジェフ・ディーン：ええ。

ダイアナ・フー：あなたとサンジャイ（・ジェラヴァット）は計算を行い、いつの日か検索インデックス全体が稼働中の全コンピューターのRAM（メインメモリ）に収まるようになると気づきました。そのラジカルな直感を抱いたあなた方は、サンジャイとともにわずか数日間で、ハードドライブではなくRAM上で稼働する全く新しい検索バージョンを本番環境に投入しました。それがGoogle検索を圧倒的に高速にした要因です。歴史は形を変えて繰り返されます。今、2026年において、この部屋の誰もが心に留め、設計すべき「メモリに収まる」瞬間とは何でしょうか？

すべてを変えたGoogle検索のブレイクスルー

ジェフ・ディーン：そうですね、少し毛色は違いますが、高性能かつ低消費電力の推論ハードウェアシステムがますます台頭してくるでしょう。誰もが今や、エージェントベースのシステムをより多くの人々に利用可能にするカギが推論であり、レイテンシ（遅延）が極めて重要であり、ハードウェアの特化こそがGPUやTPUといった汎用的な計算デバイスよりもエネルギー効率が高く低レイテンシなものを実現するための決定的な手段であると気づき始めています。この場にいる誰もがモデルからの応答を待つことに慣れていますが、待たされるのは楽しいものではありません。

ダイアナ・フー：圧倒的なスピードですね。つまり、もう待つ必要がなくなったらどうなるか、ということですね。

ジェフ・ディーン：ええ。レイテンシが50倍も優れたシステムがあったら、何ができるか想像してみてください。

AIエージェントは何週間も稼働し続ける

ダイアナ・フー：興味深い視点ですね。では、この部屋にいる6,000人がAIについて抱いているものの、すでに間違っている前提を一つ挙げるとしたら何でしょうか？

ジェフ・ディーン：良い質問ですね。おそらく一つは、人々がエージェントベースのシステムのもたらす可能性を十分に理解していない点でしょう。興味のある問題に対して1、2時間稼働するだけでなく、特定の問題ドメインにおいて高度な能力を持つ基盤モデルを活用すれば、数日から数週間にわたって稼働させ、非常に複雑なタスクをこなさせることが可能です。一部の人々はそれに気づき始めていますが、誰もがそれを十分に自分のものとして内面化しているわけではないと思います。これは非常に大きな意味を持つはずです。

ダイアナ・フー：あなたが実際に実行した、何週間も稼働し続けた特定のタスクとはどのようなものですか？ それは何でしたか？ エージェントに何を解決させましたか？

ジェフ・ディーン：エージェントに指示を出して、より優れた安全性やパフォーマンスの特性を持つかもしれない異なるプログラミング言語で全く新しいバージョンのソフトウェアを実装させることができます。そして、彼らはそれをかなり本格的な規模でやり遂げることができるのです。

TPUを生み出した「ナプキンの上の計算」

ダイアナ・フー：それは非常に興味深いですね。さて、あなたが非常に広く知られている理由の一つに、ナプキンの裏で計算を行う「ナプキン・マース（ napkin math ）」の達人であることが挙げられます。なんだか面白い話ですが、2013年にGoogleで音声認識が実用化し始めた頃のエピソードとして、Googleのユーザー全員が携帯電話を使って音声認識システムに1日わずか3分間話しかけたとしたら、Googleのサーバーフリート（サーバー群）を倍増させなければならないことになり、単に音声翻訳を行うためだけに莫大なコストがかかるという計算をあなたがナプキンの上で導き出したというものがあります。

ジェフ・ディーン：ええ。

ダイアナ・フー：そしてその代わりに、あなたはカスタムチップを構築しました。それがTPUの起源の物語ですね。

ジェフ・ディーン：そうです。私たちがトレーニングしていたディープラーニングベースの音声モデルで非常に高品質な結果が出始めていたのですが、従来の音声システムに比べて計算コストが高かったのです。しかし、それらのモデルはエラー率を半減させました。それは、モデルを少し調整し、規模を拡大し、より良いデータを取得するという数カ月の試行錯誤だけで、音声認識における20年分の進歩に匹敵するような成果でした。そのため、音声認識の性能が向上すれば、人々はさらにそれを使うようになるのではないかと懸念し始めたのです。「バック・オブ・ジ・エンベロープ（封筒の裏の計算）」を行ったのはまさにそのためでした。もし人々がメールの辞書代わりにしたり、携帯電話に話しかけたりするために音声認識をもっと使い始めたらどうなるか？ その結果、当時のCPU上で実行するよりも優れたソリューションが必要であることに気づきました。そこで私たちが開発したのがTPUです。これは、私たちが現在使用しているほぼすべての現代的機械学習アルゴリズムの核心にある、低精度な密東線形代数（dense linear algebra）に特化したものです。もし低精度な密東線形代数専用のチップを構築し、他のことが一切できなくても、ChromeやWordなどを動かせなくとも、機械学習の推論には極めて有用であることが判明しました。その数年後、当時のCPUやGPUに比べて30〜80倍もエネルギー効率が高く、レイテンシも20〜30倍と桁違いに低いチップが誕生したのです。

ダイアナ・フー：TPUが今日築き上げた土台を考えると信じられない話です。あなたがTPUを発明した時点よりずっと後に発明されたトランスフォーマー（Transformer）アーキテクチャにおいて、TPUがこれほど不可欠な存在になるとは、当時予測できたはずもありませんね。

ジェフ・ディーン：ええ、だからこそ私たちは汎用的な線形代数システムを構築したのです。それこそがTPUの本質ですからね。機械学習のアルゴリズムはまだ進化の途上にあり、過度に特化しすぎるべきではないと分かっていましたが、非常に大規模な乗算ユニットを持つことによる劇的なパフォーマンスのメリットを享受できる程度には特化させる必要がありました。高速なメモリを備え、後の世代のTPU向けには、多数のチップを効率的に同じ問題に動員できる高速なインターコネクトを持たせることができました。私たちはそれらの規模を拡大し続け、数世代にわたってパフォーマンスを向上させ続けてきました。

ブレイクスルーのアイデアを見つける方法

ダイアナ・フー：見事なナプキン・マースですね。ナプキンは実に有用です。では実際に、未来の創業者を目指すこの場の全員が、今夜実行すべき優れたナプキン・マースとは何でしょうか。TPUのように世界に大きな影響を与えるものを構築するために。一言で言うのは難しいですが。

ジェフ・ディーン：いつも一言で言うのは難しいですが、自分が考えていることの中でどのような問題やボトルネックが見えるか、そしてそれらの問題の解決策について、現在とは全く異なるアプローチをとることで、パフォーマンスや能力などを1桁あるいは2桁向上させられるかどうかを考えてみてください。なぜなら、ある問題を凝視し、その問題が現在どのように解決されているかだけに囚われるのではなく、第一原理（ファースト・プリンシプル）からどのように解決すべきかを考えれば、他の人が思いつかないような非常に優れたアイデアを生み出すことができるからです。

AIエンジニアの新しいメンタルモデル

ダイアナ・フー：素晴らしいアドバイスですね。ここにいる皆さんはご存知ないかもしれませんが、ジェフはかつて「すべてのコンピュータサイエンティストが知っておくべきレイテンシの数値（Latency Numbers Every Computer Scientist Should Know）」という非常に有名なリストを作成しました。これらは例えば、キャッシュミス、ディスクシーク、ネットワークパケットがカリフォルニアからオランダまで移動するのにかかる時間など、分散システムやシステムエンジニアリングに関する多くの数値です。それは印刷され、多くの分散システムエンジニアのバイブルとなりました。さて時を早送りして、そのリストがアップデートされる時期が来ています。2026年現在のAI版を教えてください。

ジェフ・ディーン：近年のAIシステムにおいて何が重要かを俯瞰すると、アクセラレータ上のメインメモリシステムからオンチップメモリ、そして乗算ユニットに至るまでの帯域幅などを把握したくなるでしょう。1回の乗算演算にどれだけのエネルギーが必要かを知りたいはずです。チップ間のインターコネクトの帯域幅はどれくらいで、その帯域幅で何個のチップを接続できるのか。そして、その領域を超えて、500個ではなく1万個のチップと通信する必要が生じたときに、ネットワークの帯域幅がどのように低下するのか。これらはすべて学ぶべき極めて重要な数値であり、特定の種類の問題をどのように解決すべきかを考える方法に直接的な影響を与えます。

ダイアナ・フー：あなたについて耳にした興味深い話の一つに、現在ではあらゆるものを測る単位が「エネルギー」になっているというものがあります。

ジェフ・ディーン：ええ。

ダイアナ・フー：計算や数式を1回実行するのに約1ピコジュールかかりますが、データの移動やデータI/Oを行うにはその1,000倍のコストがかかると指摘されていましたね。

ジェフ・ディーン：ええ。アクセラレータ上のHBM（高帯域幅メモリ）からプロセッサーにデータを呼び込み、実際に計算処理を行えるようにするために必要なエネルギーですね。

なぜAIは本質的に「エネルギーの問題」なのか

ダイアナ・フー：なるほど。そのギャップが、どのようなプロダクトが実現可能であり、AIにおけるこれらのアルゴリズムがどのように構築されるかを、密かに決定づけているわけですね。創業者たちがモデルの問題だと思い込んでいるものの、実は実際にはエネルギーやデータのI/Oの問題であるような課題にはどのようなものがありますか？

ジェフ・ディーン：データの移動にかかるエネルギーと実際に計算するエネルギーの間に1,000倍の差があるという、先ほど挙げられた例は非常に象徴的であり、私たちが機械学習で行うことの多くの側面を形作っています。もしその1,000倍の差が存在しなければ、バッチ処理を行う必要がなくなるからです。しかし、データ移動のコストを分散させ、1,000倍の速度低下の代わりに「1,000倍をバッチサイズで割ったエネルギーコスト」ですむようにするため、一度に多くのサンプルや多くのトークンをバッチ処理しなければなりません。極めて低いレイテンシが求められる場合、バッチ処理があまり適していないのもそのためです。こうした要素や、私たちが使用するコンピューターハードウェアにおける様々な決定の背景にあるエネルギーの問題は、より高レベルなシステムを構築する際の多くの判断に多大な影響を与えています。

ダイアナ・フー：非常に具体的な例として、モデルのトレーニング方法そのものが挙げられます。データセットをバッチ化してエポックを実行するという概念全体がありますが、人々はそれをモデルの問題と誤解しがちですが、実際にはシステムやデータのI/Oの問題ですよね？

ジェフ・ディーン：ええ。ハードウェアの効率を高めるためにバッチを組み立てる必要があります。理想を言えば、バッチサイズ1でトレーニングを行いたいところですが、効率の面では劣ってしまいます。そのため、現在では人々はかなり大きなバッチを使用しています。

ダイアナ・フー：あなたは長い週末や休暇を取って素晴らしいソリューションを生み出すことでよく知られています。ジェフが数週間かけて取り組み、「バッチサイズ＝1でのトレーニング」を成し遂げるようなことはあるのでしょうか？

ジェフ・ディーン：実は、最近は推論についてより多く考えています。推論は非常に興味深い問題です。なぜなら、非常に低いレイテンシが求められるからです。トレーニングにおいては、信じられないほどの低レイテンシが必ずしも必要とされるわけではありません。現在私たちがしている以上に、推論向けにハードウェアを特化させる余地はたくさんあると考えています。

ダイアナ・フー：あなたが深く考えている、推論に関する興味深い点にはどのようなものがありますか？

ジェフ・ディーン：データ移動を最小限に抑えること、極めて低精度の演算について考えること、そして無数に異なる種類の精度をサポートしないようにすることなどです。自分が必要とする精度の種類について確信があるのであれば、それをハードウェアに直接組み込み、余計なものは盛り込まないのがよいでしょう。

ダイアナ・フー：それは、著名なコンピュータサイエンティストから聞いた核心的なアナロジーにつながりますね。AIのプロセス全体の本質は、巨大な圧縮問題であるというものです。データをロスあり（損失あり）で圧縮し、そして復元するためには、基本的にデータを理解している必要があるという。

ジェフ・ディーン：データを真に理解しているのであれば、それを非常にうまく圧縮できるはずです。

ダイアナ・フー：そして今や、トランスフォーマー（Transformer）アーキテクチャがまさに非常にうまく機能することが証明された方法の一つとなっているわけですね。

ジェフ・ディーン：ええ、今のところかなりうまくいっています。同僚たちの素晴らしい仕事の成果です。

コンテキスト・エンジニアリングが次のフロンティア

ダイアナ・フー：そうですね。では、少し視野を広げてみましょう。かつてのAIの進歩は、単により優れたモデルを意味していました。より多くのデータがあり、より多くのパラメータを持つモデルをトレーニングするというものです。しかしここ1年ほどで、モデルをめぐるあらゆる要素がますます重要になっています。モデルのサイズやパラメータ数、あるいはより多くのデータだけでなく、検索（リトリーバル）、ツール、メモリ、エージェントツールなど、モデルを取り巻くすべての要素であり、それらは人々が「コンテキスト・エンジニアリング（Context Engineering）」と呼ぶものに統合されつつありますよね？

ジェフ・ディーン：ええ。モデルは、本当に興味深い問題を解決できる総合的なシステムを構築しようとする試みの中の、あくまで一つのピースにすぎません。それには、様々なツールの使い方を知っているモデルが含まれます。関連する情報を検索する方法を知っており、過去の問題で取得した他の情報の履歴を保持しているかもしれず、そうした情報をモデルのコンテキストに投入することができます。その素晴らしい点は、モデルがトレーニングされた際のデザインデータとは異なり、モデルにとって情報が非常に明確であるということです。トレーニングデータは、何兆ものトークンが数百億または何兆ものパラメータのスープに混ぜ合わされたようなものですが、今回の特定の課題やユースケースに対してモデルが直接目にする実際のコンテキストほど明確ではありません。

ジェフ・ディーン：そして、利用可能なツールを理解し、どれがモデルの次のフェーズの課題解決に役立つかを判断し、問題を一連のツール呼び出しに分解する方法を知り、問題を解決するために複数のアプローチを試してどれが機能するかを確認して評価できること。これらすべてが、複雑なエージェントシステムやマルチエージェントシステムのオーケストレーションであり、今後ますます重要になっていくと考えています。非常にエキサイティングな時代だと言えますね。

ダイアナ・フー：この特定の課題領域のセットの面白いところは、この部屋にいる誰もが実際に実践できるという点です。以前は、モデルをトレーニングするためには膨大なリソースと、GPUやデータへの莫大なアクセスが必要でした。しかし、コンテキスト・エンジニアリングであれば、ここにいる全員が取り組むことができます。Geminiのような何らかのAPIさえあれば、独自の検索システム、独自のツール呼び出しなどのセットアップに取り組むことができます。ここで全員に向けて何かアドバイスはありますか？ どうすれば全員がコンテキスト・エンジニアリングに習熟し、卓越した存在になれるでしょうか？

ジェフ・ディーン：それを実践する非常に良い方法は、これらのモデルやハーネス、ツールを使用して実際に問題を解決しようと試みることです。そうする中で、モデルがどこで失敗しているのかが実際に見えてくることがあります。多くの場合、外部から変更するのが難しいモデルパラメータを調整するのではなく、モデルにより良いガイドラインを作成したり、特定のクラスの問題を解決する上で極めて有用なさまざまなツールの使い方をモデルに教えるためのスキルを記述したりすることで、モデルの動作を改善し、そうした問題の解決に成功させることができます。そうしていくうちに、物事を解決するために活用しようとしている一種の自己改善型セットアップに行き着くことになります。それが、モデルがより高い能力を発揮するためにどのような追加情報を必要としているかを理解するためのスキルを高める絶好の方法です。

AIの最適化能力を高めたスキル

ダイアナ・フー：あなたが個人的に行ってきたコンテキスト・エンジニアリングや、ご自身のワークフローに劇的な違いをもたらした記述したスキル、ツールなどの例を挙げていただけますか？

ジェフ・ディーン：サンジャイと私は数週間前、非常に低レイテンシなライブラリのパフォーマンス改善に取り組んでいました。私たちにはGoogleで作成したマイクロベンチマークライブラリがあり、さまざまな種類の演算にどれくらいの時間がかかるか、あるいはこのデータ構造を埋めるのにどれくらいの時間がかかるかを測定するマイクロベンチマークを記述することができます。それらのデータ構造はGoogle全域の数百万ものプロセスで使用されることがあるため、高いパフォーマンスを確実に発揮させることが極めて重要です。マイクロベンチマークを記述することはできますが、エージェントベースのシステムがなければ、通常は自分が関心を持つベンチマーク上で現在のパフォーマンスを測定し、パフォーマンスを向上させるための変更を加え、ベンチマークを再実行してどこが改善されたかを確認し、より広範なベンチマークセットを実行してキャッシュのフットプリントを測定するという作業を行います。

ジェフ・ディーン：私たちは、モデルにそれらの作業の大半をさまざまなシーケンスで実行する方法を教え込むスキルを記述しました。これにより、自己改善型のベンチマーク測定、コードの変更、パフォーマンス向上の測定、そしてそれらの反復をモデルが実際に実行できるようになりました。これは特定の問題に対してかなりうまく機能したようです。私たちが人間として用いるアプローチを、モデルが利用できる形にして与えたにすぎません。

ダイアナ・フー：おお、それは非常に印象的ですね。つまり、誰かがそのスキルにアクセスできれば、ジェフ・ディーンのような最適化を実行できるということですね。世界中がこれを欲しがり、アクセス権を手に入れるために無限の価値を支払う価値がありそうです。

ジェフ・ディーン：実は、サンジャイと私が執筆した「パフォーマンスのヒント（Performance Hints）」というドキュメントを数カ月前に公開しました。様々な種類のパフォーマンス上の工夫について書かれた30ページほどのドキュメントです。それを要約した形でさまざまなモデルに読み込ませ、コード内のパフォーマンス上の課題についてモデルがより高度に推論できるようになったことを確認した人々もいます。

ダイアナ・フー：皆様、ここだけの話です。公開された論文「Performance Hints」を活用すれば、あなたもジェフ・ディーンのように自身のコードを最適化できるというわけですね。

ジェフ・ディーン：ええ。無料で公開されているので、ぜひ皆さんも試してみてください。

なぜ長期稼働エージェントは失敗するのか

ダイアナ・フー：非常に面白いですね。さて、エージェントの話がありましたが、ここにいる誰もが今や何らかのエージェントを構築しているか、過去に構築したことがあるでしょう。皆さんも、自分のエージェントがステップ30や40で脱線するのを目の当たりにしたことがあるはずです。エージェントはステップ10あたりまでは素晴らしいのに、ステップ50になると不安定になります。現在の制約は何だとお考えですか？ コンテキスト評価者なのか、それとも本質的にオープンループシステムであるためにエラーが複合的に蓄積していくことなのでしょうか？

ジェフ・ディーン：当然ながら、私たちはエージェントに非常に長期間にわたって稼働し続けてほしいと望んでいます。なぜなら、それこそがますます複雑な問題を解決していく方法だからです。しかし、ご指摘のように、ツールとのインタラクションが10回を超えると動作しなくなることがあります。それは時々、モデルが自分があまり経験のないことをやろうとしていることが原因です。モデルは一連の事柄全体でトレーニングされていますが、その既知の処理範囲の分布（ディストリビューション）から少し外れた途端に、ほとんどの機械学習モデルと同様に、パフォーマンスが低下し始めます。自分の得意とする快適ゾーンから離れれば離れるほど、うまく機能しなくなる可能性が高くなります。

ジェフ・ディーン：それに対して講じられる対策はいくつかあります。一つは、モデルに熟知している事柄の「明るく照らされた道」に留まらせるようなスキルやヒントを与えることです。複数のエージェントが異なるアプローチを試行するマルチエージェントシステムを構築し、どれが有望そうかを別のモデルや別のエージェントに評価させることも、可能な解決策の空間を探索し、最も有望なものに固執し、機能しなかったり脱線したりしたものを破棄するためのもう一つの方法です。これは非常に有用な汎用テクニックであり、妥当な問題解決方法の探索を実行時（インファレンス・タイム）の計算によって行うことで、長期稼働するエージェントのフローにおいて、はるかに高いパフォーマンスや信頼性を引き出すことができます。

ダイアナ・フー：内部のエージェントのために、この特定のワークフローをどのように実装されているのですか？

ジェフ・ディーン：私たちはハーネスを備えており、特にGoogleの内部開発環境において一連のスキルを網羅しています。エージェントがコーディング、コードレビュー、パフォーマンス測定、ログファイルの取得といった多くの社内ツールを使いこなせるようにするためのスキルです。これらは、Google社内のエンジニアが独自システムからログファイルをどのように取得するかという正確な手順でトレーニングされていないベースモデルであっても、その能力を高めるために追加できるスキルです。適切なスキル定義を行えば実際に機能させることができ、それがエージェントの有用性を高めることにつながります。

スタートアップがGoogleを打ち負かせる領域

ダイアナ・フー：それでは、スタートアップが勝てる領域についてお話ししましょう。このセクションは、未来の創業者であるこの部屋の全員が今後何を構築すべきかを決める必要があるため、私自身非常に注目しているテーマです。Googleの特徴は、プロセッサーからプロダクトに至るまで、システム内のあらゆるものを共同設計（コデザイン）している点です。Googleのような企業が構築し続け、複利的に強くなり、優位性を維持するレイヤーはどこでしょうか。そして、2、3人のチームが依然として勝利を収められるのはどの領域でしょうか？

ジェフ・ディーン：当然ながら、Googleおよび私たちのGeminiモデルやハードウェアインフラは、ほぼ何でもこなせる非常に汎用的なモデルを構築しようと努めています。しかし多くの場合、それは、非常に優れたデザインのUI、モデルとスキルのセット、あるいは当社のモデルがうまくこなす汎用的なミックスには含まれない特化型モデルなどが、大きな優位性を発揮できるような特定の領域に対して、私たちが十分な注意を払えていないことを意味します。あなたが本当に情熱を注いでいる領域において、心地よく使え、極めて高い精度と品質を持つものを構築することができます。それこそが、部屋に集まった2、3人の少人数チームが優位性を発揮できる場所です。

ジェフ・ディーン：ただし、汎用モデルがより幅広い領域で確実に性能を向上させていることにも注意を促したいです。したがって、取り組んでいるその課題が持続的なものになるのか、それとも最先端のモデルが今後6カ月や12カ月のうちにその領域をこなせるようになるのか、あるいは今後2、3年は対応できない領域なのかを見極める必要があります。何に取り組むかを決める際には、その点を慎重に比較検討すべきです。

ダイアナ・フー：汎用モデルは当然のことながら今後も開発が続けられ、さらに強力になっていきます。聴衆の皆さんは、どのような領域を選んで取り組むべきか、どのように考えるべきでしょうか？

ジェフ・ディーン：最も重要なことは、自分が心からワクワクし、構築したいと思え、世界中で役立つと確信できるものを選ぶことです。もしそうであれば、「これを本当にやりたいとは思えない」と感じたり、世界や多くの人々にとって大して役に立たないものを構築したりする場合に比べて、すでに圧倒的にリードしています。それこそが、次にどの問題に取り組むべきかを判断する際に私が適用しようとする第一の選定基準です。

ジェフ・ディーン：第二に、その問題ドメインにおいて現在のより一般的なモデルが何を行えるかを確認すべきです。テストしてみるのです。モデルはこの課題を非常にうまくこなせるでしょうか？ もし完全に失敗しているのであれば、それはおそらく良い兆候です。もし部分的にはこなせるが、あまりうまくできないのであれば、それはあまり良い兆候ではないかもしれません。それは、その能力がそれらのモデルの中に現れつつあり、より多くのトレーニングデータや大規模なモデルなどによって、今後さらに向上する可能性が高いことを示しています。モデルが20%成功する領域ではなく、0%または1%しか成功しない領域を探すべきです。

ダイアナ・フー：それらをどうやって見つけるのでしょうか？ それらはトレーニングセットから事実上アウト・オブ・ディストリビューション（分布外）にあるものなのでしょうか。それに適合する問題の形状とは正確にはどのようなものですか？

ジェフ・ディーン：時としてそれは、汎用モデルが決してアクセスできないような特定の種類のデータにアクセスできるようなプロダクトを構築することです。例えば、ユーザーが自身のすべての個人情報を整理するのを支援するプロダクトを構築している場合、汎用モデルは必ずしもそれにアクセスできるわけではありません。その場合、あなたのプロダクトが重要なデータへの視認性（可視性）を持つことになるため、大きな優位性を得ることができます。

ジェフ・ディーン：あるいは、適切なトレーニングデータを入手できれば、汎用目的のものよりも特定用途向けのモデルをトレーニングでき、非常に手頃なコストでそれを実現できるような、信じられないほど困難な問題である場合もあります。特定の課題のためにニッチなモデルをトレーニングするのにそれほど多くの計算資源を必要とせず、高度な精度を得られるかもしれません。それは時として、汎用モデルではあまりうまく処理できない重要な問題を解決するための非常に優れた構成要素となり得ます。

ダイアナ・フー：基本的には2つの道がありますね。1つ目は少し面白いもので、Googleの皆さんは「世界の情報」を組織化していますが、それはすでに網羅されています。しかし、「個人の情報」を組織化することは開拓の余地があります。2つ目の道は、特定の領域におけるより特化型のモデルについて言及されていました。それらの領域の一部について、もう少し詳しく教えていただけますか？

ジェフ・ディーン：同僚たちが手がけたAlphaFoldの仕事をご覧になるとわかるように、あれはタンパク質の折り畳み（フォールディング）に特化した非常に具体的なモデルでした。大成功を収め、その領域を極めて巧みに処理することができたため、タンパク質とその構造に関する疑問に対して極めて効果的に答えを提示してくれる素晴らしいツールとモデルを突如として手に入れることができました。しかし、それは汎用モデルではなく、非常に特化したモデルです。材料科学やチップ設計など、この種のЛプローチが極めてうまく機能し、正確だがニッチなモデルの能力を活用して現在では困難なことを成し遂げられるような領域は他にも存在します。

AIネイティブな創業者になる方法

ダイアナ・フー：もし皆様の中にAlphaFoldのような形状の問題を見出す人がいれば、それは取り組むべき優れた課題になり得ますね。さて、取り組むべき問題を見つけたと仮定しましょう。次は、どのようにしてAIネイティブな創業者になるかについて少しお話しします。以前、あなたは50〜100台のエージェントのフリートを管理することは、非常に優れていて明快な設計ドキュメントや仕様書（スペック）を書くことに尽きるとおっしゃっていました。人々はどうすればそれが上手くなるのでしょうか？ それらはどのようなものに見えるべきですか？

ジェフ・ディーン：自分が何を求めているのかを明確に仕様化（指定）できれば、バーチャルエージェントと協働する際により大きな成功を収めることができます。自分が求めているものを明確にすればするほど、エージェントはガイドラインや達成しようとしていることの輪郭を把握しやすくなります。逆にほとんど何も指定しない場合、エージェントは何を意図しているのかを推測しなければなりません。多くの場合、エージェントはあなたが想像したものとは異なる推論を下すかもしれません。私たちは最初期からコンピュータサイエンティストたちに対し、書こうとしているソフトウェアが何を達成しようとしているのかを、実際に書き始める前に明確に仕様化することが極めて重要であると常に伝えてきました。現在では、コードを実際に書いてくれるエージェントベースのシステムが存在しますが、自分が何を求めているのかを仕様化する重要性はむしろ高まっています。以前であれば、コンテキストを理解しているか、追加の質問をしてくるような非常に知的な人間に引き渡していました。エージェントも時にはそれができますが、明確な仕様を提示することは依然として極めて優れたアプローチです。

ダイアナ・フー：非常にうまく機能するコーディングエージェントの利用例を挙げましょう。今日のモデルに、あるコンピュータ言語から別の言語へとソフトウェアを非常に効率的に翻訳させることができます。その場合、システムが何をするべきかを記したソフトウェア全体という、信じられないほど詳細な仕様が存在することになります。あるもののPython実装があり、それをGo実装にしたい場合、現在のモデルはまさにその作業を驚異的な能力でこなすことができます。Pythonに存在するすべてのテストを取得し、それらのテストをGoに翻訳し、Goバージョンでそれらが合格することを確認し、不一致がなくなるまで実装間の動作の違いを比較し、仕様が非常に明確であるゆえに極めて高い効果を発揮します。

ダイアナ・フー：それでは、すべての創業者が数百のエージェントを同時に稼働させることに習熟し、すべてのコードがエージェントによって自分たちのために書かれるようになったと仮定しましょう。そのとき、希少なスキルは何になるでしょうか？

ダイアナ・フー：この「センス」についてもう少し深掘りさせてください。エージェントコーディングが主流となっている現在の時代において、非常に頻繁に議論されているからです。センスをどのように培えばよいのでしょうか？ それをどのように具体化するのでしょうか？

ジェフ・ディーン：それは難しい問題です。多くの場合、センスを測る測定可能な目的が存在するわけではないからです。その一部は経験から生まれます。過去に数多くの異なる問題に取り組んできた経験が、将来どのような問題が面白そうか、あるいは従来のアプローチを寄せ集めることでどうにか実現可能になるものは何か、そして魔法のような、あるいは極めて有用なものに到達するためにどのような未解決の課題に取り組む必要があるのかを教えてくれます。

ジェフ・ディーン：自身の経験を増やすもう一つの方法は、今後12カ月の間に重要になると自分が考える事柄をいくつ書き出してみることです。そのうちの一つを選んで取り組んでみるのもよいですが、12カ月後に振り返って、書き出した他の事柄のうちどれが実際に重要になり、世界の他の人々が実際に作り上げたものはどれで、まだ誰も手をつけていないものはどれかを評価するのです。そうすることで、自身のセンス創造能力のためのサンプルを増やすことができます。それは備えておくべき重要なスキルです。

最大の前提を疑う

ダイアナ・フー：私たちが先ほど話していた3つ目の方法は、非常に突飛な思考実験を行うことですね。

ジェフ・ディーン：それも優れた方法です。大多数の人々が当たり前だと考えていることを、そのまま当然のこととして受け入れないのが良い場合もあります。先日子どもたちや同僚とある突飛な思考実験を行いました。60年もの間、シリコンチップの設計・製造業界は、エラー率が極私的に低い、より小さなスケールのトランジスタを作り出すために途方もない努力を重ねてきました。私たちが求めている前提は、同じデザインで製造されたすべてのチップが、他のすべてのチップと同一でなければならないということです。ビットが反転してはならず、ビットフリップはあってはならない。あらゆる種類のマージンが組み込まれており、近年のメモリにはECCメモリが採用されています。

ジェフ・ディーン：しかしマクロなスケールで見ると、大規模な分散システムを構築する際、私たちはそのような前提を置いていません。私たちは信頼性の低い部品から、信頼性の高い大規模な分散ファイルシステムを構築しています。個々のディスクは故障することがありますが、データは安全でなければなりません。ラックのスイッチ、個々のマシン、ディスクのいずれが故障してもデータが失われないよう、3つの異なるマシンや3つの異なるラックにデータの3つのコピーを保持するような高水準のメカニズムを備えています。リード・ソロモン符号化技術も利用しています。しかし、私たちが取り組んでいるテクノロジーのトランジスタレベルのスケールにおいて、極限のレベルでこれを行っているようには見えません。

ジェフ・ディーン：興味深い思考実験はこうです。「100万年に1回ではなく、1日に20回のエラーを起こすかもしれないトランジスタからシステムを構築しようとしたら、何が起こるだろうか？」これは非常に異なる設計ポイントであり、製造面において非常に興味深いことを可能にするかもしれません。非常に異なる設計手法が必要になるでしょう。なぜなら、このような超信頼性の低いトランジスタ環境で信号をある場所から別の場所に届けたい場合、シグナリングの方法が大きく異なるからです。確実に届くようにするために、複数の冗長な経路に沿って信号を送信することになるでしょう。これは非常に興味深い一連の思考実験だと思います。これを今すぐ実行すべきだと言っているわけではありませんが、時々前提を疑うことが重要だという例です。多くの場合、過去50年間なぜこの方法でやってきて別の方法をとらなかったのかについての非常に妥当な理由が存在するため、こうした思考実験はうまくいかないこともありますが、それでも定期的に見直してみることは有益です。

ダイアナ・フー：それは非常にぶっ飛んでいますね。ニューロモルフィック・コンピューティングや、人間の脳、そして自然がどのように機能しているかという点に非常に似てきていますね。

ジェフ・ディーン：私たちの脳内の信号は、ある場所から別の場所へ伝達される際にそれほど信頼性が高いわけではありません。脳において、ある場所から別の場所にどうしても伝えなければならない非常に重要な情報がある場合、それを可能にする複数の経路が存在しています。

ダイアナ・フー：過去にあなたが窓から投げ捨て、結果として重要なシステムを構築することにつながった、そうしたぶっ飛んだ前提の一つは何ですか？

ジェフ・ディーン：TPUはその良い例です。その問題ドメインが今日ほど重要視されるようになる前に、ニッチな問題ドメイン向けにハードウェアを特化させることができた点です。MapReduceの起源ももう一つの良い例です。サンジャイと私、そして何人かの同僚たちは、Googleにおけるクロールおよびインデックスシステムのさまざまなイテレーションに取り組んでいました。100台あるいは1,000台のコンピューターで稼働させる際にそれらがロバストで信頼性の高いものであることを保証するために、多くのチェックポイント処理を伴う手動で並列化されたコードを大量に記述していました。しかし、そうしたコードは、ウェブページの全コンテンツを調べ、URLからそのページがどの言語で書かれているかへのマッピングを脇で計算するといった、本来行いたい比較的単純な処理と混ざり合ってしまっていました。並列化や信頼性のためのその他のあらゆるコードによって、本質的な処理が埋もれてしまっていたのです。

ジェフ・ディーン：私たちは関数型言語のトレーニングを思い出し、それらの問題を凝視することで、実装の上にMapReduceという抽象化を開発できることに気づきました。実装の下層には、あらゆるシステムがその上に構築できるような下位ライブラリの中にすべてのチェックポイントおよび信頼性メカニズムを配置すればよいのです。「もしそれを凝視すれば、この抽象化に適合する多くの問題を見つけられるのではないか」というその思考実験から、Googleにおける超大規模計算を堅牢かつ信頼性の高い方法で処理する、大成功を収めた手法が生まれました。

より優れたAIを構築するAI

ダイアナ・フー：現在カスタムハードウェアに取り組んでいるという関心について少しお話しされましたね。現在、AlphaChipはチップのレイアウトを行っています。また、ソリューションを提案し、評価し、機能するものすべてを保持するAlphaEvolveもあります。あなたは、AIがAIを構築するという複利的なシステムを構築し始めているように見えます。

ジェフ・ディーン：より一般的に言えば、そこには科学的方法の基盤が存在します。すなわち、実験を提案し、実験を実行するために必要なものを実装し、実験を評価し、そこから結果を得るというプロセスです。いくつかの実験を実行するだけでなく、自動化によってそのループのレイテンシを極めて低く抑えられるがゆえに、非常に多くの実験を実行するというループ全体を実装することが可能になっている問題領域がますます増えています。それは極めて重要です。科学やエンジニアリング、機械学習モデルの設計自体、そしてチップ設計のようなエンジニアリングタスクに至るまで、多種多様な問題ドメインに取り組むことを可能にしてくれます。

ジェフ・ディーン：もしそれらのことを自動化された方法で行うことができ、非常に高レベルの目標を受け取ってそれをサブ問題に分解できるオーケストレーションフレームワークが存在するならば、それらのサブ問題のそれぞれが、そのサブ問題を解決する最適な方法を探索する自動化ループの1つを実行できるようになります。そして、オーケストレーションフレームワークがサブ問題の解決策を組み合わせて、より高レベルの問題に対する全体的なソリューションを構築することができます。それは機械学習の進歩を加速させ、科学を加速させ、エンジニアリングを加速させるでしょう。それは素晴らしいことです。

ダイアナ・フー：非常に優れた評価者を持つ多くの分野や、形式検証が可能なものに隣接する分野は、自己改善できるAIシステムにとって絶好の領域ですね。

ジェフ・ディーン：多くの場合、評価者をはるかに高速にする必要があります。一例として、私の同僚たちは1十年ほど前に量子化学の分野で研究を行いました。特定の分子の特性を理解しようとするものです。ある分子構成を生成し、それがどのような特性を持っているかを理解したいとします。非常に計算集約的な密度汎関数理論（DFT）シミュレーターを実行することができ、これは1つのことに対する答えを出すために一晩の計算を要するようなものです。同僚たちは、それらのシミュレーション実行からの大量の出力（入力された分子構成と高価なシミュレーターの出力）を取得し、シミュレーターのニューラル近似をトレーニングするために使用しました。一晩かかる代わりに、フルスケールシミュレーターを実行するのとほぼ同じ精度でありながら、30万倍も高速なものを構築しました。

ジェフ・ディーン：それは科学のやり方を完全に変えてしまいます。1,000万個のものをスクリーニングする必要がある場合、これまではすべてのシミュレーションを実行するのに十分な計算資源をかき集めようとして6カ月もかかるような大事業だったものが、ランチに行っている間に完了させることができるようになります。多くのドメインにおいて、より高速な検証モデル、場合によっては真の答えの近似値をはるかに急速に導き出すことのできる学習済み検証モデルの余地はたくさんあります。それは、そうした実験的ループの捉え方や、そこをどれほど迅速に周回できるかを一変させます。

ダイアナ・フー：この高速化された科学的方法が解決または達成するであろう領域や問題の中で、あなたが心からワクワクしているものは何ですか？

ジェフ・ディーン：モデル自身が（「モデルアーキテクチャにこれを組み込むような新しいアイデアをいくつか試してみたらどうか」といった最高レベルの人々からのちょっとした促しを受けながらかもしれないが）自ら探索することを決定し、大量の実験を実行し、どれが機能するかを確認し、はるかに急速なペースでそれらを統合していくという、より自動化されたループにすることを妨げるものは実質的に何もありません。効率的に言えば、計算入力の単位あたりの発見数を最適化したいわけです。

ダイアナ・フー：この部屋にいる全員が創業者になったりキャリアをスタートさせたりする中で、おそらく多くの拒絶（リジェクション）に直面するでしょう。それはあなたにも起こったことですね、ジェフ。2014年、あなたとジェフリー・ヒントン、オリオル・ビニャルスは、知識蒸留（ディスティレーション）に関する論文を執筆しました。これは、大規模な教師モデルを使用して、より少数のパラメータで計算コストが安く、より小型で効率的なモデルをトレーニングするというものです。それは現在業界の誰もが使用しているテクニックとなっていますが、その論文はNeurIPSでリジェクト（不採用）されました。

ジェフ・ディーン：プログラム委員会を責めるつもりはありません。多くの場合、1本の論文に対して3人の査読者がつき、そのうちの1人の査読者がそれに目を通し、重大なインパクトを与える可能性は低いと判断することがあります。私たちがその論文を書いたとき、これは極めて重要な問題であると認識していました。なぜなら、音声やビジョンのような領域においてより多くの人々にモデルを提供するために、大規模モデルからより安価で高度な能力を持つモデルを作り出すことがどうしてもやりたいことだったからです。しかし、査読者は大規模なAIサービスについて考えておらず、これが根本的な進歩であるかどうかを考えているため、そうした経験を持ち合わせていないことがあります。時にはリジェクトされることもありますが、それは問題ありません。arXivに公開すれば、人々が読み、人々が利用し、すべてがうまくいきます。私たちは、大規模なProモデルからFlashモデルを作成する際にも実際にそれを使用しています。それこそが、GeminiのFlashモデルがサイズと速度の割に非常に優れた能力を発揮し、モデルのサイズクラスにおけるベンチマークでトップクラスである理由の一部となっています。

ダイアナ・フー：たとえリジェクトされても、諦めずに続けましょうということですね。

ジェフ・ディーン：そこから抽出できる教訓はまさにそれです。

真に重要なものを構築する

ダイアナ・フー：あなたは1999年にわずか20人のスタートアップだったGoogleにジョインされました。もし当時の25歳のジェフ・ディーンを、現在のこの時代のあなた自身のスキルを持ったまま現代にテレポートさせたら、あなたは何をしますか？ フロンティアラボにジョインしますか、それとも会社を起業しますか？

ジェフ・ディーン：いつも一概に言うのは難しいことであり、何に時間を費やしたいかという非常に個人的な選択です。私にとって最も重要な疑問の一部は、「自分が心から大切に思えることに取り組むのか」、「一緒に働くのが好きな同僚たちと共にそこで進歩を遂げることができれば、それは何らかの形で世界にポジティブな変化をもたらすだろうか」ということです。生化学者やプログラマー、あるいはインターネット上のすべての消費者を助けるためにそのサービスを提供できるでしょうか？ あなたが目指すべきは、世界にポジティブなインパクトをもたらし、一緒に働くことを楽しめる人々と共に働き、懸命に働き、ベストを尽くすことです。

ジェフ・ディーン：フロンティアラボにジョインすることと、2、3人の親しい友人と会社を立ち上げることを比較すると、それらは異なる経験です。大規模で確立された組織には、構造があり、あなたが知らないことを知っている数多くの素晴らしい同僚がいて、取り組むべき興味深い問題があり、あなたの仕事が世界中の多くの人々に影響を与えるような既存のインパクトのためのプラットフォームがあります。ごく小規模なスタートアップの場合、情熱を注げる対象を持たなければならず、成功して事業を成長させられるような形でその問題に取り組むことには多くのリスクが伴います。しかし、それは同時に計り知れないほどやりがいのあることでもあります。どのような道を選ぶにせよ、少なくとも自分自身にこう問いかけてみてください。「もし私がこの問題に取り組み、考えうる最高の成果が得られたとしたら、世界は何か良い方向に大きく変わるだろうか、それとも世界は『まあ、そこそこクールだけど、どうでもいいか』と反応するだろうか？」後者のようなことに時間を費やすべきではありません。

ジェフ・ディーン：チームを組もうとする際に必要とされる特定の領域において、本当に優れたスキルを持っている人を常に探し求めるべきです。それは社内であれ起業であれ同様です。しかし同時に、一緒にいて楽しいと思える人たちを見つけることも重要です。なぜなら、非常に困難な問題に取り組む人々と共に多くの時間を過ごすことになるからです。エゴが低く、チームプレイヤーであり、自分自身のスキルを補完してくれるような人が望ましいです。

ジェフ・ディーン：自分が知らないことを知っている人がいて、かつ自分には他の人があまり持っていないスキルがあるような少人数チームで働くことは、常に最高に楽しいと感じます。あなた方は、個人の力では誰も成し遂げられないものを集団で構築していますが、そのプロセスの中で、あなた自身も多くの新しい知識やスキルを獲得し、彼らも同様にそれを獲得します。エンジニアリングや研究のキャリアを、素晴らしいテクニックの「ツールベルト（工具のベルト）」を持つことだと捉えてください。3つではなく4つの専門的なツールを必要とする問題にいつ直面するか分からないため、常にそのツールベルトに新しいツールを追加し続けたいものです。ツールを増やせば増やすほど、将来遭遇する問題をご自身で解決できる可能性が高くなります。

ダイアナ・フー：この部屋にいる複数の人々が、やがてあなたがMapReduce、TPU、知識蒸留などで成し遂げたものに匹敵するような重要なものを構築することになるでしょう。彼らにどのような問題に取り組んでほしいと願いますか？

ジェフ・ディーン：世界は非常に広大で、問題に満ちあふれています。私は特に、はるかに効率的な推論ハードウェアのような、ハードウェアへの新しいアプローチに非常に期待しています。機械学習には、私たちが現在使用しているアプローチよりもはるかにデータ効率が高いかもしれない、根本的に異なる種類のアルゴリズムが存在すると考えています。現在の大規模モデルについて考えてみると、それらは人間が18歳になるまでに目にする量のおそらく1,000倍ものデータを見ています。それにもかかわらず、18歳の人間は多くの面でより優れており、はるかに多くのデータを見てきたフロンティアモデルと同等かそれ以上です。自身の行動から継続的に学習できる、はるかにデータ効率の高いシステムを考案できるでしょうか？ 継続学習（コンティニュアル・ラーニング）は本当に興味深いテーマです。マルチエージェントの相互作用も面白いテーマです。世界中の人々の間のより良い対話を創出し、より穏やかな会話を実現し、関心に基づいて知り合うべき世界中の他の人々と出会うのを助ける方法を作り出すこと――これらはすべて興味深い事柄です。世界にはクールなことがたくさんあります。私たちは皆、さらにクールなことを実現するために邁進すべきです。

ダイアナ・フー：素晴らしいお話をありがとうございました。ジェフ・ディーン、本当にありがとうございました。本日のセッションは以上となります。

ジェフ・ディーン：どういたしまして。皆様、ありがとうございました。