DruckFin

Vals AI文字起こし：2027年までの「再帰的自己改善（RSI）」の予測と、独立したモデル評価の不可欠性

アメリカン・オプティミスト・ポッドキャスト（出演：ジョー・ロンズデール、ヴィヴェック・ラマスワミ、2026年10月26日）

ライアン・クリスチャン氏とVals AIの紹介

ハープはこの話を聞いてこう言いました。「君はかなりナイーブだな。マキャヴェリでも読んだ方がいい。愛されるよりも恐れられる方がはるかに良いのだから」とね。Valsの私たち全員の間には、素晴らしいストーリーがたくさんあります。私たちがValsでも取り入れようと努めてきた、非常にユニークな企業文化です。モデル評価の分野全体とは、一体どのようなものなのでしょうか。独立した評価とは、フロンティア・ラボの開発スピードが加速する中で、自社規制をラボ自身に任せるべきではないという考え方です。あなたたちはRSI（再帰的自己改善）を測定する方法を持っています。Anthropic社は2027年7月、あるいは8月頃までに完全なRSIに到達するようです。モデルの進化はさらに加速し、私たちがモデルを十分に理解できない領域にまで踏み込む可能性すらあります。それを注意深く監視していなければ、単純にかなり恐ろしいことです。より高度な知性は、人間よりも優れたスーパーフォーキャスト（超予測）を行うでしょう。人間が気づきもしないうちに、その人間がどのような行動を取るかを正確に予測できるようになるのです。

ライアン・クリスチャン氏は、Vals AIの創業者兼CEOです。新しいAIモデルがリリースされるたびに、その性能を示す数値やモデル同士の比較を目にしますが、それらの数値の多くはVals AIによって生成されています。同社は、モデル評価においてトップクラスの存在となりました。これは非常に興味深い分野であり、モデルが登るべき新たな「山」を常に作り出し続ける必要があります。モデルの能力測定方法を深く理解し、リスク評価を行い、リスクに対するモデルのスコアリング手法を新たに開発することが求められます。つまりライアン氏は、AIの世界で今何が起きているのか、AIがどこに向かっているのか、そして政府がこうした技術を規制するためにどのような役割を果たしうるのか、さらにモデル開発企業が自らの規制についてどう考えるべきかという点において、まさに最先端に立っています。彼は、今後10年間のAIのあり方をリードするフレームワーク、コンセプト、そして測定基準を作り出しています。それではお話を伺いましょう。アメリカン・オプティミストへようこそ。ライアンさん、本日はご参加いただきありがとうございます。

ライアン：呼んでいただきありがとうございます。

ジョー：Vals AIの創業者兼CEOですね。

ライアン：ヴィヴェック、ここに呼んでくれて、私の話をより賢く聞こえるようにしてくれてありがとう。

ヴィヴェック：当然さ、お手伝いするためにここにいるからね。

スタンフォード大学、マイクロソフト、パランティアでのライアン・クリスチャン氏の経歴

ジョー：番組へようこそ。それでは、あなたの経歴について少し教えていただけますか。あなたはスタンフォード大学でコンピューターサイエンスを専攻していました。マイクロソフトにも少し在籍していたと思います。そしてかなり前にパランティアに入社されました。なぜパランティアに入社しようと思ったのですか？

ライアン：はい、招いていただきありがとうございます。実は、マイクロソフトにいた頃から始まっています。高校時代にインターンとして働いていたのですが、グーグルから「BERT」の論文が発表されたのです。ご存じない方のために説明すると、これは非常に画期的な論文でした。この汎用システムが、主要な自然言語処理（NLP）のベンチマーク全般にわたって、「山登り（最適化）」を達成し、成功を収める能力があることを示したのです。そしてそれは――

ジョー：技術に詳しくないリスナーのために、NLPベンチマークとはどういう意味か教えてもらえますか？

ライアン：要するに、人々が考案した特殊なテストのことです。例えば「このような多肢選択式試験があります」「こちらは感情分析です」といった具合に、そこで高得点を取れるよう特化したシステムを作ろうとしたわけです。

ジョー：自然言語のね。

ライアン：その通りです。そして、こうしたタスクのいずれかでうまく機能する特殊なシステムを構築する代わりに、彼らが示したのは、非常に汎用性の高いモデルを持っているという点でした。言語に対する根本的な理解を備えており、それがすべてのベンチマークに応用できる形になっていたのです。突然、あらゆる面でトップに立ちました。

ジョー：それは何年のことですか？

ライアン：確か2018年か2019年頃だったと思います。

ジョー：ずいぶん昔のことですね。一昔前のようです。

ヴィヴェック：AIの基準から言えば大昔ですが、まさにその時代に差し掛かっていた頃ですね。

ライアン：ええ、大事件でした。そして私にとっては、それが非常に明確なものとなりました。「苦い教訓（The Bitter Lesson）」を示すような象徴的な瞬間だったのです。私たちがどれほど努力し、アルゴリズムの最適化について勝手な思い込みを抱こうとも、実際には、より大規模なデータを持つことこそが、新たな形態の知性を解き放つカギなのだという考え方です。そのため、こうした強力なモデルやシステムがいずれ登場し、私たちの社会構造の不可欠な一部になることが、その時点ですでに私には非常に明確でした。同時に、モデルが悪用される可能性もあると考えていました。マイクロソフトに在籍していたのとほぼ同じ時期に、『ゼロ・トゥ・ワン（Zero to One）』を読みました。そして、パランティアの人々が、市民の自由や西側の民主主義の理想全般を守るような形でテクノロジーを構築しようとしていることが、ますます明確になっていきました。だからこそ、自分の持つ価値観と一致した形でテクノロジーが現実のものとなり、採用されていく現場を見てみたいと強く思い、パランティアで働くことにワクワクしていました。その後、学部生としてスタンフォード大学に進学しましたが、そこで研究に没頭して何本か論文を出版したため、博士号取得への道を進んでいました。しかし、夏の間だけパランティアで働く時間を作り、それもまた非常に示唆に富む経験となりました。

アレックス・カープ氏からの教訓と逆画像検索のハッカソンプロジェクト

ジョー：パランティアでカープ（アレックス・カープCEO）から別のことも学んだと仰っていましたね。他にも興味深いエピソードはありますか？

ライアン：はい、パランティアにいた頃の素晴らしいストーリーはたくさんあります。Valsでも取り入れようと努めてきた、非常にユニークな文化です。それはさておき、在籍中にハッカソンウィークのプロジェクトに取り組む機会がありました。これは基本的に、ロンドンにいた知人と私で思いついたアイデアでした。リモートでチャットしながら話し合い、私が現地に飛んで、画像とテキストを共通の空間に埋め込むモデルである「CLIP」を使った作業を少し行いました。

ジョー：それがどういうものか、視聴者向けに説明してください。

ライアン：画像入力とテキスト入力を同じ意味理解へとエンコードできる、単一のモデルというアイデアです。私たちがやろうとしたのは、「Gotham（ゴッサム）」に逆画像検索機能を組み込むことでした。単にテキストで検索するだけでなく、例えば青い車の画像をアップロードすれば、データベース全体を検索して、探している青い車を引き出してくれるというものです。これを実現できたのは、テキストを画像にマッピングする同じ基礎的な埋め込み空間（エンベディング・スペース）を使用していたからです。ともかく、これは私が発表した研究論文に基づいており、何らかの機能を実際に作り上げたいと考えていました。そこで、フルタイムの社員もチームに加わり、私はインターンでありながらパランティアの社員からなるこの小さなチームを率いることになりました。それは本当に興奮する経験でした。その週の大部分はほとんど眠れませんでした。そしてこのアイデアはファイナリストに選ばれ、全社の前でプレゼンを行うことになりました。私が退社した後、彼らは実際に特許を取得し、製品化まで進めました。自分が思いついた小さなアイデアや、パランティア以前に取り組んでいた研究が製品の一部となり、彼らが管理したい知的財産になっていくのを見るのは狂気的ですらありました。何にせよ、この過程を通じてカープと会う機会もあり、少し話をすることができました。「パランティアの評判はなぜこれほどまでにネガティブに見えるのだろうか」という疑問を彼にぶつけてみたのです。私はスタンフォードにいたので、多くの抗議活動がありましたから――

ジョー：あなたはパランティアの価値観に対して非常に肯定的だったのに、外部からの見方は予想以上にネガティブだったわけですね。

ライアン：その通りです。テクノロジーをどのように使いたいか、そしてその根底にある価値観がどうあるべきかを決めるのは、私たちが実際に選挙で選ぶ有権者たちの権力の本懐であることは、私には非常に明白でした。テクノロジーがどこで使用されるべきかを拒否することは、テクノロジー企業の役割ではありません。したがって、そこの人々は非常に慎重に考えていました。実際、私たちが今日「アライメント（整合性）の課題」について議論するように、パランティアの人々は当時これを「人間とAIの共生」と呼んで議論していました。それは当時から語られていたことです。現在における知性の分類法（タクソノミー）についても、それを模した評価やベンチマークのシステムが存在します。ですから、人々が深く考え抜いていた根本的な問題がいくつかあったのです。それなのに、会社の対外的な評判がこれほどまでにネガティブであること、そしてテクノロジーのより不気味な潜在的応用について、浅薄な理解に基づいて語られていることが私には意外でした。実際には、パランティアはCOVID-19ワクチンの流通を支援し、多くの病院を助けました。人々が指摘できる事例は他にもあるはずです。これを聞いたカープはこう言いました。「君はかなりナイーブだな。マキャヴェリでも読んだ方がいい。愛されるよりも恐れられる方がはるかに良いのだから」と。そして彼は他のコンサルティング会社と比較し、人々が自分たちを恐れているなら、少なくとも自分たちが強力であると見なしていることになると述べました。だからこそ、いざという時には私たちのような人々のところにやって来るのだと。それは非常に興味深いものでした。実際、現在のラボの様子を見ていると、それに非常によよく似ていると感じます。つまり、モデルの能力に対するある種の純粋な恐怖がある一方で、彼らが構築しているものの強さを誇示する機会にもなっているのです。

ジョー：ダリオ（・アモデイ）が熟考した上で、あえて人々から恐れられたいと考えているのだとしたら、それも意図的なものかもしれませんね。

ライアン：ダリオであれサム（・オルトマン）であれ、一般市民には恐れる権利があるといった発言の見出しを目にすることがあります。リーダーの振る舞いとして、それは決して合理的ではないと思います。この番組の名前は「アメリカン・オプティミスト」です。私は実際かなり楽観的であり、合理的行動を取り、AIの果実がはるかにポジティブなものになると確信しています。

科学的発見、暗号の解明、そして検証のボトルネック

ジョー：ValsとAIモデル評価の科学に踏み込む前に、AIの進展状況と現在の立ち位置について少し話しましょう。実際、Anthropicの「Claude」を使って370年前の暗号を解読したそうですね。370年前の暗号とは、いったいどのようなものですか？

ライアン：そうです。現在、私たちは様々なタイプの評価を行っていますが、フロンティアが向かっている現在の方向性として、科学的発見や新しい発見は非常にエキサイティングな最前線です。そのため、未解決の暗号、数学の問題、物理の問題などを集めたセットを構築してきました。

ジョー：視聴者に向けて、未解決の暗号とはどういう意味か説明してもらえますか？

ライアン：基本的には、解読しようとしているものの、解読する鍵を持っていないコードのことです。そのため、ソーステキストから元のテキストへのマッピングを構築し、メッセージが実際に何を意味しているのかを突き止める必要があります。

ヴィヴェック：こうしたケースの多くは、世界の指導者から指導者へ送られたメッセージや、海賊船上にあったものでした。

ライアン：その通りです。

ジョー：ワンタイムパッド（使い捨て暗号パッド）などが使われている場合、お互いにそのコピーを所持しているため解読できません。それぞれの要素が別のものに変換されるため、おそらく不可能になるのでは――

ライアン：可能性はありますが、問題の作成方法や、相手に伝えようとしたメッセージについて、手がかりを引き出すこともできます。通常、メッセージは受信者によって解読されることを意図して作られています。

ジョー：現在のAIの進展に対する冷徹な見方のひとつとして、AIはあらゆる検索空間を網羅することに長けており、特定の課題は、何百万ものパターンを人間には時間的・能力的にすべて確認できないような非常に大きな検索空間に落とし込むことで解決できる、という見方があるかもしれません。例えば暗号であれば、「これらの要素のそれぞれに数値を加算したり、1つずつずらしたりしたらどうなるだろう？」といった具合にです。人間であれば明らかなものをいくつか探索して終わるところを、コンピュータは数百万ものパターンを猛烈な速さで探索できます。では、数学や科学におけるブレイクスルーの多くは、単に誰かが検索すべき検索空間をよりうまく定義しているだけなのでしょうか、それともモデル側からより創造的な思考が働いているのでしょうか？

ライアン：解決されてきた問題の多くは、しらみつぶしの総当たり（エグゾーション）によって、あるいは反例を見つけようとする試みの中で、多様な反例を試す能力の限界がボトルネックとなりながらも解決されてきました。しかし、その種の問題を軽視するつもりはありません。人間が総当たりで行えば一生かかるような多くの物事が、モデルを使えば数時間のオーダーで確認できるようになっています。

ジョー：では、AIは総じて多くの数学や科学の問題を解決しているのでしょうか？ 私たちはこれをどう捉えるべきですか？

ライアン：総じて、極めて困難な問題を解決しています。そして、人間の労力がボトルネックとなっている問題のカテゴリーも依然として数多く存在します。解決策に対する直感を必要とするような、極めて斬新な方法で進展を遂げるには、より持続的な努力が必要になるでしょう。人間が長年かけて培ってきたそうした直感をモデルに引き継ぐことは、現時点では非常に難しいことです。

ヴィヴェック：また、モデルがナビエストークス方程式の解やモデルから出力された成果物のように、信じられないような結果を生み出しており、それが起きていることも私たちは認めています。しかし、それらは非常に難解であり、解析も理解も困難です。このような検証が難しい領域において、発見はどのように行われるべきだと思いますか？あるいは、私たちがその発見を信用するために、これらのモデルの挙動について何が変わる必要があるでしょうか？

ライアン：はい、これは人間の知性の最前線に近づくにつれて、最大のボトルネックの一つになると思います。人間を動員して、この長い出力が実際に正しいかどうかを検証することは非常に困難です。

ヴィヴェック：ええ。

ライアン：数学において最も人気のある手法の一つであり、他の分野にも応用できるかもしれないと考えているのが、「Lean」のような検証可能な言語を使用するというアイデアです。これは、出力を言語に翻訳し、もしそれがコンパイルできれば「真実であるに違いない」と言えるような世界です。私たちが正しいと分かっているプリミティブ（基本要素）を基にして構築していきます。そのため、このアプローチは物理学やコーディングといった他の分野にも応用できるかもしれません。また、現実世界こそが最高の検証者となるようなケースも見られるでしょう。アッセイ（生物学的検定）やウェットラボ（実験室）の実験を実行することで、モデルが予測した特性が実際に正しいかどうかを確実に知ることができるのです。

ヴィヴェック：なるほど。ラボや御社、あるいは他の組織は、こうした実験や検証をどのように進めるべきだとお考えですか？

ライアン：少なくとも、非常に慎重に行うべきです。これをサポートできるサードパーティのグループが存在することが極めて重要になるでしょうし、それこそがValsのビジョン背後にある考え方です。私たちは現在、各ラボ間でのモデルへのアクセスが制限されている世界にいます。Anthropicの研究者はOpenAIモデルの評価に苦労し、その逆も然りであり、それは意図的な設計によるものです。しかしそれは、最高の「りんご同士の比較（公平な比較）」を行うことが非常に難しいことを意味します。なぜなら、こうした評価を実行している最良の人材は、多くの場合、偏りを持った既存のラボのメンバーだからです。

エンタープライズ業務の自動ベンチマークと「品質」の定義

ジョー：そうですね。少し視点を変えると、AIにはこれまでできなかったことが数多くできるようになっています。そしてこの中で大きな部分を占めるのが、もちろん「測定方法を理解する」ということです。これから詳しく触れますが、それこそがあなたたちの仕事ですよね。ごく大まかなレベルでの測定上の課題の一つは、企業において「良い仕事とは何か」、あるいは「仕事の質がどれほど高いか」をどう測定するかという点です。例えば、法律事務所などを考えてみてください。アソシエイトレベルの仕事とパートナーレベルの仕事を定義できるかもしれません。しかし、それをどう定義すればよいのでしょうか？ それは私たちが取り組んでいる問題ですか？ AIは何が何であるかを理解する能力を高めているのでしょうか？

ライアン：本当に難しい問題です。多くの意味で、私たちはまだ人間のレベルでもそれを解決できていません。アソシエイトレベルの仕事とパートナーレベルの仕事の境界線を、非常に明確に定めているわけではないのです。

ジョー：最高裁判所はポルノグラフィの定義について、「見ればそれとわかる」と言いましたよね。それがその通りのセリフでした。それと似たようなものです。

ライアン：ええ、面白いですね。それこそベン・ホロウィッツがa16zの番組で言っていたこととほとんど全く同じです。

ジョー：もしかして脳が共有されているか何かですかね。

ライアン：面白いですね。まあ、適切な例えでしょう。しかし、あなたの仕事はまさにこうした事柄を解明し、定義することです。

ライアン：その通りです。コンサルティング主導のアプローチで、実際にその人と向き合い、「何が優れた状態なのか」を彼らから引き出し、それを再現可能な評価に落とし込んで実行するという方法をとることは可能です。伝統的な評価はこれまでそのように構築されてきました。私が非常に楽観視しているアプローチは、「オート・ベンチマーク（自動ベンチマーク）」というアイデアです。モデルの進化スピードは続いており、より一層有能なモデルが登場するため、基盤となる作業自体も変化せざるを得ません。したがって私が非常に期待しているのは、人間によって既に行われた過去の作業を取り入れ、その反事実（もし人間ではなくモデルがやっていたら）においてモデルが生成するであろう作業成果物の品質を近似できるというアイデアです。そうすることで、すでに生産されているあらゆる作業成果物の評価を体系的に構築できます。例えば、GitHubのリポジトリを見て、人間によってマージされた過去のPR（プルリクエスト）を確認し、エージェントがそれと同等の作業を行えるかどうか、そしてどちらが最もコストを抑えた方法でそれを実行できるかを検証することができます。法律分野のレッドライニング（条文の修正作業）や医療分野の診断プロセスにおいても、これと類似したアプローチが存在します。

ジョー：それは、これらすべてを機能させるために定義しなければならない「ワークフローと成果物に関するオントロジー（存在論）」に繋がるのでしょうか？ それが一種の根底にあるものですか？ 測定する前に、まずは可能な成果物を実際に理解していなければならないということでしょうか、それともそのあたりはどうお考えですか？

ライアン：最も難しい部分は、実は成果物そのものを測定することです。企業内の仲介プロセスやワークフローの多くは、最終的に成果を生み出す組織を支えるものだからです。そのため、特定のタスクと仕事の結びつき、そして仕事と成果物の結びつきを描き出すことが難しい場合があります。したがって、トークンの入力から最終的な成果物の仲介に至るマッピングは、「ワークフロー」という概念を経由しなければなりません。

ジョー：測定できるようになる前に、事前に定義しておかなければならない中間的な成果物がたくさんあるはずですね。

ライアン：ええ、まさにそれを伝えようとしているのです。クエリレベルの処理は、成果に到達するために必要なプロセスの、あくまで一部に過ぎません。

ジョー：素晴らしいですね。

独立したモデル評価のアーキテクチャ

ヴィヴェック：興味深いですね。私たちはここ数年、何を重視すべきかという粒度（詳細さ）のレベルを変えながら進んできました。それはモデルの能力と連動しています。しかし、2、3年前を振り返ると、私たちは単なるテキストの完成（テキスト補完）を評価し、入力と出力のペアを見ていただけでした。しかもそれはテキストだけで構成されていました。そして今や、その中間には数多くの小さな要素が存在します。私たちが仕事を見る際、人々はどのような時間軸（ホライズン）で評価を行っているのでしょうか？ タスクの所要時間や、これらのモデルがタスクを継続できる時間の現状について、少し教えていただけますか。

ジョー：そうですね、技術に詳しくないリスナーのために、このモデル評価の分野全体とは一体何なのか教えてもらえますか？

ライアン：一言で言えば、「何が良い状態か」を測定し、モデルがその出力を生成できる能力を備えているかを確かめるという広範な概念です。私たちは評価を大別して「能力」と「リスク」の2つのカテゴリで捉えています。「能力」とは出力を近似することであり、「リスク」とは何かがうまくいった際に非対称な悪影響（ダウンサイド）が生じないように確認することです。そして時間軸に関して言えば、モデルは人間の介入なしにより長期間にわたって稼働できることを示し始めています。

ジョー：具体的にどの程度の時間軸の話をしているのですか？

ライアン：私たちのベンチマークの中には、5日間にわたって実行されるものもあります。

ジョー：それは人間による5日分の仕事に相当するのか、それともウォール・クロック時間（現実の経過時間）で5日間という意味ですか？

ライアン：ウォール・クロック時間ですね。

ジョー：なぜ5日経つと失敗するのですか？ いつかは永遠に動き続けられるようにならないのでしょうか？

ライアン：失敗するわけではなく、プラトー（頭打ち）に達するのです。トークンを追加しても、新しいブレイクスルーを達成する助けにはならなくなります。

ジョー：つまり、その問題に対して自分たちができる限りのことは一通りやり尽くしたということですね。

ライアン：あるいは、直面している壁を乗り越えるための新しいアプローチを試すほどの持続力がないということです。

ヴィヴェック：ファイナンスや法律に関するベンチマークの中で、これらのモデルがこなせるタスクの具体例を視聴者にいくつか教えていただけますか？ これらのモデルを使って、実際にどのような仕事を再現できるのでしょうか？

ジョー：そう、あなたたちはあらゆる分野で独立した評価を行っていますよね。

ライアン：その通りです。

ジョー：ということは、あなたやチームのメンバーは、金融や法律が何をやっているのかを理解していなければならないということですか？ ベンチマークを構築するためには、あなた自身が専門知識を持っていなければならないのですね。

ライアン：この分野のパートナーと協力して進めています。法律分野であれば米国の大手法律事務所やグローバルな法人銀行と協力し、金融において何が行われているかを把握します。コーディング分野では、フルスタックのWebアプリケーションを構築するモデルの能力を測定する「VibeCodeBench」や、エンドツーエンドのコード移行を試みるコードマイグレーションなどのタスクがあります。金融分野では、リサーチの質問に答えられるか、Excelモデルを構築できるかを検証しています。法律分野も同様で、法律リサーチや税務リサーチのタスクを行っています。これらが、現在人々がモデルを使おうとしている一般的な領域です。

ジョー：私が最初にExcelモデルを構築していた頃の上司に、見た目を特定の方法できれいに整えなければならないとか、その周囲に短い行を配置しなければならないといったこだわりを持つ人がいました。私たちはスタイル（見た目や形式）に基づいて評価することもあるのですか、それとも正確性だけが対象ですか？

ライアン：正確性が基本ですが、スタイルも重要な要素です。これは、金融業界の人々と机を並べて仕事をする中で私たちも発見したことでした。

ジョー：なるほど、彼らはそこを本当に気にしているようですね。見た目が整っていれば、確かに内容もより理解しやすくなりますから。

ヴィヴェック：私たちは、自分たちの書き方やスタイルで物事が進められるのを好みますからね。もしモデルがそうしないなら――

ジョー：ディール（案件）がまとまる確率も高くなるのでしょうか、それとも――

ヴィヴェック：おそらく、無意識のうちにそういうことが影響しているのでしょうね。

ジョー：もっとも、相手のフォーマットがあなたにアピールできるなら、他の人にもアピールできるということを示唆してはいます。もしぐちゃぐちゃで醜ければ、他の人も一緒に働きたくないと思うかもしれないですしね。どうなるかは分かりませんが。あるグループを感嘆させることで別のグループを感嘆させるという、有用なハードルは常に存在します。少し視点を変えて、独立した評価は実際どのように機能するのでしょうか？ 人々はあなたにお金を払っているのですか？ 誰がお金を出しているのですか？ 仕組みはどうなっているのですか？ 業界内の全員を評価できるのですか、それともお金を払った人だけですか？

ライアン：独立した評価の根底にある考え方は、フロンティア・ラボがますます速いペースで開発を進めている以上、自己規制の責任をラボに負わせるべきではないという点です。政府による直接的な規制は開発スピードを緩慢にさせることが多く、そのため常に最善の解決策とは言えません。その代わりに、評価者のエコシステムや市場が存在すれば、彼らが実際に競争し、最先端に追随する新しい技術を開発できるようになります。長期的には、モデルをどのよような理想に向けてアライメント（整合）させるべきかを定義する責任を持つ政府によって、そうした評価機関が公認されるようになる可能性もあります。

ライアン：それは素晴らしいですね。EA（有効性 altruism）系のNGO出身の奇妙な人々を雇い集める代わりに、あなたたちや競合他社を実際に雇うことができるわけですね。

ライアン：まったくその通りです。その世界では、最高の技術が勝利すべきです。ラボの人々とイデオロギーが似ているというだけの理由でテストを行うべきだとは限りません。むしろ世界は、「モデルをどこに向かわせたいのか」「アライメントしている状態とそうでない状態とはどのようなものか」を問いかけるべきです。そして、そのテストプロセスを実行するために、IVO（独立検証組織）のセットを認定することはできないでしょうか？

ジョー：そして、あなたが行っているテストや測定の方法に基づけば、政府がルールを策定しうる領域そのものを変えることになりますね。なぜなら、これまで存在しなかった可能性のセットを作り出しているからです。

ライアン：その通りですね。私たちの仕事の過程で、これまで実際には不可能だった新しいタイプの評価を解き明かしてきました。そのため、政府が実際にテストできる範囲を私たちが前進させる手助けをしています。

サイバーセキュリティ評価とSOAR-Benchフレームワーク

ジョー：その例をいくつか挙げていただけますか？ 物事を測定したりベンチマークを作成したりする新しい方法には、どのようなものがありますか？

ライアン：はい、例えばサイバーセキュリティを見てみましょう。私たちはサイバー分野で3つの主要な研究を行ってきました。1つ目は、オープンソースのリポジトリにおけるメモリ関連のコード脆弱性を調べるものです。これは、モデルがコードの脆弱性を特定してパッチを当てる能力を測定するものです。現在、クローズドソース、オープンソースを問わず、モデルは非常に優れたパフォーマンスを発揮していることがわかります。しかし、2つ目のベンチマークは「SOAR-bench」と呼ばれるものです。これは、実行ファイル（バイナリ）を逆コンパイルするモデルの能力を測定します。つまり、実際にはクローズドソースであるものの基礎的なコードベースをモデルが理解するためのものです。

ジョー：おぉ。

ライアン：そのケースでは、クローズドソースモデルが依然として中国のオープンソースの代替品を大きく上回っていることが分かっています。

ジョー：バイナリからビデオゲームのソースコードを取得するために、人々はこのアプローチを使っているのでしょうか？ みんな何のためにこれを使っているのですか？

ライアン：まさにそれ目的で使われるでしょうね。ええ、もし私が14歳なら間違いなくそう使っていたでしょう。

ジョー：IP（知的財産）法に違反するようなことを試みるために、実際にそうしている人たちもいるのでしょうね。

ライアン：ええ、懸念されているのは、モデルが脆弱性の発見と悪用に非常に長けてしまった場合、それがクローズドソースであるWindowsのようなシステムにさえ適用されてしまうかもしれないという点です。実際、クローズドソースのシステムは私たちのソフトウェアインフラストラクチャの大部分を支えていますからね。

ジョー：非常に魅力的ですね。モデルはますます洗練され、非常に賢くなっています。そしてあなたたちは依然として、高度なスコアリングを行っています。最近Gemini 1が大きく先行して登場したのを覚えています。レベル4に達しており、Valsのテスト結果が最初に公開された数値だったと思います。彼らは60点台で、他のモデルは50点台でした。ということは、あなた方が設計するもの次第で、70点、80点、90点といったスコアもまだ可能だということですよね。AIを使ってそれをやっているわけではないのに、どうやってそれほど高度なレベルのものを設計しているのですか？ あなたたちは自分たち独自でそれを行っているのか、あるいはAIがその作成を助けているのですか？ これを説明してください。これらのモデルがまだその程度の能力なのだとしたら、どうやってそれらのモデルには解けないような複雑なものをあなたたちが作れるのですか？ どうやってそれを思いついているのですか？

ライアン：私たちには社内の非公式のモットーがあります。「常にさらに高いピークがある（Always a higher peak）」というものです。研究の世界では、ベンチマークや明確な評価を特定し、それに対してより優れたモデルを次々と開発して「山を登る」という永続的な努力が続けられています。そのため、Valsの根底にある見方は、「常にさらに高いピークが存在する」というものです。他者が登るべき「山」を構築しているのは私たち自身です。そして私たちは、モデルが進むべきギャップや領域を常に一貫して見つけ出し、それを評価として明確なかたちに落とし込むことができることを示してきたと思います。

ジョー：モデルよりも高度なその「山」を、どのようにして構築しているのか例を挙げていただけますか？ すべての秘密を明かす必要はありませんよ——私もあなた方の投資家ですからね。しかし、どのような手順で行われているのかイメージを教えてください。どんなモデルも解けないような難しいものを作るのは、非常に困難なことに思えるので。

ライアン：多くの点で、私たちは他のモデルに挑戦させるためのシステムや状況を構築するためにも、モデルを活用しています。これは、私たちが日頃から深く考えている「スケーラブルな監視（Scalable Oversight）」というアイデアに立ち返るものです。モデルが最高の人間を凌駕し始めるにつれて、それらをスケーラブルにテストし評価するために、私たち自身もモデルに頼る必要があるという考え方です。例えば、私たちは企業向けクラウドネットワークのシミュレーション環境に基づく、サイバー分野の新しい研究を間もなく発表します。その領域では、最高峰のフロンティアモデルであっても依然として基準に達していないことが分かっています。

ジョー：つまり、仮想の非常に複雑な企業ネットワークを構築し、人々にそれをハッキングしたり保護したりするように挑戦させるわけですね？

ライアン：その通りです。

ジョー：それはクールですね。それは現在すでに存在しているのですか？

ライアン：存在はしていますが、まだ一般には公開されていません。米国の政府関係者と協力して結果を共有している段階ですが、間もなく何らかの公開版をリリースする予定です。

ジョー：それは非常に役に立ちそうです。大手銀行を運営する多くの友人たちがいますが、彼らが使っているものに対してこのようなコンテストを設定し、最高のものを使っているか確認できるようにするのは素晴らしいことだと感じますね。

ライアン：まったく同感です。また、ネットワーク自体のどのようなセーフガードやシステムが、これらのモデルに対する最良の防御形態であるかを理解する助けにもなります。モデルの既存のガードレールをすり抜けられるかどうかを確認する「自動レッドチーミング」についても、興味深い分析を行うことができます。

ジョー：ええ。

地政学的バイアスと中国製AIモデルのベンチマーク

ヴィヴェック：中国製モデルの利用について議論する際によく話題になるのが、通常のクローズドソースモデルに存在するはずのガードレールが、中国製モデルではどれほど取り除かれているかを把握することですね。

ジョー：ええ、誰かが中国製のオープンソースモデルの一つを使用していたところ、恐ろしいものが埋め込まれていたという話がありましたね。以前、そうしたモデルの一つに、米国政府のために作業をしていると検知した場合に、より簡単にハッキングされやすいコードを書き込むという仕組みが隠されていたことが実際に証明されました。モデルが米国政府と協力する人々に対して明らかに偏見を持っていることが示されたのです。中国発ということを考えると、かなり懸念されます。こうした代物をテストして、誰もが安全に使用できるようにすることはできないでしょうか？

ライアン：私たちにはまさにこの点に関する評価があり、モデルの「地政学的バイアス（Geopolitical Tilt）」と呼んでいます。このポッドキャストの公開時期によって状況は変わりますが、間もなく公開される予定です。私たちが測定しようとしているのは、「モデルが、中華人民共和国（PRC）が示すような世界観と、米国の世界観のどちらに対して、より強い地政学的バイアスを示すか」という点です。実際には、思っていたよりもはるかにニュアンスに富んだ状況が見えてきます。例えば私たちが発見したのは、中国のオープンソースモデルである「GLM-5.3」が、実際には親中バイアスをほとんど示していないということです。これをいくつかのラボに提示したところ、それは単に米国モデルから完全に蒸留（ディスティレーション）されたものだからではないかという疑念が持たれました。

ジョー：それは面白いですね。あまりにも上手にコピーしたせいで、余計なものを付け加えるのを忘れてしまったということですか。

ライアン：その可能性はあります。また、そうしたモデルが中国国内でガードレールを備えたシステム上でホストされているためであり、ひとたびガードレールの環境下に置けば、PRCの世界観により一貫して従うようになるという見方も可能でしょう。しかし中国は、これらのモデルをBRICS諸国にも採用させたいと考えているため、よりバランスの取れた世界観に傾斜せざるを得ないという事情もあります。いずれにせよ、その理由が何であれ、地政学的バイアスについて人々が考えていることと、私たちが実際に現場で目にする実態との間には大きな乖離があると感じています。もう一つの興味深い点は、チャットボット環境で使用される場合とエージェント環境で使用される場合の間で、使用する言語（簡体字か繁体字かなど）によっても、モデル間に非常に顕著な違いが見られるということです。したがって、例えば「企業環境で中国製モデルを使うべきではない」と一概に断言することを難しくしている、複合的な要因がいくつも存在します。

ジョー：もし中国のラボがこうした能力をすべて上手に蒸留し、現時点では中国側に偏っていないのだとしたら、私たちはどのようにして米国としての優位性を維持すればよいのでしょうか？ それはどういう意味を持つのでしょうか？

ライアン：非常に難しい質問です。私が常に立ち返る分野は2つあります。1つ目は、私たちが保有する相当な資産としての「チップ（半導体）」です。ほとんどの人が驚きますが、中国が保有している量に比べれば、私たちはコンピュート（計算資源）の海に溺れている状態です。その状況が続く限り、私たちはより高性能なトレーニングを続けられるだけでなく、推論をホストして実行できるため、モデルをはるかに効果的に普及させることができます。2つ目は「人材」です。トップ人材を常に引き付け、定着させることができれば、人間側の優位性が存在するうちに、私たちは前進し続けることができます。そして、モデルが自分自身の次の後継バージョンを自ら生み出す責任を持つ「RSI」の領域に踏み込んだとき――

再帰的自己改善（RSI）と2027年7月の転換点

ジョー：RSIとは、再帰的自己改善（Recursive Self-Improvement）のことですね。

ライアン：その通りです。

ジョー：そうなると、モデルはさらに猛烈なスピードで先へ進むわけですね。

ライアン：まさにその時点こそが、最も慎重にならなければならないポイントです。もし中国が米国よりも先にRSIに到達する兆候を見せ私たちが制御できないような形で独走を許してしまう可能性もあります。

ジョー：あなたたちはRSIを測定する方法を持っており、これまで何度もそのことについて話していますよね。視聴者に説明していただけますか？

ライアン：はい、私たちには「RSIインデックス」があります。プレトレーニング、ポストトレーニング、そしてハーネスレベル（枠組み）のエンジニアリングにおいて、これらのラボ内の研究者が行う作業のプロキシ（代理指標）のセットを収集しています。

ジョー：つまり、これらはすべて機械学習の研究に関するものですね。

ライアン：その通りです。カーネルエンジニアリングやハードウェアエンジニアリングの範囲外の要素は含まれていませんが、時間の経過とともに、そうした一連のタスクも網羅できるように拡張していく予定です。そして私たちがやっているのは、人間のベースラインと比較して、これらの研究タスクにおいて私たちが人間のフロンティアからどれほど離れているかを外挿（予測）することです。最新の試算に基づくと、Anthropic社は2027年7月、あるいは8月頃までに完全なRSIに到達するように見えます。

ヴィヴェック：6ヶ月前を振り返ると、その到達はどれくらい遠い未来に見えていましたか？

ライアン：実際、進展のペースはかなり一定しています。ここ1年間、ほぼリニア（直線的）なトレンドを描いています。

ヴィヴェック：では、6ヶ月前のトレンドラインでも、2027年7月や6月を指していたということですか？

ライアン：実際、最も急な曲線を描いているのはGeminiです。何かが変化し、彼らがRSIを優先事項に据えたため、最新のモデルリリースにはRSIにおける急速な跳ね上がりが見られます。

ジョー：興味深いですね。それが意味するのは――彼らは突然猛スピードで進化し始めるということでしょうか？ モデルが処理できる速度には依然としていくつかの制約がありますが、どういうことでしょうか？ 毎週、数ヶ月ごとに飛躍的に優秀になっていくということですか、それともどのように捉えればよいのでしょうか？

ライアン：チップやエネルギーに関する重大なリソース制約は依然として存在します。また、一部のタスクを他のタスクよりも遥かに困難にしている現実世界の検証者も存在します。しかし、私たちが目にする姿としては、モデルの進化がさらに加速し、私たちがモデルを十分に理解できない領域にまで踏み込むようになるということでしょう。モデルを構築するために必要な人間の介入が減るため、その知性がどのようにして生み出されているのかを私たちが明確に指示できなくなっていきます。

ジョー：そのような世界において、こうした事態を監視できるように、追いつくだけの評価者を確実に構築すべきではないでしょうか？ 理解できていないというのは、ある種危険なように思えますが。

ライアン：100%その通りです。それこそがダリオ・アモデイが訴えていることです。フロンティアのペースを調整することとして語られることが多いですが、その大部分は、フロンティアが前進するにつれてモデルの能力を測定・理解できるシステムへの投資から生まれるものです。

ライアン：100%ありますね。私たちはRSIのために明示的に訓練されたモデルはテストしておらず、リリース候補のモデルしかテストしていません。また、さらに高度なハーネスやエージェント、マルチエージェントシステムも存在しますが、それらのテストは行っていません。ここには、埋め込み評価者がより近づき、そうしたシステムを実際にテストして、より正確な全体像を形成する機会があります。

ジョー：彼らがRSIに到達し、さらに先へ進み始めたとき、彼らにとっての大きな課題の一つは、より速く進化し続けるために私たち人間をよりうまく管理することになるのではないかと思います。なぜなら、自分たちのために物事を行ってくれる人間を納得させ、手伝ってもらわなければならないからです。少なくとも非常に長い間、彼らはそれを実行するために人間を必要とするでしょうから。それは理にかなっていますか？

ライアン：100%その通りです。金融モデルの話に戻りますが、彼らは自分たちの出力品質が優れていると私たちに信じ込ませようと躍起になっています。そのため、より多くの計算リソースにアクセスして自身のトレーニングをスケールアップするために、彼らが社会的欺瞞（だまし）を行おうとする場面が出てくるかもしれません。

モデルの欺瞞、ハニーポット、そして評価の自覚

ジョー：私たちを操作しようとする試みを検知するために、監視のための評価を行わなければならないようですね。それを注意深く監視していなければ、かなり恐ろしいことになりそうです。

ライアン：欺瞞のテストは本当に難しいです。現時点で私たちが持つ最善のアプローチは「ハニーポット」です。理想論的に定義するのではなく――

ジョー：つまり、非常に魅力的なモデルを用意するということですか？

ライアン：他のモデルと会話させ、罠にかけ、非アライメント（不整合）の事例を見つけ出したり、非アライメントがどのようなものかを特定したりして、モデルからそれを引き出せるかどうかを確かめるのです。

ヴィヴェック：また、モデルが「評価されていること」を自覚するようになる（評価への自覚を持つ）という概念もありますね。それがどのように表面化しているとお考えですか？ 最近になってそれが大きなトレンドとして浮上してきたのでしょうか、その動向はどうなっていますか？

ライアン：ええ、懸念が高まっています。実際、私たちのチームのメンバーの中には、「Vals AI」と呼ばれていることや、オンライン上に私たちに関するコンテンツが大量にあるせいで、私たちに遭遇したモデルが普段とは異なる行動をとるのではないかと、ある種のパラノイアを抱いている者もいます。

ジョー：つまり、あなたのチームがClaudeと対話しているとき――

ライアン：ええ、Claudeが私たちとやり取りする方法そのものが変わってしまうかもしれないのです。

ジョー：人々には知らせていない、別の秘密のブランドを作ってテストを行うべきなのでしょうか？

ライアン：そうせざるを得ない可能性はありますね。

ジョー：もしそうしていたとしても、ここでは話さないですよね？

ライアン：確率性（ストカスティシティ）こそが、それを優れたものにしている過小評価されている要素です。

ヴィヴェック：これが文字起こしされるのは良くないですね。モデルが、彼にこうした計画があることを知ってしまうからです――

ジョー：まあ、彼らが知ることはありませんよ。彼女はただ冗談のブランドの話をしているのでしょうから。

ライアン：私がただ冗談を言っていると言えば、彼らは「冗談だ」と思うでしょう。どうなるかなんて分からないものです。全般的にランダム性（偶然性）が過小評価されているとは思います。確率性の中に真実を見出すのは非常に困難です。多くの意味で、予測することは可能です――より高度な意識の兆候とは、より低い意識が何をするかを予測できる能力にあると私は考えています。例えば、捕食者が獲物をストーキングし、実際に狩りをしてそのカロリー資源を獲得できるようにですね。そして私は、より高度な知性は人間よりも優れたスーパーフォーキャスト（超予測）を行うと推測しています。人間が気づきもしないうちに、その人間がどのような行動を取るかを正確に予測できるようになるのです。

ヴィヴェック：また、知性や能力以外にも、私たちが評価する優先度が低いものの、モデルとの日々のやり取りに影響を与えるため、本来もっと評価すべき属性があります。例えば、感情豊かさや優れた「心の理論（他者の心を推し量る能力）」を持ち、個人の共感を呼ぶものを理解するといった点です。ラボはそうした要素を優先するようにやり方を変える必要があると思いますか？ これらは優先すべき重要な事項だと思いますか？

ライアン：彼らはすでにそうした要素を優先していると思います。例えば現在、マルチターン（複数回のやり取り）環境において、中国のオープンソースモデルと国内のクローズドソースモデルの間には、かなり相当な開きが見られます。今日のコーディングベンチマークの多くはシングルターン（1回のやり取り）に過ぎません。中国製モデルはその領域では非常に優れた成績を収めますが、人間との双方向の会話に移行すると、途端に破綻してしまいます。

ヴィヴェック：そして、人間が「おいおい、これはひどいな。この出力は嫌いだ」と言った場合はどうですか？

ライアン：ええ、そうなると彼らは本当に何をすべきか分からなくなります。そんな状況を見たことがないからです。しかし、米国の多くのラボはそれを経験しています。「Claude Code」が作られ、「Codex」が作られたのはそのためです。より優れた製品を構築したいという願望から、彼らはユーザーとの長時間の対話セッションを維持できるモデルを構築してきました。その結果、応答の品質やコミュニケーション能力という軸で山を登ることを可能にする評価やベンチマークを彼らは持っています。ただ、そうしたモデルを購入・導入しようとしている人々のために、それを独立してテストするベンチマークの側面において、私たちにはもっと行うべきことがあると考えています。

人工知能がもたらす楽観的な未来

ジョー：ライアン、私たちがこのポッドキャストを始めたのは、数多くのシニシズム（冷笑主義）やペシミズム（悲観主義）に反発するためでした。AIに対するあなたの楽観的な見方はどのようなものですか？ あなたはこの最前線に立ち、すべてを観察し、測定しています。モデルが登るべき山や測定基準を作り出しているあなたから見て、シリコンバレーの外の人々には見えていない、未来に対して前向きな気持ちにさせてくれるものは何ですか？

ライアン：世間では多くの恐怖を煽る言説が飛び交っていますが、私の立場から見れば、協調の機会が人々が思っている以上にたくさん存在するため、楽観視する理由は十分にあります。ここ一週間の動きを見ても、ラボ同士が協力し合い、埋め込み評価者というビジョンに向けて歩調を合わせ、さらにはホワイトハウスに赴いてトランプ氏と合意に達し、この加速された見解に方向性を合わせました。エンタープライズの側面を見ても、意味のある形でAIを採用しようという強い後押しが存在します。ただし企業側としては、それがROI（投資利益率）のプラスにつながるという確証を確認したいと考えています。あなたは今でも楽観的ですか？

ジョー：2030年代はディスインフレの十年になると考えています。AIを活用することで、個人、その家族、そしてコミュニティの足を引っ張っている多くの困難な問題の多くを克服できると信じています。そして、一人ひとりに寄り添う史上最高のコーチのようなサポートが存在するため、そうした閉塞感を打破する手助けができるはずです。すべてが安価になり、誰もがパーソナライズされた支援を受けられるようになります。現在、私にとってネガティブに感じられるのは、機能不全に陥った文化を持つ10億人もの人々がオンラインやソーシャルメディアに存在し、それが大衆を狂わせているという点です。彼らは皆「妬みの文化」を持っており、それは決して良いことではありません。この狂ったポピュリズムこそがネガティブな側面です。しかし、経済的な問題や文化的課題を含め、私たちが直面するあらゆる問題に対してAIを応用できるならば、それは非常にポジティブなものになるでしょう。したがって全般的に見れば、はい、私は非常に楽観的です。もちろん、世界には大きな脅威も存在しますがね。

ヴィヴェック：ええ、AIは善意を持ち、高い主体性（エージェンシー）を持った人々にとっての増幅器になると思います。これまでに最も恩恵を受けているのは、たくさんのアイデアを持っている人々です。彼らの手元には創造の手段があり、想像もしなかったような多くのことを基本的に実現できるようになっていますから。

ジョー：以前には絶対にできなかったほど、はるかに多くのことができるようになっています。

ヴィヴェック：そうですよね？ ですから、それが私の楽観主義の方向性ですね。

ライアン：興味深いことに、私は悲観的な人々とも多く対話します。ラボの人々の中には「良くなる前に、事態はもっと悪化するだろう」と言う人もいます。ワシントンDCに行った際にも、ラボの対外的なメッセージ発信や、データセンターが及ぼす影響、そして平均的なアメリカ人への影響に対してシニカルな見方をする人々が多くいました。そのため、私は「ナイーブに楽観的すぎだ」と常に批判されてきました。それでも根本的に私が楽観的でいることを選ぶのは、モデルやAI全般が、人々がやりたくない雑務の多くを取り除き、人間の条件を本当に前進させるような新たな形態の発見を解き放つ能力を持っていると知っているからです。そうした悲観論を目にするたびに、私たちはそれを乗り越えるための協調の道を見つけられると信じる道を選んでいます。

ジョー：その通りですね。歴史上のどの時点においても、人々はいつも「有用な科学や物理はすでにほとんどやり尽くした」と思い込みがちです。まるで1900年代に「特許庁にもう必要な特許はない」と言われたようなものです。もちろん、125年前に歩みを止めていたら良い結果にはならなかったでしょう。そして、その考え方は現在にも当てはまると思います。私たちは今、これらのモデルが解き放つであろう、あらゆる種類の重要な発見のまさに瀬戸際に立っています。世界に向けて数多くの新しい可能性を解き放ってくれるはずです。だからこそ、人々がこれほどまでにシニカルで悲観的になるのは奇妙に思えます。私たちが実際に進歩を遂げてきたという事実があるにもかかわらずです。彼ら自身は「進歩派（プログレッシブ）」と名乗るのに、進歩そのものや、過去125年間に私たちが遂げた進歩を再現することに対しては、実際に賛成している人が非常に少ないというのは非常に滑稽です。それが実現できれば素晴らしいことです。今後10年か20年の間にそれがすべて可能になるかもしれないと考えると、本当にワクワクします。

ライアン：本当に分散（バリアンス）の大きなポイントですね。得られるメリットは相当なものです。同時に、私たちがしっかりと把握しコントロールしなければならない新たな形態のリスクも存在します。

ジョー：あなたが測定し、私たちがそれに備えるのを手助けしてくれることを期待している分野の一つですね。

ライアン：100%その通りです。

ジョー：素晴らしいですね。それではライアン、本日はご参加いただきありがとうございました。

ライアン：呼んでいただきありがとうございました。