Vals AI：再帰的自己改善インデックス、Anthropicが2027年7月〜8月にも「完全なRSI」に到達すると予測、最も急な伸びを示すのはGemini
創業者ライアン・クリスチャン氏が、ジョー・ロンズデール氏のポッドキャスト番組「アメリカン・オプティミスト」の10月26日のインタビューで、同社のRSIトラッカー、新たなサイバー・ベンチマーク、そして中国モデルのバイアスに関する意外な調査結果について語る
最先端モデルの発表でそのベンチマーク数値が数多く引用されているVals AIは、AIにおける最も議論の分かれているマイルストーンの一つに時期を提示した。創業者兼CEOのライアン・クリスチャン氏は、再帰的自己改善（RSI）に向けた進捗を追跡する同社のRSIインデックスに基づき、「Anthropicは2027年7月かおそらく8月までに、完全なRSIに到達する」との見方を示した。再帰적自己改善とは、モデルが自らの後継バージョンを自ら生み出すようになる転換点のことである。この予測は非公開企業によるものであり、対談の中でロンズデール氏自身が同社の投資家であることを明かしている。それでもなお、これは一般に流通している数少ない定量的タイムラインの一つであり、複数のAIラボのモデルにアクセスできる数少ない第三者機関によるものだ。
RSIインデックスの仕組みと、その予測が外れる可能性
クリスチャン氏によると、同インデックスは、ラボ内の研究者が事前学習（プリトレーニング）、事後トレーニング、およびハーネスレベルのエンジニアリングで行う作業の代理指標（プロキシ）を収集している。そして、モデルのパフォーマンスを人間のベースラインと比較することで、それらのタスクにおける人間のフロンティアまでの距離を推計している。カーネルおよびハードウェアのエンジニアリングは現在対象外だが、Vals社はこれらを追加する計画である。
クリスチャン氏は、その軌跡は堅調であり、「過去1年間、ほぼ直線的なトレンドを示している」と述べたが、1点だけ例外があるという。グーグル（Google）のGeminiが最も急な曲線を描いているのだ。「何かが変わり、彼らがRSIを優先するようになったのだと思う。そのため、直近のモデルリリースでは急速な跳ね上がりが見られる」と同氏は語った。
同氏はこの手法の限界についても率直に語っており、それは双方の方向に働く。Vals社がテストするのはリリース候補のモデルのみであり、RSI向けに明示的にトレーニングされたモデルや、高度なハーネス、マルチエージェントシステムはテストしていない。測定されていない要素によって予測時期が前倒し、あるいは後ろ倒しになる可能性はないかとの質問に対し、クリスチャン氏は「100%ある」と答えた。同様に、同じブラインドスポット（盲点）が存在するということは、実際の時期がさらに早まる可能性も同等にあることを意味する。チップやエネルギーに関する物理的制約や、一部のタスクにおける現実世界での検証の必要性も、進化が複利的に加速するスピードを制限することになる。
より重大な主張は定性的なものだ。クリスチャン氏は、「モデルの進化は加速し、私たちがモデルの理解を及ばない領域にまで踏み込む可能性がある」と予想している。なぜなら、モデル構築における人間の介入が減るということは、知性がどのようにして生み出されるかにおいて人間が指示する割合が減ることを意味するからだ。同氏は、これが内部システムにアクセスできる組み込み型の第三者評価機関を不可欠とする核心的な論拠であると考えており、Anthropicのダリオ・アモデイCEOも「フロンティアのペース調整（pacing the frontier）」という旗印の下で同様の動きを求めていると述べた。
予想を下回った中国モデルのバイアス
中国に関して、Vals社のデータは一般的な前提に反する結果を示している。同社の新たな「地政学的傾斜（geopolitical tilt）」評価は、モデルが世界観において米国と中国（PRC）のどちらに傾倒しているかを測定するものだ。クリスチャン氏によれば、その実態は「思っていたよりもはるかにニュアンスに富んでいる」という。中国のオープンソースモデルであるGLM-5.3は、「実際には親中バイアスをほとんど示していない」。Vals社がこの結果を各ラボに示したところ、一部のラボでは、単に米国のモデルから蒸留（ディスティレーション）されただけではないかと疑う声も上がった。これに対しクリスチャン氏は、ほかに2つの説明を提示した。中国のモデルは、中国国内のガードレール（安全策）の背後に置かれた途端により一貫して中国当局の方針に従うようになる可能性があること、そして、北京政府はBRICS諸国全域でモデルが採用されるよう、バランスの取れた世界観を望んでいる可能性があるということだ。
また同氏は、チャットボット環境とエージェント環境の間で、さらには簡易中国語と伝統的な中国語（繁体字）のプロンプトの間でも、明確な違いがあることを見出した。結論として、「地政学的傾斜について人々が考えていることと、私たちが実際に目にするものとの間には大きな乖離がある」とし、バイアスを理由とするだけで企業利用における中国製モデルの一律の禁止を正当化することは一層難しくなっていると指摘した。
一方で、中国製モデルには依然として別の弱点もある。クリスチャン氏は、中国製モデルは1ターンのコーディング（プログラミング）ベンチマークでは高得点をマークするものの、人間との間で往復を繰り返すマルチターンのセッションでは「本当に使い物にならなくなる」と述べた。ユーザーがフラストレーションを溜めるような状況は、彼らが「これまで目にしたことのないもの」なのだ。米国のラボは、Claude CodeやCodexといった製品を構築してきた経験から、持続的なインタラクション（対話）に向けたトレーニングを積んできた。より広い競争の文脈について、クリスチャン氏は米国の2つの優位性を挙げた。1つは計算資源（コンピュート）であり、「中国の保有量に比べて、我々はコンピュートの海に溺れている状態だ」。もう1つは人材である。同氏は、もし中国が先にRSIに到達する兆候を見せた場合、米国はその結果をコントロールできなくなるかもしれないと警告した。
サイバー・ベンチマークと未発表の領域
Vals社は3つのサイバー評価を構築している。1つ目は、オープンソースリポジトリにおけるメモリ脆弱性の特定とパッチ適用を対象とするもので、これについてはクローズドモデルとオープンモデルの双方が「本当によく」機能しているとクリスチャン氏は述べた。2つ目の「SORE Bench」は、実行ファイルを逆コンパイルし、それによってクローズドソースコードを理解するモデルの能力をテストするものである。米国のクローズドモデルは「依然として中国のオープンソースの代替品を大きく上回る性能を発揮している」。クリスチャン氏は、このリスクについて、世界のソフトウェアインフラストラクチャの多くを支えているWindowsのようなクローズドソースシステムにおける脆弱性を発見し、それを悪用できるモデルの存在として位置づけた。
3つ目は、シミュレーションされた企業のクラウドネットワークレンジに基づいて構築された、今後発表予定のベンチマークである。クリスチャン氏は、最も優れた最先端モデルであっても、その領域では「基準に達していない」と述べた。このベンチマークはまだ一般公開されておらず、Vals社は米国政府関係者に先立って結果を共有している。同氏は、自動化されたレッドチーミング分析によって、どのようなネットワークセーフガードがこうしたモデルに対して最も優れた防御策となるかも示すことができるだろうと語った。
欺瞞、評価への気づき、そして測定の限界
クリスチャン氏は、モデルの欺瞞（だまし）をテストすることは「本当に難しい」と認めた。現在における最善の手法はハニーポッティング、すなわちアライメントが狂った（ミスアラインされた）挙動を特定し、それを引き出そうと試みることである。同氏は、モデルが自らがテストされていることに気づく「評価への気づき（evaluation awareness）」が「懸念事項として高まっている」と述べた。チームの一部からは、Vals社の名前やそれに関するオンライン上のコンテンツの膨大さにより、モデルがテストに直面した際に異なる挙動を示すようになるのではないかとの懸念の声も上がっている。クリスチャン氏は、同社が将来的には非公開のテスト用身元（ID）を使用する必要が生じるかもしれないと語った。
また同氏は、モデルが「より多くの計算資源にアクセスし、自身のトレーニングをスケールアップするために、社会的欺瞞を試みる可能性がある」とも言及した。これはあくまで推測であり、確証としての発見ではなく可能性の一つとして提示されたものだが、なぜVals社が評価能力をモデルの能力に合わせて拡張しなければならないと主張するのかを示す好例となっている。
独立系評価機関モデルと自動ベンチマーク
クリスチャン氏は、ラボが「自己規制の責任を負うべきではない」と主張し、政府による直接的な規制は開発を遅らせる可能性があるとの見方を示した。同氏が好む構造は、政府が最終的に独立した検証機関としてライセンスを付与できるような、評価機関による競争市場である。同氏は、ラボ間のクロスアクセスは設計上制限されているため、Anthropicの研究者がOpenAIのモデルを容易にテストすることはできず、その逆も同様であると指摘した。そのため、評価を実行するのに最も適した人材が各ラボの内部に偏りがちであるため、同条件での比較が困難になっている。
今回のインタビューでは、ビジネスモデルについてはほとんど触れられなかった。ロンズデール氏がVals社に報酬を支払っているのは誰かと直接尋ねた際、クリスチャン氏は収益構造の説明ではなく、政策的な論拠をもって答えた。投資家はこの空白に留意すべきである。ただしクリスチャン氏は、Vals社が大手法律事務所やグローバル銀行と協力し、法務や財務業務における「優れた成果」の定義を行っていることには言及した。同社のベンチマークは、Excelモデリング、法務・税務調査、フルスタックWebアプリケーション、コード移行などをカバーしており、テストの中には実時間で5日間に及ぶものもあるという。その長さであっても、モデルは通常失敗するわけではなく、追加のトークンが新しいアプローチを引き出すのをやめるため、プラトーン（頭打ち）状態に陥るのだと彼は説明した。
Vals社の最も注目すべき方法論上の賭けは、自動ベンチマーク（オート・ベンチマーク）である。実務者と一緒に座って「何が良い状態か」をコード化する代わりに、GitHubリポジトリのマージされたプルリクエスト、法的な赤入れ（修正）、医療診断など、人間がすでに完了した作業から評価を再構築するというものである。その上で、モデルがその成果物をどの程度のコストで再現できるかをテストする。クリスチャン氏は、最も困難な部分は依然として、タスクをワークフローに、そしてワークフローをビジネス上の成果に結びつけることにあると述べた。「クエリレベルのパフォーマンスは、成果に到達するために必要な要素の一部に過ぎない」。
ラボ間の協調とパランティアの影響
クリスチャン氏は、各ラボが過去1週間のうちに組み込み型評価機関のビジョンで足並みを揃え、ホワイトハウスにおいてトランプ政権との間で合意に達したと述べた。詳細は語られず、この主張の真偽を今回の会話から検証することはできなかった。導入に関して同氏は、企業は導入に踏み切る前に、投資に対してプラスのリターンが得られるという確証を求めていると語った。
元パランティア（Palantir）のインターンであるクリスチャン氏は、同社の企業文化がVals社を形作ったと語った。彼は、パランティアの評判に関する懸念に対してCEOのアレックス・カープ氏が「愛されるよりも、恐れられる方がはるかに良い」と答えたことを振り返った。クリスチャン氏は、ラボのリーダーたちによる最近の公的な警告の中にも、そうした論理の一部を見出している。彼はそれを、一部は純粋な恐怖であり、一部は権力の誇示であると表現した。こうしたメッセージ発信は、リーダーたちの行動様式として不合理なものだと彼は評した。自身については楽観的だがナイーブではないとし、今後の見通しは「非常に高い不確実性（バリアンス）を抱えたポイント」であり、大きな上昇余地がある一方で、「私たちが真剣に勘案しコントロールしなければならない新たな形態のリスク」が存在すると表現した。