タイプセーフの「Jev」、1日あたり1兆トークンを突破――創業者、ベンチマークや拒絶応答、RLHFを拒絶し新たなAIカテゴリを提唱
ローンチ週のインタビューで明かされた、「システム1」AIモデルを支える技術哲学とビジネスの賭け。チャットボットではなく機械をターゲットに据える
元OpenAI研究者のディオゴ氏が創業したAIスタートアップのタイプセーフ（TypeSafe）は、新モデルライン「Jev」の発表にあわせ、人工知能における全く新しいカテゴリ、すなわちコードによって消費されることを想定した「システム1モデル」を提唱した。ローンチ週に行われた詳細なインタビューにおいて、ディオゴ氏はベンチマーク、安全性アライメント、ファインチューニング、そしてフロンティアAI研究の現状について、賛否両論を呼ぶ率直な持論を展開した。同社を最終的に支援するかどうかに関わらず、この領域を追う投資家にとって理解必須の内容となっている。
チャットボットではなく機械のために構築された、新たなモデルカテゴリ
タイプセーフの核心にあるテーゼは、AI業界全体がこれまで、間違った消費者に向けて大規模言語モデル（LLM）の最適化を行ってきたという点だ。事前学習モデルはオートコンプリート用に作られ、ChatGPTやClaudeのようなRLHF（人間のフィードバックに基づく強化学習）でチューニングされたチャットボットは人間の評価者を満足させるために作られ、RLVR（検証可能な報酬による強化学習）で最適化された推論モデルはベンチマーク可能な問題を解決するために作られてきた。しかし、Jevは「コードが消費者である」ことを明確に前提として構築された初のモデルであるとディオゴ氏は主張する。彼はこれを「マシンネイティブ、大規模、プログラマブル」と表現し、ジェヴォンズのパラドックスにちなんだその命名は、1ドルあたりの知性（intelligence per dollar）に対する同社の並々ならぬ執念を反映していると述べた。「Jevは、知性対コストのフロンティアに位置するモデルの代名詞となる」と彼は語り、信頼性、コスト、キャリブレーション、そして速度の間には常に緊張関係が存在するが、タイプセーフはその中でも特に「1ドルあたりの知性」の軸に全リソースを振り切る選択をしたと付け加えた。
同社はこのアプローチについて、ディオゴ氏が現在のAIブームにおける最大のパラドックスと呼ぶ問題を解決するものだと位置づけている。ミレニアム懸賞問題レベルの数学を解くことができるモデルが、依然として基本的で反復的なナレッジワークすら自動化できないという現実だ。「我々には超チャージされた自動化エンジンがあるというのに、経済的価値の高いあらゆる作業に接続するための適切なプラグや配線が備わっていない状態なのです」と彼は述べ、このギャップは能力の問題ではなく、設計とインターフェースの問題であると主張した。
会社の予想を上回るペースで進む導入実績
今回のインタビューで最も具体的だったデータポイントはおそらく、Jevが処理するトークン数がすでに1日あたり1兆を突破したという事実だろう。ディオゴ氏が強調したように、この数字は単発の人間によるテストではなく、「夜間も含めて」機械同士の利用が常時稼働していることを反映した本物のトラフィックだ。ローンチ動画自体の再生回数は3,800万回に達しており、共同ホストが指摘するように、Nvidiaのジェンスン・フアン氏の注目を集めた基調講演のハイライト（累計7,400万回）の週次換算ペースを上回り、Fableのデモ（5,700万回）など他の最近の主要なテック系ローンチをも凌ぐ勢いを見せている。
とはいえ、ディオゴ氏は、こうした反響の大きさに社内が全く準備できていなかったことも率直に認めた。ローンチ前には「触ってもらった人の半分以上が『何が良いのか理解できない』という反応だった」と述べ、会社の非技術系メンバーの間では「万能薬ではなく、ただのビタミンを売っているようなものだ」と懸念されていたという。タイプセーフには今週までほとんど売上がなかった。また、今回のローンチがマーケティングの巧みさによるものだという見方についても、「当社にはマーケッターはいません（現在も採用中です）」と否定し、ウェイトリストの登録数は同社がほとんど無視することを学んだバニティ・メトリック（見せかけの指標）に過ぎないと一蹴した。本当のシグナルは、ユーザーがプロダクトを体験した後に、どれほど積極的に高いレートリミットを求めてくるかであり、それこそが単なる好奇心ではなく真の依存関係を示しているのだと語った。
パブリック・ベンチマークをあえて排除
タイプセーフは、業界の標準的な信頼性シグナルであるパブリック・ベンチマークに対して、異例とも言える敵対的なスタンスをとっている。ディオゴ氏は、同社は「パブリック・ベンチマークに対して極めて否定的」であり、内部の代理指標として使われるプライベート・ベンチマークについても「中程度」評価するにとどまると述べた。その理由として、パブリック・ベンチマークは、意図しない研究室であってもいとも簡単にハックされてしまう点を挙げている。「昔は、どの研究室もMMLUに似たデータを集めるチームを抱えて見栄えを良くしようとしていました。それは単に、少し手間をかけただけのベンチマーク対策に過ぎません」と彼は指摘する。その代わりにタイプセーフは、リーダーボード上の順位ではなく、実際のワークフローの中で示される実用上の信頼性、すなわち彼が「バイブス（雰囲気）」と呼ぶものを通じて、モデルの知性に対する信頼が確立されるという賭けに出ている。同社が内部評価を維持していることは認めつつも、インセンティブがいかに簡単に測定を歪めてしまうかを踏まえ、そうした評価の不正操作を防ぐことはチームが内部で徹底している「最も重要な事項の一つ」であると述べた。
拒絶応答は安全性機能ではなく「型エラー（Type Error）」である
ディオゴ氏が掲げた挑発的な主張の一つが、APIプロダクト内における安全性アライメントとしての「拒絶応答（Refusals）」の全面的な拒絶だ。彼はこれを、ChatGPTやClaudeのようなコンシューマー向けチャットプロダクトとは明確に区別しており、チャット製品であればそのようなガードレールには意味があると認めている。しかし、APIのコンテキストにおいて拒絶は、ソフトウェアを非決定的かつ予測不可能な形でクラッシュさせると彼は主張する。「ボットとチャットしていて拒絶されたなら、それは苛立たしいものの、人間なら対処できます。しかし、バックグラウンドで稼働するシステム依存関係において拒絶が起きたらどうなるでしょうか？ そんなの正気の沙汰ではありません」と彼は語った。このスタンスは安全性の概念そのものに対する全面的な否定ではないと彼は念押ししている。むしろ、能力アライメント（開発者の指示をモデルに正確に従わせること）と安全性アライメント（プラットフォーム側など他者の好みにモデルに従わせること）は根本的に異なる問題であり、モデル層で混同されるべきではないという信念に基づいている。モデルが戦争に利用されるというデリケートな問題については、個人的にはテクノロジーを人を傷つけるために使ってほしくはないとしつつも、その個人的な好みをモデル自体に組み込むことは拒否した。それをやるとモデルの汎用知性が「崩壊（fracture）」してしまうというのがその理由だ。
「RLCD」と呼ぶ、社独自の新しいポストトレーニング・パラダイム
OpenAIでChatGPTの指示追従行動の前身となったRLHFベースの「InstructGPT」の開発に従事したディオゴ氏は、大規模言語モデルの歴史において、業界が真に成功させた新しいトレーニングの「北極星（指標）」はRLHF（人間の好みや指示追従の最適化）とRLVR（ベンチマーク検証可能な推論の最適化）の2つ、あるいはせいぜい3つしかないと主張する。これに対し、タイプセーフは3つ目の手法として、人間を喜ばせることや検証可能なパズルを解くことではなく、プログラム的な信頼性に焦点を当てた「RLCD」と社内で呼ぶ手法を提案している。特筆すべきことに、同社はこの技術を説明する論文をまだ発表していない。またディオゴ氏は、RLHFでチューニングされたチャットモデルが、構造的に迎合主義（sycophancy）、過剰な自信、そしてハルシネーションを起こしやすい理由についてもインタビューで言及した。これを「モード・ドロップ（mode dropping）」の結果であると説明し、モデルが曖昧な表現に対するペナルティを回避するために過剰な自信を持つようになり、結果として本来の確率分布が歪められてしまうのだと述べた。さらに、この現象をヤン・ルカン氏の有名な批判（自己回帰モデルは長大なシーケンスにわたってエラーを蓄積せざるを得ないという指摘）に結びつけ、ルカン氏はAI界で「最も正確な思考者の一人」であると称えつつも、その根本原因はトークンごとの生成における固有の欠陥ではなく、RLHFによるキャリブレーションの崩壊にあると主張した。
業界の「フロンティアの歩調を緩めよ」という安全性のコンセンサスに対する懐疑論
安全性を理由にAIの能力向上のペースを落とすべきだというフロンティア企業間での合意の高まりについて問われたディオゴ氏は、鋭い反論を展開した。そうした枠組みは、競争力を維持するためにどの研究室もRLVRのスケーリングを続けなければならないという前提に立っているが、タイプセーフのモデルファミリーにおいてはその前提自体を拒絶していると彼は言う。「当社のモデルにおいて、これ以上のRLVRを行う必要があるとは当然考えていません。当社の形状にとっての最適な量はゼロです」と彼は語った。業界のペース調整を巡る議論について彼は「一種の巧みなごまかし」であると切り捨て、モデルの能力を最大化するためにトレーニング中に広範で制約のない自律性を与えた研究室こそが、その結果生じたリスクを、代替的なモデル設計が存在するという事実を無視して、協調的な減速の口実として後から利用しているのだと示唆した。さらに彼は、具体例には踏み込み入らなかったものの、こうした安全性に関する議論の一部は、純粋な技術的リスク評価ではなく、迫り来る選挙に関連した政治的思惑によって形作られている面もあると指摘した。
マルチモデル・アーキテクチャによって変貌を遂げるコーディング・エージェント
ディオゴ氏は、AnthropicのClaude CodeやOpenAIのCodexが現在リードしているコーディング・エージェント市場を、タイプセーフのアプローチがディスラプト（破壊）しうる領域として挙げた。主要なプロバイダーがすべてほぼ同等の能力プロファイルを提供していた環境においては、両社をリードするプロダクトがいずれも単一の基盤モデルを中心にアーキテクチャを構築していたことは理にかなっていたと彼は認める。しかし現在では、多くの独立系オープンソースのコーディング・エージェント・プロジェクトがJevを統合し、単一モデルのアーキテクチャでは容易に模倣できない差別化されたユースケースの模索に走っていると彼は指摘した。またディオゴ氏は、自身が執筆した「KVキャッシュは私のすべてを支配する（KV Cache Rules Everything Around Me）」という記事をさらに発展させた、間もなく公開予定の内部文書についても言及した。それによれば、今日のコーディング・エージェントは単一モデルのキー・バリュー（KV）キャッシュへの依存によってアーキテクチャ上の制約を受けており、それがエージェントを1つのモデルに縛り付け、適切なソフトウェアの分解を阻害し、サブエージェントへのタスク委譲、コンテキストの圧縮、およびマルチエージェント間の状態共有を複雑にしているという。エージェントをその制約から解放することができれば、本質的に異なり、より安価でモジュール化されたエージェント設計が可能になると彼は語った。
製品ロードマップ：非決定的出力、ファインチューニングは（当面）なし、将来的なモデル階層化の可能性
具体的な製品設計の選択について、ディオゴ氏はJevが決定論的な出力（同じ入力に対して必ず同じ出力を保証すること）をサポートしていないことを確認した。その理由として、類似した入力が類似した出力を生み出す「ロバストネス（堅牢性）」の方がより重要な特性であり、決定論を追求することは同社の核心である「1ドルあたりの知性」の最適化に対して直接的なコスト増を招くためだと説明した。ただし、顧客の需要がそのトレードオフを正当化するのであれば、決定論的なバリエーションを提供する可能性については扉を開いたまにしている。ファインチューニングについても現在は提供されておらず、ディオゴ氏はこの理由を明確に説明した。OpenAI、Anthropic、Googleのいずれも、ファインチューニング機能がかえってメリットよりもリスクや負債になり得ると判断して撤回してきた経緯に触れ、「それは足元を撃ち抜くようなもの（ foot gun ）になり得ます」と述べた。もっとも、顧客からの需要に関する理解が成熟するにつれて、将来的にファインチューニングの再検討や複数のモデルサイズの提供を行う可能性については否定しなかった。また、顧客データのトレーニングへの利用については、仮にその権利を取得できたとしても、将来の想像しにくいアプリケーションを犠牲にして現在進行形のユースケースにモデルが過学習（オーバーフィッティング）してしまうことを避けるため、意図的に回避していることも明かした。
ビジネスのユースケースとしては、これまでLLMにかけるにはコストが高すぎた大規模な企業データセットである「ダークデータ」と、コーディング・エージェントを同社の最大の短期的な収益ドライバーの2本柱として挙げた。リアルタイムアプリケーション（特にレイテンシがコンバージョンに直接影響するEコマース）や、企業の可観測性（オブザーバビリティ）・検証ワークロードを二次的なカテゴリと位置づけている。マルチホップ推論がシングルホップのタスクに比べて依然として弱点であることや、フルコンピュータ操作や音声制御を含むいくつかのデモ機能については、同社のロードマップというよりはむしろ開発者側から半ば予期せぬ形で浮上したものであり、現時点ではプロダクション環境で運用できるほど信頼性が高くないことも率直に認めた。
OpenAIのRLHFチームから、2年間のステルス開発へ
ディオゴ氏によれば、タイプセーフのアイデアはOpenAIでInstructGPTの開発に取り組んでいた時期に固まったという。指示追従型のチャットプロダクトは商業的には成功したものの、背後にあるテクノロジーの応用としては狭く、最終的には限界のある用途に過ぎず、主にAIが生成するマーケティングコピーといった限られた領域でしか価値を生み出さないと確信したことがきっかけだった。彼はこのアイデアをOpenAIの内部で、サム・アルトマン氏本人を含めて直接提案したものの、社内で継続するよりもスタートアップとして動く方がスピードを出せると結論づけたという。また、InstructGPTの初期バージョンは、標準的なPPO（近傍政策最適化）アルゴリズムでは背後の好みデータをクリーンアップするには遅すぎたため、彼自身が独自に構築した未発表のカスタムアルゴリズムを使用してトレーニングされていたという、一般にはあまり知られていない事実も明かした。元フロンティア研究者たちによって新たに設立された数多くのAIラボの波については、「大半のネオ・ラボはクジ（クソ）だ」と異例の辛口な評価を下し、明確な技術的北極星を欠いているところが多く、定義された有用なタスクのない純粋な研究の経歴だけでは価値を生み出すことはめったにないと主張した。