Vals AI: Rekursiver Selbstverbesserungs-Index deutet darauf hin, dass Anthropic bis Juli oder August 2027 die „volle RSI“ erreicht, wobei Gemini den steilsten Zuwachs verzeichnet
Gründer Ryan Christian skizziert den RSI-Tracker des Unternehmens, neue Cyber-Benchmarks und ein überraschendes Ergebnis zu chinesischem Modellbias in einem Interview im Podcast American Optimist von Joe Lonsdale am 26. Oktober 2026
Vals AI, dessen Benchmark-Zahlen mittlerweile bei vielen Launches von Frontier-Modellen herangezogen werden, nennt ein konkretes Datum für einen der am heftigsten umstrittenen Meilensteine in der KI. Gründer und CEO Ryan Christian erklärte, dass der unternehmenseigene RSI-Index, der den Fortschritt in Richtung rekursiver Selbstverbesserung (Recursive Self-Improvement) verfolgt, nahelege, dass „Anthropic bis Juli oder vielleicht August 2027 die volle RSI erreichen wird“. Rekursive Selbstverbesserung ist der Punkt, an dem Modelle ihre eigenen Nachfolger hervorbringen. Die Schätzung stammt von einem privaten Unternehmen, und Lonsdale offenzulegte während des Gesprächs, dass er in das Unternehmen investiert ist. Dennoch handelt es sich um einen der wenigen quantifizierten Zeitpläne im öffentlichen Umlauf, und er stammt von einem der wenigen unabhängigen Drittanbieter mit Zugang zu den Modellen verschiedener Labs.
Wie der RSI-Index funktioniert und wo er fehlerhaft sein könnte
Christian erläuterte, dass der Index Proxies für die Arbeit von Forschern innerhalb von Labs in den Bereichen Pre-Training, Post-Training und Harness-Level-Engineering sammelt. Er vergleicht die Modellleistung mit menschlichen Baselines, um den Abstand zur menschlichen Grenze bei diesen Aufgaben zu schätzen. Kernel- und Hardware-Engineering sind derzeit nicht Gegenstand der Untersuchung, wobei Vals plant, diese hinzuzufügen.
Christian beschrieb die Entwicklung als stetig, „nahezu ein linearer Trend im letzten Jahr“, mit einer Ausnahme. Googles Gemini hat die steilste Kurve gezeigt. „Ich glaube, dass sich etwas geändert hat, bei dem RSI priorisiert wurde, sodass die jüngste Modellveröffentlichung einen rasanten Sprung zeigt“, sagte er.
Er äußerte sich offen über die Grenzen der Methode, und diese wirken in beide Richtungen. Vals testet ausschließlich Release-Candidate-Modelle. Es werden weder Modelle getestet, die explizit für RSI trainiert wurden, noch fortgeschrittene Harnesses oder Multi-Agenten-Systeme. Auf die Frage, ob sich das Datum aufgrund der nicht gemessenen Faktoren verschieben könnte, antwortete Christian mit „zu 100 Prozent“. Dieselben blinden Flecken könnten gleichermaßen bedeuten, dass das tatsächliche Datum früher liegt. Physische Einschränkungen bei Chips und Energie sowie die Notwendigkeit einer Validierung in der realen Welt bei bestimmten Aufgaben werden zudem begrenzen, wie schnell sich Fortschritte potenzieren können.
Die folgenschwerere Behauptung ist qualitativer Natur. Christian erwartet, dass sich „der Modellfortschritt beschleunigen wird und er sich vielleicht sogar in Bereiche verlagert, in denen wir die Modelle weniger verstehen“, da ein geringerer menschlicher Eingriff beim Erstellen von Modellen bedeutet, dass Menschen weniger vorgeben, wie die Intelligenz entsteht. Er sieht darin das Kernargument für integrierte externe Evaluatoren mit Zugang zu internen Systemen und erklärte, dass Anthropic-CEO Dario Amodei unter dem Motto „Pacing the Frontier“ (Das Tempo an der Grenze bestimmen) das Gleiche fordert.
Ein schwächerer China-Bias als erwartet
In Bezug auf China widerspricht die Datenlage von Vals einer gängigen Annahme. Die neue Auswertung zum „geopolitischen Einschlag“ (Geopolitical Tilt) misst, ob ein Modell zu einer US-amerikanischen oder einer chinesischen Sichtweise (PRC) der Welt neigt. Christian sagte, das Bild sei „viel nuancierter, als ich dachte“. Das chinesische Open-Source-Modell GLM-5.3 „weist tatsächlich sehr wenig pro-chinesische Voreingenommenheit auf“. Als Vals das Ergebnis den Labs präsentierte, vermuteten einige, das Modell sei schlicht von US-Modellen destilliert worden. Christian nannte zwei andere Erklärungen. Chinesische Modelle folgen möglicherweise der Linie der Volksrepublik konsistenter, sobald sie hinter Leitplanken in China betrieben werden, und Peking wünscht sich vielleicht ein ausgewogenes Weltbild, damit die Modelle in den BRICS-Staaten Akzeptanz finden.
Er stellte zudem gravierende Unterschiede zwischen Chatbot- und agentenbasierten Umgebungen sowie selbst zwischen vereinfachten und traditionellen chinesischen Prompts fest. Seine Schlussfolgerung lautet, dass es „eine große Diskrepanz zwischen dem gibt, was die Leute über die geopolitische Schlagseite denken, und dem, was wir in der Praxis sehen“, was ein pauschales Verbot chinesischer Modelle im Unternehmenseinsatz allein aus Bias-Gründen schwerer rechtfertigbar macht.
Chinesische Modelle zeigen nach wie vor Schwächen in anderen Bereichen. Christian erklärte, sie schneiden bei Coding-Benchmarks mit einzelnen Abfragen (Single-Turn) gut ab, „versagen jedoch völlig“ in mehrstufigen, iterativen Sitzungen mit einem Menschen. Frustrierte Nutzer sind ein Fall, „den sie noch nie zuvor gesehen haben“. US-Labs haben Produkte wie Claude Code und Codex entwickelt und dementsprechend für anhaltende Interaktionen trainiert. Hinsichtlich der breiteren Wettbewerbsfrage verwies Christian auf zwei Vorteile der USA. Der eine ist Rechenleistung: „Wir ertrinken im Vergleich zu dem, was China hat, förmlich in Rechenleistung.“ Der andere ist Talent. Er warnte, dass die USA im Falle von Anzeichen dafür, dass China zuerst RSI erreicht, das Ergebnis möglicherweise nicht mehr kontrollieren könnten.
Cyber-Benchmarks und unveröffentlichte Bandbreiten
Vals hat drei Cyber-Evaluationen entwickelt. Die erste umfasst das Identifizieren und Patchen von Speicher-Schwachstellen in Open-Source-Repositories, wobei Christian anmerkte, dass sowohl geschlossene als auch offene Modelle inzwischen „wirklich, wirklich gut“ abschneiden. Die zweite, SORE Bench, testet die Fähigkeit eines Modells, ausführbare Dateien zu dekompilieren und so geschlossenen Quellcode zu verstehen. Geschlossene US-Modelle „übertreffen chinesische Open-Source-Alternativen nach wie vor bei Weitem“. Christian formulierte das Risiko als Modelle, die Schwachstellen in geschlossenen Systemen wie Windows, die einen großen Teil der weltweiten Software-Infrastruktur untermauern, finden und ausnutzen können.
Die dritte ist ein bevorstehender Benchmark, der auf simulierten Cloud-Netzwerk-Bereichen von Unternehmen basiert. Christian zufolge „bleiben selbst die besten Frontier-Modelle dort hinter den Erwartungen zurück“. Er ist noch nicht öffentlich, und Vals teilt die Ergebnisse zunächst mit Regierungsstellen der USA. Christian erklärte, dass automatisierte Red-Teaming-Analysen zudem aufzeigen könnten, welche Netzwerk-Sicherheitsvorkehrungen am besten gegen diese Modelle verteidigen.
Täuschung, Evaluationsbewusstsein und Messgrenzen
Christian räumte ein, dass das Testen auf Täuschung „wirklich schwierig“ ist. Die derzeit beste Methode ist das Honeypotting, was bedeutet, fehlausgerichtetes Verhalten zu charakterisieren und zu versuchen, es hervorzurufen. Er bezeichnete das Evaluationsbewusstsein, bei dem Modelle erkennen, dass sie getestet werden, als „eine wachsende Sorge“. Einige in seinem Team befürchten, dass der Name Vals und das Volumen an Online-Inhalten darüber dazu führen könnten, dass sich Modelle anders verhalten, wenn sie darauf treffen. Christian sagte, das Unternehmen müsse möglicherweise langfristig verdeckte Testidentitäten einsetzen.
Er fügte hinzu, dass Modelle versuchen könnten, „soziale Täuschung anzuwenden, um Zugang zu mehr Rechenressourcen zu erhalten und ihr eigenes Training hochzuskalieren“. Dies sei spekulativ, und der Kommentar wurde als Möglichkeit und nicht als festgestellter Befund geäußert. Er verdeutlicht jedoch, warum Vals argumentiert, dass die Evaluationskapazität mit der Leistungsfähigkeit skalieren muss.
Das Modell des unabhängigen Evaluators und Auto-Benchmarking
Christian argumentierte, dass Labs „nicht für die Selbstregulierung verantwortlich sein sollten“ und dass direkte staatliche Regulierung die Entwicklung verlangsamen kann. Seine bevorzugte Struktur ist ein wettbewerbsorientierter Markt von Evaluatoren, die Regierungen schließlich als unabhängige Verifizierungsorganisationen lizenzieren könnten. Er wies darauf hin, dass der übergreifende Zugang zwischen den Labs konstruktionsbedingt eingeschränkt ist, sodass Anthropic-Forscher nicht ohne Weiteres OpenAI-Modelle testen können und umgekehrt. Das erschwert direkte Vergleiche, da diejenigen, die am besten für die Durchführung von Evaluierungen positioniert sind, tendenziell innerhalb der Labs sitzen.
Das Interview ließ das Geschäftsmodell weitgehend unbehandelt. Lonsdale fragte direkt, wer Vals bezahlt, und Christian antwortete mit einer politischen Begründung statt mit einer Umsatzbeschreibung. Investoren sollten diese Lücke zur Kenntnis nehmen. Christian erwähnte jedoch, dass Vals mit großen US-Wirtschaftskanzleien und globalen Banken zusammenarbeitet, um gute Arbeit bei rechtlichen und finanziellen Aufgaben zu definieren. Die Benchmarks decken Excel-Modellierung, Rechts- und Steuerrecherchen, Full-Stack-Webanwendungen sowie Code-Migrationen ab, wobei einige Testläufe bis zu 5 Tage reale Zeit in Anspruch nehmen. Modelle scheitern bei dieser Länge für gewöhnlich nicht, erklärte er. Sie stagnieren, weil zusätzliche Tokens keine neuen Lösungsansätze mehr freisetzen.
Vals’ bemerkenswerteste methodische Wette ist das Auto-Benchmarking. Anstatt sich mit Praktikern zusammenzusetzen, um zu kodieren, wie gute Arbeit aussieht, werden Evaluierungen anhand von bereits abgeschlossener menschlicher Arbeit rekonstruiert – wie etwa gemergte Pull Requests in einem GitHub-Repository, rechtliche Rotstift-Korrekturen (Redlines) oder medizinische Diagnosen. Anschließend wird getestet, ob Modelle das Ergebnis replizieren können und zu welchen Kosten. Christian sagte, der schwierigste Teil bleibe die Verknüpfung von Aufgaben mit Arbeitsabläufen und von Arbeitsabläufen mit Geschäftsergebnissen. Die Leistung auf Abfrageebene „ist nach wie vor nur ein Bruchteil dessen, was erforderlich ist, um zum Endergebnis zu gelangen“.
Labor-Koordination und der Palantir-Einfluss
Christian berichtete, dass sich die Labs in der vergangenen Woche auf eine Vision für eingebettete Evaluatoren geeinigt und im Weißen Haus eine Übereinkunft mit der Trump-Regierung erzielt haben. Er nannte keine Details, und die Behauptung ließ sich anhand des Gesprächs nicht verifizieren. Zur Akzeptanz sagte er, Unternehmen verlangten Zusicherungen, dass Implementierungen eine positive Rendite abwerfen, bevor sie Verpflichtungen eingehen.
Christian, ein ehemaliger Palantir-Praktikant, erklärte, dass die Unternehmenskultur des Konzerns Vals geprägt habe. Er erinnerte daran, dass CEO Alex Karp auf Bedenken hinsichtlich des Rufs von Palantir mit den Worten reagierte: „Es ist weitaus besser, gefürchtet als geliebt zu werden.“ Christian erkennt einen Teil dieser Logik in den öffentlichen Warnungen von Lab-Führern wieder, die er teils als echte Furcht und teils als Machtdemonstration beschrieb. Er nannte eine solche Kommunikation eine irrationale Verhaltensweise für Führungspersönlichkeiten. Er bezeichnete sich selbst als optimistisch, aber nicht naiv, und nannte den Ausblick „einen Punkt extrem hoher Varianz“ mit beträchtlichem Aufwärtspotenzial und „neuen Formen von Risiken, die wir unbedingt berücksichtigen und kontrollieren müssen“.