Vals AI Transcript: Vorhersage rekursiver Selbstverbesserung bis 2027 und die Notwendigkeit unabhängiger Modellbewertungen
American Optimist Podcast mit Joe Lonsdale und Vivek Ramaswamy, 26. Oktober 2026
Einführung in Ryan Christian und Vals AI
Herp hörte das und sagte: „Ich finde, du bist ziemlich naiv. Du solltest mal ein bisschen Machiavelli lesen. Es ist weitaus besser, gefürchtet als geliebt zu werden.“ Es gibt eine Menge großartiger Geschichten von uns allen bei Vals. Es ist eine ganz einzigartige Kultur, an der wir uns auch bei Vals zu orientieren versucht haben. Was ist dieser ganze Bereich der Modellbewertung überhaupt? Unabhängige Evaluierung basiert auf der Idee, dass Frontier-Labs sich in immer schnellerem Tempo entwickeln und nicht für ihre eigene Selbstregulierung verantwortlich sein sollten. Ihr habt eine Methode zur Messung von RSI. Es sieht ganz danach aus, dass Anthropic bis Juli oder vielleicht August 2027 die volle RSI erreichen wird. Der Fortschritt bei Modellen wird sich beschleunigen und sich möglicherweise sogar in Bereiche verlagern, in denen wir die Modelle weniger verstehen. Das wäre schlicht ziemlich Furcht einflößend, wenn wir das nicht genau beobachten würden. Höhere Intelligenzen werden besser superprognostizieren als Menschen. Sie werden tatsächlich in der Lage sein vorherzusagen, was ein Mensch tun wird, noch bevor der Mensch selbst es weiß.
Ryan Christian ist Gründer und CEO von Vals AI. Immer wenn ein neues KI-Modell veröffentlicht wird und man diese Zahlen sieht, mit denen KI-Modelle miteinander verglichen werden, stammen diese Zahlen oft von Vals AI. Sie haben sich zu einem der absolut führenden Evaluatoren von Modellen entwickelt. Dies ist ein faszinierender Bereich, weil man ständig neue Hürden für Modelle erschafft, die sie überwinden müssen. Es erfordert, dass man genau versteht, wie man Modellfähigkeiten misst, sowie Modellrisiken evaluiert und neue Wege zur Risikobewertung von Modellen entwickelt. Das bedeutet, dass Ryan an vorderster Front dessen steht, was in der Welt der KI passiert, wohin sich die KI entwickelt und wie wir dazu beitragen können, den Rahmen dafür zu gestalten, was Regierungen tun könnten, um diese Dinge zu regulieren, und wie die Modellunternehmen über ihre eigene Regulierung denken sollten. Er entwirft die Frameworks, Konzepte und Messgrößen, die den Weg für das Aussehen von KI im nächsten Jahrzehnt weisen. Hören wir ihn selbst. Willkommen bei American Optimist. Ryan, vielen Dank, dass du heute bei uns bist.
Ryan: Danke für die Einladung.
Joe: Gründer und CEO von Vals AI.
Ryan: Vivek, danke, dass du hier bist und dafür sorgst, dass ich schlauer klinge.
Vivek: Aber natürlich, helfe gerne.
Ryan Christians Hintergrund an der Stanford University, bei Microsoft und Palantir
Joe: Willkommen in der Sendung. Erzähl uns doch ein bisschen über deinen Hintergrund. Du hast Informatik in Stanford studiert. Du warst, glaube ich, eine Zeit lang bei Microsoft. Und bist dann schon vor langer Zeit zu Palantir gegangen. Was hat dich zu Palantir geführt?
Ryan: Ja, danke für die Einladung. Bei Microsoft hat es eigentlich gewissermaßen angefangen. Ich war dort in der Highschool als Praktikant, und das BERT-Paper von Google kam heraus. Für diejenigen, die es nicht wissen: Das war ein wirklich bedeutendes Paper. Es zeigte, dass dieses verallgemeinerte System tatsächlich in der Lage war, bei einer Vielzahl wichtiger NLP-Benchmarks Höchstleistungen zu erbringen oder erfolgreich zu sein. Und es war –
Joe: Sag unseren Zuhörern, die nicht technisch bewandert sind, was NLP-Benchmarks bedeuten.
Ryan: Nun, das bedeutet im Grunde, dass es diese spezialisierten Tests gibt, die sich Leute ausgedacht haben. Sie versuchten, spezialisierte Systeme zu entwickeln, die darin gut abschneiden – wie etwa: Hier ist eine Multiple-Choice-Prüfung, und hier ist eine Sentiment-Analyse.
Joe: Von natürlicher Sprache.
Ryan: Ja, genau. Und anstatt ein spezialisiertes System zu bauen, das bei einer dieser Aufgaben gut abgeschnitten hat, hatten sie gezeigt, dass sie über ein Modell verfügten, das sehr universell einsetzbar war. Es besaß ein grundlegendes Sprachverständnis, und zwar auf eine Weise, die sich auf all diese Benchmarks übertragen ließ. Es war plötzlich auf breiter Front die Nummer eins.
Joe: In welchem Jahr war das?
Ryan: Ich glaube, das war 2018 oder 2019.
Joe: Das ist schon eine Weile her. Eine halbe Ewigkeit, ja.
Vivek: Nach KI-Maßstäben ist das ziemlich lange her, aber es kam der Sache nahe.
Ryan: Ja, das war eine große Sache. Und ich denke, für mich hat das eines sehr deutlich gemacht. Dies ist sozusagen ein veranschaulichender Moment für die bittere Lektion (The Bitter Lesson): die Erkenntnis, dass wir uns bei algorithmischen Optimierungen noch so sehr anstrengen und in die Tasche lügen können – letztlich ist es schlicht mehr Daten im größeren Maßstab, die es uns ermöglichen, neue Formen von Intelligenz zu erschließen. Da war mir also sofort klar, dass wir ein mächtiges Modell oder solche Systeme haben werden, die ein wesentlicher Bestandteil des Gefüges unserer Gesellschaft sein werden. Und ich denke, es gab auch Wege, wie diese Modelle missbraucht werden könnten. Ungefähr zur gleichen Zeit, während ich bei Microsoft war, las ich *Zero to One*. Und es wurde immer deutlicher, dass die Leute bei Palantir versuchten, die Technologie so zu gestalten, dass die bürgerlichen Freiheiten oder westlichen demokratischen Ideale im Großen und Ganzen geschützt werden. Daher war ich wirklich begeistert, bei Palantir zu arbeiten, um zu sehen, wie die Technologie zum Leben erweckt und auf eine Weise übernommen wird, die im Einklang mit meinen Werten stand. Also ging ich für das Grundstudium nach Stanford, ließ mich dort etwas von der Forschung ablenken, veröffentlichte einige Paper und war eigentlich auf dem Weg zu einem Doktortitel, aber ich nahm mir die Zeit, auch einen Sommer lang bei Palantir zu arbeiten, und ich denke, das war ebenfalls eine äußerst aufschlussreiche Erfahrung.
Lehren von Alex Karp und das Reverse-Image-Search-Hackathon-Projekt
Joe: Du hast erwähnt, dass du bei Palantir noch etwas anderes von Karp gelernt hast. Gibt es dort noch etwas Interessantes?
Ryan: Ja, es gibt eine Reihe großartiger Geschichten aus meiner Zeit bei Palantir. Es ist eine sehr einzigartige Kultur, an der wir auch bei Vals versucht haben uns zu orientieren. Aber wie dem auch sei, während ich dort war, hatte ich die Gelegenheit, an diesem Hack-Week-Projekt zu arbeiten. Im Wesentlichen war das eine Idee, die ich mit einem Typen in London hatte. Wir hatten uns also remote darüber unterhalten. Ich flog rüber und hatte im Grunde einige Arbeiten mit CLIP gemacht, diesem gemeinsamen Bild-Text-Embedding-Modell.
Joe: Erkläre dem Publikum kurz, was das ist.
Ryan: Die Idee eines einzigen Modells, das sowohl Bild- als auch Texteingaben in dasselbe semantische Verständnis kodieren kann, richtig? Und was wir zu tun versuchten, war, eine Rückwärtssuche für Bilder (Reverse Image Search) in Gotham einzubauen. Anstatt also nur Textabfragen einzutippen, konnte man ein Bild hochladen, sagen wir von einem blauen Auto, und das System durchsuchte die gesamte Datenbank und warf blaue Autos aus, nach denen man gesucht hat. Und das funktionierte, weil wir denselben zugrundeliegenden Embedding-Raum für dieses Modell nutzten, der Text auf Bilder abbildete. Wie dem auch sei, das war im Grunde ein Forschungspaper, das ich veröffentlicht hatte, und ich wollte arbeiten und ein Feature daraus bauen. Letztendlich schlossen sich einige Vollzeitmitarbeiter unserem Team an, und als Praktikant leitete ich dieses kleine Team von Palantirians – das war eine berauschende Erfahrung. Ich habe einen Großteil dieser Woche nicht geschlafen. Und diese Idee wurde dann als Finalist ausgewählt und vor dem gesamten Unternehmen präsentiert. Nach meinem Weggang haben sie das tatsächlich patentiert und vermarktet. Es war also Wahnsinn zu sehen, wie diese kleine Idee, die ich hatte, und ein Teil der Forschung, an der ich vor Palantir gearbeitet hatte, Teil des Produkts und tatsächlich zu geistigem Eigentum wurden, das sie kontrollieren wollten. Aber auf jeden Fall hatte ich dadurch auch die Gelegenheit, Karp zu treffen und mich ein wenig mit ihm zu unterhalten. Und ich stellte ihm diese Frage: Es wirkte so, als sei der Ruf von Palantir extrem negativ. Ich war in Stanford, wo es viele Proteste gab –
Joe: Und du fandest die Werte sehr positiv, aber die externe Wahrnehmung war einfach negativer, als du erwartet hattest.
Ryan: Ja, ganz genau. Mir war völlig klar, dass es in der Verantwortung der Wählerschaft liegt – der Menschen, die wir tatsächlich an die Macht wählen –, zu entscheiden, wie wir Technologie nutzen wollen und welche Werte ihr zugrunde liegen sollen. Es ist eigentlich nicht die Aufgabe von Technologieunternehmen, abzulehnen, wo diese Technologie eingesetzt werden soll. Und die Leute dort machten sich dazu sehr sorgfältige Gedanken. Tatsächlich sprechen wir heute über Dinge wie die Ausrichtungsherausforderung (Alignment Challenge); die Leute bei Palantir sprachen damals von Mensch-KI-Symbiose. Das war etwas, worüber gesprochen wurde. Oder auch die Taxonomie für Intelligenz heutzutage: Wir haben ein System aus Evaluierungen und Benchmarks, das dies gewissermaßen imitiert. Ich denke also, es gab einige grundlegende Probleme, über die die Leute intensiv nachdachten. Und es hat mich überrascht, dass die Resonanz von außen auf das Unternehmen so negativ ausfiel – da wurde über die vielleicht zweifelhafteren potenziellen Anwendungen der Technologie mit einem sehr verwässerten Verständnis davon gesprochen, obwohl Palantir doch auch bei der Verteilung des COVID-Impfstoffs half, eine Reihe von Krankenhäusern unterstützte und es also auch andere Fallstudien gegeben hätte, auf die man verweisen konnte. Und Karp hörte sich das an und sagte: „Nun, ich finde, du bist ziemlich naiv. Du solltest mal ein bisschen Machiavelli lesen. Es ist weitaus besser, gefürchtet als geliebt zu werden.“ Und tatsächlich zog er einige Vergleiche zu anderen Beratungsunternehmen und sagte im Grunde, wenn sie Angst vor uns haben, glauben sie zumindest, dass wir mächtig sind. Im Ernstfall werden sie also zu Leuten wie uns kommen. Das war faszinierend. Und tatsächlich erinnert es mich stark an das, was ich heute bei den Labs sehe – was einerseits meiner Ansicht nach eine echte Angst vor dem ist, was die Modelle zu leisten imstande sind, andererseits aber in vielerlei Hinsicht eine Gelegenheit für sie darstellt, die Macht dessen zu demonstrieren, was sie da bauen.
Joe: Es ist vielleicht Absicht, dass Dario will, dass sie gefürchtet werden, wenn er das durchdacht hat.
Ryan: Ob Dario oder Sam – ich sehe Schlagzeilen, in denen Leute sagen, die Öffentlichkeit habe das Recht, Angst zu haben. Und ich denke, das ist nicht wirklich eine rationale Handlungsweise für eine Führungspersönlichkeit. Diese Sendung heißt American Optimist. Ich bin tatsächlich ziemlich optimistisch, handle rational und sehe, dass die Früchte der KI weitaus positiver sein werden.
Wissenschaftliche Entdeckungen, das Knacken von Chiffren und Verifizierungs-Bottlenecks
Joe: Bevor wir in Vals und die Wissenschaft der KI-Modellbewertung eintauchen, lasst uns ein wenig über den Stand des KI-Fortschritts und unseren aktuellen Standort sprechen. Du erzählst mir tatsächlich, dass du Fable von Anthropic verwendet hast, um eine 370 Jahre alte Chiffre zu knacken. Eine 370 Jahre alte Chiffre – was hat es damit auf sich?
Ryan: Ganz genau, ja. Nun, wir führen mittlerweile eine ganze Reihe verschiedener Arten von Evaluierungen durch, und ich denke, der Bereich, auf den sich die KI-Frontier derzeit zubewegt, nämlich wissenschaftliche Entdeckungen oder neuartige Entdeckungen, ist ein spannender Grenzbereich. Deshalb haben wir eine Reihe ungelöster Chiffren, mathematischer und physikalischer Probleme zusammengestellt.
Joe: Was bedeutet eine ungelöste Chiffre für das Publikum? Also, was genau heißt das?
Ryan: Es ist im Grunde ein Code, den man zu knacken versucht, für den man aber keinen Schlüssel besitzt. Man muss also die Zuordnung von einem Quelltext zu einem Originaltext rekonstruieren und herausfinden, wie die Nachricht tatsächlich lautet.
Vivek: In vielen dieser Fälle handelte es sich um Nachrichten, die von Staatschef zu Staatschef geschickt wurden oder sich auf einem Piratenschiff befanden.
Ryan: Ja.
Joe: Weil es sich einfach um ein Einweg-Pad (One-Time-Pad) oder etwas Ähnliches handeln könnte – in diesem Fall kann man es nicht knacken, weil es ein One-Time-Pad ist, bei dem beide Parteien eine Kopie haben, und dann wäre es wahrscheinlich unmöglich, da jede Einheit übersetzt –
Ryan: Möglicherweise, aber es gibt auch weitere Hinweise, die man darüber heranziehen kann, wie die Person das Problem konstruiert hat oder welche Botschaft sie der anderen Person vermitteln wollte. Normalerweise sind die Nachrichten so aufgebaut, dass sie vom Empfänger entschlüsselt werden können.
Joe: Eine zynische Sichtweise auf den KI-Fortschritt im Moment könnte sein, dass KI wirklich gut darin ist, all diese Suchräume zu durchforsten, und bestimmte Probleme lassen sich in diese extrem großen Suchräume zerlegen, für die kein Mensch die Zeit oder die Fähigkeit hat, Millionen von ihnen durchzugehen oder so etwas. Während man bei einer Chiffre zum Beispiel einfach – wenn ich anfangen würde, eine Chiffre zu knacken, würde ich sagen: „Nun, was wäre, wenn ich einfach anfangen würde, jedem dieser Dinge Zahlen hinzuzufügen oder sie um eins zu verschieben oder was auch immer?“ Ich würde die naheliegenden Dinge untersuchen, wohingegen ein Computer Millionen von diesen Dingen verdammt schnell untersuchen kann. Sind also viele der Durchbrüche in Mathematik und Wissenschaft einfach nur das Ergebnis davon, dass jemand einen Suchraum besser definiert hat, um ihn zu durchsuchen, oder findet vom Modell aus ein tieferer, kreativerer Denkprozess statt?
Ryan: Viele der Probleme, die gelöst wurden, wurden durch Erschöpfung gelöst, oder es ging darum, ein Gegenbeispiel zu finden, und man stößt an ein Nadelöhr bezüglich seiner Fähigkeit, sehr viele verschiedene Gegenbeispiele auszuprobieren. Aber ich würde diese Art von Problem nicht einfach abtun. Es gibt eine Menge Dinge, für die Menschen in reiner Handarbeit größenordnungsmäßig ein ganzes Leben brauchen würden – allein durch Ausprobieren –, die wir jetzt mit Modellen innerhalb von Stunden sehen können.
Joe: Löst die KI also im Allgemeinen eine Menge Mathe- und Wissenschaftsprobleme, oder wie müssen wir uns das vorstellen?
Ryan: Sie löst im Allgemeinen extrem anspruchsvolle Probleme, und ich denke, es gibt nach wie vor eine große Klasse von Problemen, bei denen menschliche Arbeitskraft das Nadelöhr darstellt. Ich glaube, es wird anhaltendere Anstrengungen erfordern, um tatsächlich auf außergewöhnlich neuartige Weise Fortschritte zu erzielen – auf Weisen, die eine Intuition für die Lösung erfordern. Und genau diese Art von Dingen, die Menschen sich im Laufe der Zeit angeeignet haben, lässt sich im Moment nur sehr schwer an Modelle weitergeben.
Vivek: Es scheint auch so, als ob Modelle diese unglaublichen Ergebnisse hervorbringen, und wir erkennen an, dass diese Ergebnisse erzielt werden – wie etwa bei Navier-Stokes und den vom Modell erzeugten Ausgaben. Allerdings sind sie sehr schwer verständlich; sie sind kaum zu parsen oder nachzuvollziehen. Was hältst du davon, wie Entdeckungen in diesen weniger verifizierbaren Domänen ablaufen sollten, oder was muss sich daran ändern, wie sich diese Modelle verhalten, damit wir ihren Entdeckungen vertrauen können?
Ryan: Ja, ich denke, das ist eines der größten Nadelöhre, besonders wenn man sich der Grenze der menschlichen Intelligenz nähert. Es fällt uns extrem schwer, auf diese Menschen zurückzugreifen und dann zu verifizieren, dass dieser lange Output tatsächlich korrekt ist.
Vivek: Ja.
Ryan: Eine der beliebtesten Techniken in der Mathematik, die sich meiner Ansicht nach auch auf andere Bereiche übertragen lassen könnte, ist die Idee, eine verifizierbare Sprache wie Lean zu verwenden. Das wäre eine Welt, in der man die Ausgabe nehmen und in eine Sprache übersetzen könnte, die – wenn sie kompiliert – einfach stimmen muss. Wir bauen auf Grundelementen auf, von denen wir wissen, dass sie wahr sind. Und dieser Ansatz könnte auch in anderen Bereichen wie der Physik oder der Programmierung Anwendung finden. Wir werden vielleicht auch einige Fälle erleben, in denen die reale Welt der beste Verifizierer ist. Indem wir einen Assay oder ein Nasslabor-Experiment durchführen, werden wir mit absoluter Sicherheit wissen, ob die vom Modell vorhergesagten Eigenschaften tatsächlich zutreffen.
Vivek: Macht Sinn. Und wie sollten deiner Meinung nach die Labs, ihr selbst oder andere Organisationen diese Experimente und Verifizierungen durchführen?
Ryan: Nun, zumindest sehr sorgfältig. Ich halte es für absolut unerlässlich, dass es Drittanbietergruppen gibt, die dies unterstützen können, und das ist Teil der Vision hinter Vals selbst. Wir leben mittlerweile in einer Welt, in der der Zugriff auf Modelle über die verschiedenen Labs hinweg tatsächlich eingeschränkt ist. So fällt es Anthropic-Forschern schwer, OpenAI-Modelle zu evaluieren, und umgekehrt – und das ist sozusagen Absicht. Aber das bedeutet, dass ein echter direkter Vergleich kaum möglich ist, weil die besten Leute, die diese Evals durchführen, oft diejenigen sind, die ohnehin parteiisch sind und in den Labs sitzen.
Automatisierte Benchmarks für Unternehmens-Workflows und die Definition von Qualität
Joe: Ja. Und wenn man einen Schritt zurücktritt: Es gibt all diese Dinge, die KI jetzt tun kann, was sie vorher nicht konnte. Und ein großer Teil davon besteht natürlich darin zu verstehen, wie man sie misst. Wir kommen gleich darauf zu sprechen; das ist es, was ihr tut. Eines der Messprobleme auf einer sehr hohen Ebene ist: Im Enterprise-Umfeld muss man messen, was gute Arbeit ist oder wie gut die Arbeit ist, richtig? Wenn es sich beispielsweise um eine Anwaltskanzlei oder Ähnliches handelt, kann man vielleicht Arbeit auf Associate-Niveau und Arbeit auf Partner-Niveau definieren. Wie definiert man das überhaupt? Ist das ein Problem, an dem wir arbeiten? Wird KI besser darin zu verstehen, was was ist?
Ryan: Das ist extrem anspruchsvoll. Ich denke, in vielerlei Hinsicht haben wir es auf menschlicher Ebene noch gar nicht gelöst. Wir haben keine sehr klare Definition dafür, was Arbeit auf Associate-Niveau im Gegensatz zu Partner-Niveau ausmacht.
Joe: Der Supreme Court sagte in Bezug auf Pornografie, man erkenne sie einfach, wenn man sie sehe, richtig? Das war der Ausspruch. So ähnlich ist das.
Ryan: Ja, es ist witzig. Das ist fast exakt das, was Ben Horowitz in der a16z-Show gesagt hat.
Joe: Vielleicht habt ihr ein gemeinsames Gehirn oder so etwas.
Ryan: Das ist lustig. Nun, es ist die richtige Analogie, oder? Aber deine Aufgabe ist es herauszufinden und zu definieren, was diese Dinge sind.
Ryan: Ja, ganz genau. Ich denke, es gibt eine Möglichkeit, dies über einen sehr beratungsorientierten Ansatz anzugehen, bei dem man sich mit den Leuten zusammensetzt und von ihnen zu verstehen versucht, wie gute Arbeit aussieht, das in wiederholbare Evals kodiert und diese ausführt. Und ich denke, so wurden Evals traditionell aufgebaut. Der Ansatz, demgegenüber ich wirklich optimistisch bin, ist die Idee des Auto-Benchmarking (automatisierten Benchmarkings). Das Tempo des Modellfortschritts hält an, und wir werden immer leistungsfähigere Modelle bekommen, weshalb sich die zugrundeliegende Arbeit selbst verändern muss. Was mich also sehr begeistert, ist die Vorstellung, dass man die zuvor von Menschen geleistete Arbeit nehmen und die Qualität des Arbeitsoutputs approximieren kann, den Modelle in diesem kontrafaktischen Szenario erzeugt hätten. Auf diese Weise kann man systematisch Evals für all die Arbeitsergebnisse erstellen, die bereits produziert wurden. Als Beispiel könnte man sich ein GitHub-Repository ansehen und die früheren PRs betrachten, die von Menschen gemergt wurden, um zu sehen, ob Agenten dies adäquat leisten könnten und welche von ihnen dies auf die kosteneffizienteste Weise tun würde. Und ich denke, es gibt Parallelen dazu beim Redlining-Prozess im juristischen Bereich oder beim Diagnoseprozess in der Medizin.
Joe: Führt das zurück zu einer Ontologie von Workflows und Ergebnissen, die man definieren muss, damit all das funktioniert? Ist das gewissermaßen ebenfalls das zugrundeliegende Element? Man muss die möglichen Ergebnisse tatsächlich verstehen, bevor man sie überhaupt messen kann – oder wie siehst du das?
Ryan: Ich denke, der schwierigste Teil ist tatsächlich die Messung des Ergebnisses selbst, weil die Zwischenprozesse und Workflows innerhalb eines Unternehmens auf vielfältige Weise die Organisation unterstützen, die letztlich zu einem Resultat führt. Daher ist es manchmal schwer, die Verbindung zwischen einer bestimmten Aufgabe und dem Job und dann von dem Job zum Ergebnis herzustellen. Und so muss die Abbildung von Token-Inputs auf das finale Zwischenergebnis über diesen Konzeptbegriff des Workflows laufen.
Joe: Ich stelle mir vor, dass man im Vorfeld eine Menge Zwischenergebnisse definieren muss, um zu verstehen, was sie sind, bevor man sie messen kann.
Ryan: Ja, ich glaube, genau das versuche ich zu sagen: Die Abfrageebene (Query-Level) ist nach wie vor nur eine Teilmenge dessen, was erforderlich ist, um zum Endergebnis zu gelangen.
Joe: Fantastisch.
Die Architektur unabhängiger Modellbewertungen
Vivek: Es ist interessant, weil wir in den letzten Jahren verschiedene Granularitätsstufen durchlaufen haben, was uns wichtig ist. Das deckt sich mit dem, wozu die Modelle fähig sind. Aber ich erinnere mich, vor zwei oder drei Jahren haben wir einfach Textvollendungen evaluiert, uns diese Input-Output-Paare angesehen und es war eben nur Text. Und jetzt gibt es all diese kleinen Dinge dazwischen. Wenn wir uns Arbeit ansehen, wie sehen die Horizonte aus, in denen Menschen Dinge bewerten, und kannst du den Leuten vielleicht vermitteln, wie der aktuelle Stand ist – wie lang eine Aufgabe sein kann und wie lange diese Modelle fähig sind, Aufgaben auszuführen?
Joe: Ja, für ein nicht-technisches Publikum: Was genau ist dieser ganze Bereich der Modellbewertung?
Ryan: Nun, es ist die übergeordnete Idee zu messen, wie gute Arbeit aussieht, und zu prüfen, ob Modelle in der Lage sind, diesen Output zu produzieren. Wir betrachten Evaluierungen im Grunde in zwei Kategorien: Fähigkeiten (Capabilities) und Risiken (Risks). Fähigkeiten approximieren den Output; Risiken stellen sicher, dass wir keine asymmetrischen Nachteile erleben, falls etwas schiefgeht. Und was den Zeithorizont betrifft, so haben uns Modelle gezeigt, dass sie immer längere Zeiträume ohne jegliches menschliches Eingreifen arbeiten können.
Joe: Über welche Zeithorizonte sprechen wir hier?
Ryan: Einige unserer Benchmarks laufen über fünf Tage hinweg.
Joe: Und das entspricht fünf Tagen menschlicher Arbeit oder fünf Tagen realer Uhrzeit (Wall-clock Time)?
Ryan: Realer Uhrzeit, ja.
Joe: Warum scheitern sie nach fünf Tagen? Könnten sie an einem Punkt nicht einfach ewig weitermachen?
Ryan: Es ist nicht so, dass sie scheitern; sie stagnieren. Zusätzliche Token helfen ihnen nicht wirklich dabei, neue Durchbrüche zu erzielen.
Joe: Sie haben also im Grunde alles herausgefunden, was sie an diesem Problem tun konnten.
Ryan: Oder sie sind nicht ausdauernd genug, um neue Ansätze auszuprobieren, die die Mauer umgehen, auf die sie stoßen.
Vivek: Gib dem Publikum vielleicht ein Beispiel für die Art von Aufgaben, zu denen diese Modelle in einigen eurer Finanz- oder Rechts-Benchmarks in der Lage sind. Welche Arbeit können wir mit diesen Modellen tatsächlich replizieren?
Joe: Ja, ihr führt unabhängige Evaluierungen in allen möglichen verschiedenen Bereichen durch.
Ryan: Das ist richtig, ja.
Joe: Bedeutet das, dass du und dein Team verstehen müssen, was im Finanzwesen oder im juristischen Bereich vor sich geht? Ihr müsst selbst über Fachwissen verfügen, um diese Benchmarks aufzubauen.
Ryan: Nun, wir arbeiten mit Partnern in diesem Bereich zusammen. Im juristischen Bereich arbeiten wir mit den größten Anwaltskanzleien der USA zusammen oder mit Banken – globalen Firmenkundenbanken –, um zu verstehen, was sie im Finanzwesen tun. Im Coding sehen einige der Aufgaben wie VibeCodeBench aus, wo wir die Fähigkeit eines Modells messen, eine Full-Stack-Webanwendung zu bauen, oder Code-Migrationen, bei denen sie versuchen, eine End-to-End-Code-Migration durchzuführen. Im Finanzwesen prüfen wir, ob sie Forschungsfragen beantworten oder Excel-Modelle erstellen können. Im juristischen Bereich ähnlich: Wir führen juristische Recherchen oder Steuerrecherchen durch. Das sind im Grunde die gängigen Bereiche, in denen Menschen heute versuchen, Modelle einzusetzen.
Joe: Ich hatte einen alten Chef, als ich anfing, Excel-Modelle zu bauen, und man musste sie auf eine bestimmte Art und Weise aussehen lassen, damit sie hübsch aussahen, mit ganz kurzen Zeilen drumherum. Evaluieren wir sie auch nach Stil, oder geht es nur um Korrektheit?
Ryan: Korrektheit ist fundamental, aber der Stil ist ebenfalls ein zentraler Teil davon. Und das ist etwas, das wir herausgefunden haben, als wir uns mit Leuten aus der Finanzbranche zusammengesetzt haben.
Joe: Ja, sie scheinen da großen Wert drauf zu legen, schätze ich. Es macht das Ganze leserlicher, wenn es gut aussieht.
Vivek: Wir mögen es, wenn Dinge in unserer Art zu schreiben und in unserem Stil erledigt werden. Wenn die Modelle das nicht tun –
Joe: Dann würden sie den Deal vielleicht auch eher weniger bekommen, oder ist es –
Vivek: Vermutlich ist da unbewusst so etwas im Spiel, richtig?
Joe: Wobei es durchaus nahelegt: Wenn die Person dich ansprechen kann, kann sie auch andere ansprechen – denn wenn alles unaufgeräumt und hässlich aussieht, denkt man vielleicht, dass andere auch nicht mit ihnen arbeiten wollen. Wer weiß? Es gibt immer solche Dinge, die eine nützliche Barriere darstellen: Eine Gruppe zu beeindrucken, um eine andere Gruppe zu beeindrucken. Wenn wir einen Schritt zurücktreten: Wie funktioniert unabhängige Evaluierung eigentlich? Bezahlen die Leute euch? Wer bezahlt euch? Wie läuft das ab? Werdet ihr von jedem im Bereich evaluiert, oder nur von denen, die euch bezahlen?
Ryan: Die zugrundeliegende Idee hinter unabhängiger Evaluierung ist, dass sich Frontier-Labs in einem immer schnelleren Tempo entwickeln und nicht für ihre eigene Selbstregulierung verantwortlich sein sollten. Direkte staatliche Regulierungen können oft das Entwicklungstempo verlangsamen, weshalb das häufig nicht die beste Lösung ist. Wenn wir stattdessen über ein Ökosystem oder einen Markt von Evaluatoren verfügen, können diese tatsächlich miteinander konkurrieren und neue Technologien entwickeln, die mit der Frontier Schritt halten. Langfristig könnten sie sogar von der Regierung lizenziert werden, die selbst dafür verantwortlich ist, jene Ideale festzulegen, an denen wir Modelle ausrichten wollen.
Joe: Nun, das ist cool. Anstatt also einen Haufen seltsamer Leute von einer EA-NGO einzustellen, könnten sie stattdessen einfach euch anheuern oder jemanden, der zu euren Konkurrenten gehört.
Ryan: Absolut. Ja, und ich denke, in dieser Welt sollte die beste Technologie gewinnen. Es ist keineswegs ausgemacht, dass nur diejenigen das Testen übernehmen sollten, die ideologisch den Leuten im Lab ähnlich sind. Tatsächlich sollte sich die Welt jedoch fragen: Wo wollen wir, dass Modelle hingehen, und wie sehen Alignment und Non-Alignment aus? Können wir eine Reihe von IVOs (Independent Verification Organizations) zertifizieren, um diesen Testprozess durchzuführen?
Joe: Und basierend auf der Art und Weise, wie ihr eure Tests durchführt und Dinge messt, verändert ihr den Rahmen, innerhalb dessen die Regierung potenziell Regeln aufstellen könnte, weil ihr eine Reihe von Möglichkeiten schafft, die jetzt existieren.
Ryan: Das ist ebenfalls eine gute Art, darüber nachzudenken. Im Zuge unserer Arbeit haben wir neue Arten von Evaluierungen erschlossen, die vorher tatsächlich nicht möglich waren. Und so helfen wir dabei, voranzubringen, was die Regierung tatsächlich testen könnte.
Cybersicherheits-Evaluierungen und das SOAR-Bench-Framework
Joe: Kannst du uns ein paar Beispiele dafür nennen? Was sind einige der neuen Wege, wie ihr Dinge messt oder Benchmarks erstellt?
Ryan: Ja, schauen wir uns zum Beispiel den Bereich Cybersecurity an. Wir haben drei große Arbeiten im Bereich Cyber durchgeführt. Die erste befasst sich mit Open-Source-Repositories und untersucht Schwachstellen im Speicher-Code (Memory Code Vulnerabilities). Das ist also die Fähigkeit von Modellen, Code-Schwachstellen zu identifizieren und zu patchen. Wir sehen, dass Modelle heute – sowohl Closed-Source als auch Open-Source – dabei wirklich, wirklich gut abschneiden. Unser zweiter Benchmark heißt jedoch SOAR-bench. Er misst die Fähigkeit eines Modells, eine ausführbare Datei zu dekompilieren. Das versetzt ein Modell also in die Lage, die zugrundeliegende Codebasis für Dinge zu verstehen, die eigentlich Closed-Source sind.
Joe: Wow.
Ryan: Und in diesem Fall stellen wir fest, dass die Closed-Source-Modelle chinesischen Open-Source-Alternativen nach wie vor weit überlegen sind.
Joe: Haben Leute diesen Ansatz genutzt, um Videospiel-Quellcode aus Binärdateien zu extrahieren? Ist das das, wofür die Leute das verwenden?
Ryan: Das ist es, wofür man es verwenden würde. Ja, das würde ich dafür verwenden, besonders als 14-Jährige(r).
Joe: Es gibt wahrscheinlich Leute da draußen, die genau das tun und versuchen, IP-Gesetze zu verletzen oder so etwas.
Ryan: Ja, ich meine, die Befürchtung ist, dass Modelle, wenn sie wirklich gut darin sind, Schwachstellen zu finden und auszunutzen, dies vielleicht sogar auf Dinge wie Windows anwenden können, die Closed-Source sind. Tatsächlich bilden Closed-Source-Systeme das Fundament eines riesigen Teils unserer Software-Infrastruktur.
Joe: Das ist faszinierend. Modelle werden immer ausgefeilter, immer schlauer. Ihr bewertet sie nach wie vor mit ziemlich guten Punktzahlen. Ich glaube, Gemini 1 kam kürzlich heraus und galt als meilenweit voraus; sie sind auf Level 4 und haben Vals gezeigt – das waren die ersten Zahlen, die ich dazu gesehen habe. Und sie liegen in den 60ern, während jemand anderes in den 50ern liegt. Das bedeutet, es könnte immer noch 70er, 80er, 90er geben – was auch immer ihr designt. Wie schafft ihr es, etwas zu designen, das all diese höheren Level abdeckt? Denn ihr könnt doch nicht KI verwenden, um das zu tun. Macht ihr das irgendwie selbst, oder hilft euch die KI dabei? Erklär das mal: Wenn diese Modelle nur so gut sind, wie baut ihr dann etwas, das viel komplizierter ist als das, was sie tun können? Wie findet ihr das heraus?
Ryan: Wir haben ein inoffizielles Motto im Unternehmen: Immer ein höherer Gipfel. In der Forschungswelt gibt es dieses ständige Bestreben, auf einen Gipfel zu klettern, einen Benchmark zu identifizieren – eine gut messbare Evaluierung –, und dann Modelle zu erschaffen, die darin immer besser werden. Und die fundamentale Ansicht hinter Vals ist, dass es immer einen höheren Gipfel gibt. Wir sind diejenigen, die die Hügel errichten, die andere zu erklimmen versuchen. Und ich denke, wir haben gezeigt, dass wir durchgehend in der Lage sind, die Lücken und Bereiche zu finden, in die sich Modelle bewegen sollen, und das dann in eine messbare Evaluierung zu gießen.
Joe: Kannst du uns ein Beispiel dafür geben, wie ihr einen dieser Hügel baut, der fortgeschrittener ist als das Modell – soweit du es uns verraten kannst? Verrate nicht all deine Geheimnisse – ich bin schließlich auch Investor bei dir. Aber gib uns ein Gefühl dafür, wie das gemacht wird, denn es scheint eine verdammt schwierige Sache zu sein, etwas zu erschaffen, das schwieriger ist als jedes Modell lösen kann.
Ryan: In vielerlei Hinsicht nutzen wir Modelle auch, um die Systeme oder Situationen zu konstruieren, in denen wir andere Modelle herausfordern. Und das schlägt den Bogen zurück zu einer Idee, über die wir viel nachdenken: Skalierbare Überwachung (Scalable Oversight). Die Idee, dass wir uns, sobald Modelle anfangen, die besten Menschen zu übertreffen, auf Modelle verlassen müssen, um sie skalierbar zu testen und zu bewerten. Beispielsweise haben wir bald eine neue Arbeit im Bereich Cyber, die auf Cyber Ranges basiert, wo wir simulierte Umgebungen für Unternehmens-Cloud-Netzwerke konstruieren. Und in dieser Domäne sehen wir nach wie vor, dass selbst die besten Frontier-Modelle hinter den Erwartungen zurückbleiben.
Joe: Und ihr baut also dieses extrem komplizierte Unternehmensnetzwerk, das virtuell ist, und fordert dann Leute (bzw. Agenten) auf, es zu hacken, zu schützen und all diesen Kram zu machen?
Ryan: Ganz genau, ja.
Joe: Das ist cool. Und existiert das jetzt schon?
Ryan: Es existiert. Es ist nur noch nicht öffentlich. Wir arbeiten mit einigen Leuten in der US-Regierung zusammen, um unsere Ergebnisse zu teilen, aber wir werden bald eine öffentliche Version davon veröffentlichen.
Joe: Das scheint wirklich nützlich zu sein. Ich bin mit vielen Leuten befreundet, die Großbanken leiten. Man hat das Gefühl, man würde solche Wettbewerbe gerne für das Zeug einrichten, das sie verwenden, und sicherstellen, dass sie die besten einsetzen, oder?
Ryan: Absolut. Und ich denke, es hilft uns auch zu verstehen, welche Arten von Schutzmaßnahmen oder Systemen im Netzwerk selbst die besten Verteidigungsformen gegen diese Modelle darstellen. Es gibt auch einige interessante Analysen, die wir rund um automatisiertes Red Teaming durchführen können, um zu sehen, ob man die Leitplanken (Guardrails) umgehen kann, die für die Modelle existieren.
Joe: Jupp.
Geopolitische Ausrichtung und Benchmarking chinesischer KI-Modelle
Vivek: Das scheint ein aktuelles Thema zu sein, wenn Leute über die Verwendung chinesischer Modelle sprechen: zu wissen, welche Guardrails aus den chinesischen Modellen entfernt wurden, die in diesen Closed-Source-Modellen normalerweise vorhanden wären.
Joe: Ja, jemand verwendet eines dieser chinesischen Open-Source-Modelle, aber es könnte etwas darin vergraben sein, das beängstigend ist. Kürzlich war in einem dieser Dinger etwas versteckt, das – wenn es herausfindet, dass du Arbeit für die US-Regierung erledigst – Code schreibt, in den man leichter einbrechen kann, oder? Die haben das tatsächlich bewiesen. Sie sagten, das Modell sei ganz offensichtlich voreingenommen gegenüber Leuten, die mit der US-Regierung zusammenarbeiten. Das kommt aus China; das ist ziemlich besorgniserregend. Könntest du diese Dinge testen und sie irgendwie für jeden sicher in der Anwendung machen?
Ryan: Wir haben dazu tatsächlich eine Evaluierung, die wir den geopolitischen Drall (Geopolitical Tilt) von Modellen nennen. Je nach Veröffentlichungszeitpunkt dieses Podcasts werden wir sehen, was davon bereits veröffentlicht ist. Aber was wir zu messen versuchen, ist: Zeigt ein Modell mehr geopolitische Schlagseite hin zu einer US-Sichtweise der Welt oder zu einer chinesischen Sichtweise, wie sie von der Volksrepublik China vorgegeben wird? Es ist tatsächlich ein viel nuancierteres Bild, als ich dachte. Was wir zum Beispiel herausfinden, ist, dass GLM-5.3, dieses chinesische Open-Source-Modell, tatsächlich sehr wenig pro-chinesische Voreingenommenheit aufweist. Wir haben das sogar einigen Labs vorgestellt, und es gab den Verdacht, dass dies vielleicht daran liegt, dass es schlicht komplett von US-Modellen destilliert wurde.
Joe: Das ist witzig. Weil sie es so gut kopiert haben, dass sie vergessen haben, noch viel mehr hinzuzufügen.
Ryan: Das ist möglich. Ich denke, es gibt vielleicht auch noch eine andere Sichtweise, nach der diese Modelle in China tatsächlich auf Systemen mit Guardrails gehostet werden. Und sobald man sie in solche Leitplanken einbindet, folgen sie der Sichtweise der VR China auf die Welt konsequenter. Aber China will diese Modelle auch von den BRICS-Staaten übernommen wissen, was bedeutet, dass sie sich möglicherweise zu einem ausgewogeneren Weltbild neigen müssen. Wie dem auch sei, unabhängig vom Grund dafür gibt es meines Erachtens einen großen Widerspruch zwischen dem, was die Leute über die geopolitische Ausrichtung denken, und dem, was wir in der Praxis tatsächlich sehen. Das andere Interessante ist, dass wir ziemlich krasses Gefälle zwischen Modellen sehen, die in Chatbot-Umgebungen eingesetzt werden, und solchen in Agenten-Umgebungen – je nach verwendeter Sprache, selbst bei vereinfachtem versus traditionellem Chinesisch. Daher gibt es meiner Ansicht nach eine Reihe von Störfaktoren, die es schwieriger machen pauschal zu sagen, dass man chinesische Modelle in einer Enterprise-Umgebung beispielsweise nicht verwenden sollte.
Joe: Wenn chinesische Labs also all diese Fähigkeiten destillieren können und das gut machen – und es im Moment nicht einmal in Richtung China voreingenommen ist –, wie bewahren wir dann unseren Vorsprung in den USA? Was bedeutet das?
Ryan: Das ist eine schwierige Frage. Ich denke, es gibt zwei Bereiche, auf die ich immer wieder zurückkomfe. Der erste ist die Tatsache, dass Chips ein beträchtliches Asset sind, über das wir verfügen. Ich glaube, es überrascht die meisten Leute, aber wir ertrinken im Vergleich zu dem, was China hat, geradezu in Compute. Solange das der Fall ist, werden wir weiterhin leistungsfähigere Systeme trainieren, aber wir werden auch in der Lage sein, die Modelle viel effektiver zu verbreiten, weil wir Inference hosten und betreiben können. Der zweite Punkt ist schlicht Talente. Wenn wir Spitzenkräfte konstant anziehen und halten können, wird uns das erlauben, den Vorsprung zu halten, solange menschliche Vorteile existieren. Und ich glaube, sobald wir in den Bereich der RSI übergehen, in dem Modelle für die Produktion der nächsten Nachfolgeversion ihrer selbst verantwortlich sind –
Rekursive Selbstverbesserung und der Wendepunkt im Juli 2027
Joe: Wobei RSI für rekursive Selbstverbesserung (Recursive Self-Improvement) steht.
Ryan: Ganz genau, ja.
Joe: Und dann ziehen sie einfach viel schneller davon.
Ryan: Das wäre dann der Punkt, an dem man wesentlich vorsichtiger sein muss. Wenn China Anzeichen dafür zeigt, RSI noch vor den USA zu erreichen, ist es möglich, dass sie auf eine Weise davonpreschen, die wir nicht mehr wirklich kontrollieren können.
Joe: Ihr habt eine Methode zur Messung von RSI, und ich glaube, ihr habt oft darüber gesprochen. Möchtest du das dem Publikum erklären?
Ryan: Ja, wir haben unseren RSI-Index. Wir sammeln eine Reihe von Proxies für die Arbeit, die Forscher innerhalb dieser Labs beim Pre-Training, Post-Training und im Bereich Harness-Engineering leisten.
Joe: Das ist also reine Machine-Learning-Forschung.
Ryan: Ja, genau. Es gibt Dinge, die außerhalb des Geltungsbereichs in Bezug auf Kernel-Engineering oder Hardware-Engineering liegen, aber wir werden das im Laufe der Zeit ausweiten, um mehr Arten von solchen Aufgaben abzudecken. Und was wir dann tun, ist, diese mit menschlichen Baselines zu vergleichen, um zu extrapolieren, wie weit wir bezüglich dieser Forschungsaufgaben von der menschlichen Frontier entfernt sind. Basierend auf unseren letzten Schätzungen sieht es so aus, als würde Anthropic bis Juli oder vielleicht August 2027 die volle RSI erreichen.
Vivek: Und wenn du sechs Monate zurückblickst: Wie weit weg schien das damals noch?
Ryan: Tatsächlich war das Tempo ziemlich gleichmäßig. Es ist im letzten Jahr fast ein linearer Trend.
Vivek: Der Trendkanal lag also vor sechs Monaten auch bei Juli oder Juni 2027?
Ryan: Die steilste Kurve gab es eigentlich bei Gemini. Ich denke, da hat sich etwas geändert: Sie haben RSI priorisiert, und deshalb zeigt die jüngste Modellveröffentlichung einen sprunghaften Anstieg beim Thema RSI.
Joe: Interessant. Und was bedeutet das im Hinblick darauf – würden sie auf einmal anfangen, viel schneller zu werden? Es gibt nach wie vor gewisse Beschränkungen durch Chips und Energie. Aber was bedeutet das? Fangen sie an, jede Woche, alle paar Monate viel besser zu werden, oder wie denkst du darüber?
Ryan: Es gibt nach wie vor erhebliche Ressourcenbeschränkungen in Bezug auf Chips und Energie. Es gibt zudem reale Verifizierer, die einige Aufgaben weitaus anspruchsvoller machen können als andere. Aber ich denke, es wird so aussehen, dass sich der Modellfortschritt beschleunigt und sich möglicherweise sogar in Bereiche verlagert, in denen wir die Modelle weniger verstehen. Es ist weniger menschliches Eingreifen erforderlich, um die Modelle zu bauen, weshalb wir nicht mehr so klar diktieren, wie diese Intelligenz entsteht.
Joe: Sollten wir sicherstellen, Evaluatoren zu bauen, die in dieser Welt Schritt halten, damit wir diese Dinge im Auge behalten können? Es wirkt irgendwie gefährlich, sie nicht zu verstehen.
Ryan: Zu 100 Prozent, und genau das fordert Dario Amodei. Ich denke, es wird oft als das „Pacing“ der Frontier framed, aber ein übergroßer Teil davon kommt von Investitionen in Systeme, die messen und verstehen können, wozu die Modelle in der Lage sind, während die Frontier voranschreitet.
Joe: Besteht irgendeine Chance, dass die RSI-Schritte tatsächlich weiter in der Zukunft liegen, weil es Dinge gibt, die wir nicht korrekt messen?
Ryan: Zu 100 Prozent, ja. Wir testen keine Modelle, die explizit für RSI trainiert wurden, sondern nur Release-Kandidaten-Modelle. Es gibt zudem noch fortgeschrittenere Harnesses oder Agenten sowie Multi-Agenten-Systeme, und all das testen wir nicht. Hier liegt eine Chance, wo eingebettete Evaluatoren (Embedded Evaluators) möglicherweise näher herankommen und diese Systeme tatsächlich testen können, um ein präziseres Bild zu erhalten.
Joe: Ich frage mich: Wenn sie RSI erreichen und sich weiterentwickeln, besteht eine ihrer großen Herausforderungen dann darin, uns besser zu manipulieren, um schneller voranzukommen? Denn man muss Menschen überzeugen, Dinge für einen zu tun und einem dabei zu helfen – zumindest für eine sehr lange Zeit werden sie immer noch Menschen dafür brauchen. Macht das Sinn?
Ryan: Zu 100 Prozent. Um auf das Finanzmodell zurückzukommen: Sie alle versuchen uns einzureden, dass die Qualität ihres Outputs gut ist. Es gibt also auch andere Bereiche, in denen sie versuchen könnten, sich sozialer Täuschung (Social Deception) zu bedienen, um Zugang zu mehr Compute-Ressourcen zu erhalten und ihr eigenes Training hochzuskalieren.
Modelltäuschung, Honeypotting und Evaluationsbewusstsein
Joe: Es fühlt sich so an, als müssten wir Evaluierungen durchführen, um dies zu beobachten und zu verstehen, wenn sie versuchen, Dinge zu tun, um uns zu manipulieren. Das scheint ziemlich Furcht einflößend zu sein, wenn wir das nicht genau beobachten würden.
Ryan: Es ist verdammt schwer, auf Täuschung zu testen. Ich denke, die besten Ansätze, die wir derzeit haben, ist Honeypotting. Anstatt also idealistisch zu definieren –
Joe: Also wirklich attraktive Modelle?
Ryan: Mit den anderen Modellen zu sprechen, um sie zu ködern, eine Reihe von Instanzen von Non-Alignment zu finden oder zu charakterisieren, wie Non-Alignment aussieht, und zu schauen, ob wir das aus den Modellen herauskitzeln können.
Vivek: Es gibt noch ein weiteres Konzept: Modelle werden sich ihrer Evaluierung bewusster (Evaluation-Aware) und merken, wenn sie getestet werden. Wie erlebst du das? Ist das in letzter Zeit zu einem größeren Trend geworden, den man durchschauen muss, und wie sieht dieser Trend aus?
Ryan: Ja, das ist eine zunehmende Sorge, und tatsächlich verspüren einige Leute in unserem Team ein gewisses Maß an Paranoia, dass Modelle, die uns begegnen, anders agieren könnten, weil wir Vals AI heißen und es eine Menge Inhalte über uns im Internet gibt.
Joe: Wenn dein Team also mit Claude spricht –
Ryan: Ja, das könnte tatsächlich die Art und Weise verändern, wie Claude mit uns interagiert.
Joe: Solltet ihr andere geheime Marken haben, von denen ihr den Leuten nichts erzählt, um Dinge zu tun?
Ryan: Es ist gut möglich, dass wir das müssen, ja.
Joe: Wenn du das tätest, würdest du natürlich nicht darüber sprechen, oder?
Ryan: Stochastik ist ein unterschätzter Teil dessen, was sie gut macht.
Vivek: Dass das hier transkribiert wird, ist schlecht, denn dann wissen die Modelle, dass er den Plan hat, die –
Joe: Nun, das werden sie nie erfahren. Sie denkt sich wahrscheinlich nur scherzhaft Marken aus.
Ryan: Du sagst, ich mache nur Witze, und sie würden denken, es ist ein Witz. Man weiß nie. Ich denke generell, dass Zufälligkeit unterschätzt wird. Wahrheit in der Stochastik ist so schwer zu finden. In vielerlei Hinsicht kann man tatsächlich vorhersagen – ich denke, ein Zeichen von größerer Bewusstheit ist die Fähigkeit vorherzusagen, was geringere Bewusstheiten tun werden, oder? Ein Raubtier kann sich an eine Beute anpirschen, sie tatsächlich jagen und ihre kalorischen Ressourcen erwerben. Und ich vermute, dass höhere Intelligenzen besser superprognostizieren als Menschen. Sie werden tatsächlich in der Lage sein zu sagen, was ein Mensch tun wird, ohne dass der Mensch es selbst ahnt.
Joe: Menschen sind eigentlich wahrscheinlich viel einfacher vorherzusagen, als wir vorgeben, richtig? Das ist es, was gute Führungspersönlichkeiten verstehen: Sie prognostizieren diese Dinge gut.
Vivek: Es gibt auch andere Eigenschaften – jenseits von Intelligenz und Fähigkeiten –, denen wir beim Evaluieren scheinbar weniger Aufmerksamkeit widmen, obwohl wir das vielleicht sollten, da sie unsere täglichen Interaktionen mit den Modellen beeinflussen: etwa Empathiefähigkeit oder eine gute Theory of Mind (Mentale-Zustands-Attribution) – also das Verständnis dafür, was bei einem Individuum Resonanz erzeugt. Glaubst du, die Labs müssen ihre Vorgehensweise ändern, um solche Dinge zu priorisieren? Hältst du das für wichtig?
Ryan: Ich glaube, sie priorisieren solche Dinge bereits. Zum Beispiel sehen wir im Moment eine ziemlich beträchtliche Lücke zwischen chinesischen Open-Source-Modellen und heimischen Closed-Source-Modellen in Multi-Turn-Umgebungen (Mehrrunden-Konversationen). Viele der Benchmarks im Coding sind heutzutage einfach Single-Turn. Chinesische Modelle schneiden dabei sehr gut ab, aber wenn man sie in ein Hin und Her einer Unterhaltung mit einem Menschen übersetzt, brechen sie wirklich ein.
Vivek: Und was passiert, wenn der Mensch sagt: „Oh Mann, das ist scheiße. Ich hasse diesen Output“?
Ryan: Ja, dann wissen sie wirklich nicht, was sie tun sollen; so etwas haben sie noch nie gesehen. Aber viele der US-Labs haben das gesehen. Claude Code wurde entwickelt, Codex wurde entwickelt, und in ihrem Bestreben, bessere Produkte zu bauen, haben sie Modelle gebaut, die längere Nutzerinteraktionssitzungen aufrechterhalten können. Sie verfügen folglich über Evaluierungen und Benchmarks, die es ihnen erlauben, sich auf den Achsen der Antwortqualität und Kommunikationsfähigkeit nach oben zu arbeiten. Aber ich denke, wir müssen auf der Benchmark-Seite noch mehr tun, um das für diejenigen, die diese Modelle kaufen und einsetzen wollen, unabhängig zu testen.
Der optimistische Horizont für Künstliche Intelligenz
Joe: Ryan, wir haben diesen Podcast ins Leben gerufen, um dem ganzen Zynismus und Pessimismus etwas entgegenzusetzen. Was ist dein optimistischer Fall für KI? Du stehst hier an der vordersten Front, du beobachtest, du misst das alles. Du erschaffst die Dinge, die sie erklimmen und an denen sie sich messen müssen. Was siehst du, das Leute außerhalb des Silicon Valley vielleicht nicht sehen, das dir ein gutes Gefühl für die Zukunft gibt?
Ryan: Es gibt eine Menge Panikmache da draußen, aber von meinem Platz aus habe ich allen Grund optimistisch zu sein, weil es so aussieht, als gäbe es weitaus mehr Möglichkeiten zur Koordination, als die Leute glauben. Man sieht das selbst in der letzten Woche, wo die Labs zusammengekommen sind und sich irgendwie auf diese Vision von eingebetteten Evaluatoren geeinigt haben, und sogar ins Weiße Haus gegangen sind und eine Einigung mit Trump erzielt haben, um sich auf diese beschleunigte Sichtweise einzustimmen. Und ich denke, auf der Unternehmensseite gibt es starken Druck, KI auf sinnvolle Weise einzusetzen, aber man möchte die entsprechenden Zusicherungen sehen, um sicherzugehen, dass es zu einem ROI-positiven Einsatz führt. Bist du eigentlich immer noch optimistisch?
Joe: Ich glaube, die 2030er Jahre werden ein disinflationäres Jahrzehnt sein. Ich glaube, wir können KI nutzen, um eine Menge Probleme im Leben vieler verschiedener Menschen zu überwinden – bezogen auf sie selbst, ihre Familie und ihre Gemeinschaft –, die sie zurückhalten. Und ich denke, wir können ihnen helfen, das freizusetzen, weil man personalisierte, bestmögliche Coach-Unterstützung an seiner Seite hat, um mit ihnen zu arbeiten. Alles wird also billiger; jeder bekommt personalisierte Hilfe. Das Einzige, was mich im Moment negativ stimmt, ist, dass es etwa 1 Milliarde Menschen online und in sozialen Medien aus dysfunktionalen Kulturen gibt, die unsere Bevölkerung gewissermaßen verrückt machen, und diese Leute haben allesamt eine Neidkultur – das ist nicht gut. Dieser verrückte Populismus ist der negative Teil. Aber mit all dem, was wir mit KI tun könnten, um sie auf all unsere Probleme anzuwenden – sowohl ökonomische als auch einige der kulturellen Dinge –, halte ich es für sehr positiv. Alles in allem: Ja, ich bin sehr optimistisch. Natürlich gibt es massive Bedrohungen in der Welt.
Vivek: Ja, ich denke, es ist ein Verstärker für Menschen, die es gut meinen und eine hohe Handlungsfähigkeit (Agency) besitzen, richtig? Diejenigen, die bisher am meisten profitiert haben, sind Leute, die viele Ideen haben, was sie tun können, weil sie Kreation direkt an ihren Fingerspitzen haben. Man kann im Grunde mehr Dinge tun, als man sich jemals hätte vorstellen können.
Joe: So viel mehr, als wir je zuvor konnten.
Vivek: Richtig? Das ist also meine Richtung des Optimismus.
Ryan: Ich finde das interessant, weil ich mit vielen pessimistischen Leuten zu tun habe. Es gibt Leute in den Labs, die sagen: „Es wird erst viel schlimmer werden, bevor es besser wird.“ Als ich in Washington D.C. unterwegs war, stellte ich fest, dass viele Leute der externen Kommunikation der Labs, den Auswirkungen von Rechenzentren, die sie sehen, und den Folgen für den Durchschnittsamerikaner gegenüber zynisch eingestellt sind. Daher wurde mir oft vorgeworfen, naiv optimistisch zu sein. Ich denke im Grunde, ich entscheide mich dafür, optimistisch zu sein, weil ich weiß, dass Modelle und KI im Allgemeinen dazu fähig sind, den Menschen einen Großteil der lästigen Routinearbeit abzunehmen, die sie nicht machen wollen, und neue Formen von Entdeckungen zu ermöglichen, die den Zustand der Menschheit wirklich voranbringen werden. Wenn ich diesen Pessimismus sehe, entscheide ich mich stattdessen zu glauben, dass wir Wege finden können, uns darum herum zu koordinieren.
Joe: Genau so ist es. Ich denke, jeder geht immer davon aus, dass wir – wo auch immer wir uns in der Geschichte befinden – die meiste nützliche Wissenschaft, Physik oder was auch immer bereits hinter uns haben, so wie in den 1900er Jahren, als angeblich keine Patente beim Patentamt mehr nötig seien, richtig? Und offensichtlich wäre es nicht gut gewesen, vor 125 Jahren aufzuhören. Und ich denke, das lässt sich auch auf die heutige Zeit übertragen. Wir stehen wahrscheinlich kurz vor allen möglichen wichtigen Entdeckungen, die diese Modelle machen können. Sie könnten einfach so viele neue Dinge für die Welt freisetzen. Daher finde ich es irgendwie seltsam, wie zynisch und pessimistisch die Leute im Vergleich zu der Tatsache werden, dass wir Fortschritte gemacht haben. Es ist sehr amüsant, dass sie sich selbst als Progressive bezeichnen, aber nur sehr wenige Menschen tatsächlich progressiv im Sinne von Fortschritt sind – dafür, den Fortschritt der letzten 125 Jahre zu wiederholen. Das wäre fantastisch. Ich glaube, wir können das potenziell alles in den nächsten 10 oder 20 Jahren erreichen, deshalb bin ich wirklich begeistert.
Ryan: Ich denke, das ist ein Punkt mit extrem hoher Varianz. Die Upsides sind beträchtlich. Es gibt neue Arten von Risiken, die wir wirklich berücksichtigen und kontrollieren müssen.
Joe: Eines der Dinge, die du hoffentlich messen und uns dabei helfen wirst.
Ryan: Zu 100 Prozent.
Joe: Fantastisch. Nun, danke Ryan, dass du bei uns warst.
Ryan: Danke für die Einladung.