DruckFin

Vals AI-transcript: Voorspelling van recursieve zelfverbetering tegen 2027 en de noodzaak van onafhankelijke modelevaluatie

American Optimist Podcast met Joe Lonsdale en Vivek Ramaswamy, 26 oktober 2026

Introductie van Ryan Christian en Vals AI

Herp hoorde dit en zei: 'Ik denk dat je behoorlijk naief bent. Je zou wat Machiavelli moeten lezen. Het is veel beter om gevreesd te worden dan om geliefd te zijn.' Er zijn tal van mooie verhalen over ons allemaal bij Vals. Het is een zeer unieke cultuur waar we bij Vals ook inspiratie uit hebben proberen te putten. Wat houdt die hele modelevaluatieruimte eigenlijk in? Onafhankelijke evaluatie is het idee dat frontier labs zich in een steeds hoger tempo ontwikkelen en niet zelf verantwoordelijk zouden moeten zijn voor hun eigen regulering. Jullie hebben een manier om RSI te meten. Het lijkt erop dat Anthropic volledig RSI zal bereiken tegen juli of misschien augustus 2027. De modelvoortgang zal versnellen en zal zich misschien zelfs verplaatsen naar gebieden die we minder goed begrijpen. Dat zou simpelweg behoorlijk eng zijn als we dat niet nauwlettend in de gaten hielden. Grotere intelligenties zullen beter superfocussen dan mensen. Ze zullen daadwerkelijk kunnen voorspellen wat een mens gaat doen, nog voordat de mens dat zelf weet.

Ryan Christian is de oprichter en CEO van Vals AI. Wanneer je een nieuw AI-model ziet verschijnen en die cijfers ziet waarin AI-modellen met elkaar worden vergeleken, worden die cijfers in veel gevallen gegenereerd door Vals AI. Ze zijn uitgegroeid tot een van de allerbeste evaluators van modellen. Dit is een fascinerend vakgebied omdat je voortdurend nieuwe bergen creëert die modellen moeten beklimmen. Dit vereist dat je echt begrijpt hoe je de vaardigheden van modellen kunt meten, evenals het evalueren van modelrisico's en het bedenken van nieuwe manieren om modellen op risico's te scoren. Dit betekent dat Ryan aan de absolute frontlinie staat van wat er gebeurt in de wereld van AI, waar AI naartoe gaat en hoe we vorm kunnen geven aan het overheidsbeleid om deze zaken te reguleren en hoe de modelbedrijven kunnen nadenken over zelfregulering. Hij creëert de kaders, concepten en maatstaven die de weg wijzen naar hoe AI er het komende decennium uit zal zien. Laten we naar hem luisteren. Welkom bij American Optimist. Ryan, hartelijk dank dat je vandaag bij ons bent.

Ryan: Bedankt dat ik hier mag zijn.

Joe: Oprichter en CEO van Vals AI.

Ryan: Vivek, bedankt dat je hier bent en me slimmer laat klinken.

Vivek: Uiteraard, ik ben hier om te helpen.

Ryan Christians achtergrond bij Stanford, Microsoft en Palantir

Joe: Welkom in de show. Laten we beginnen met wat achtergrondinformatie over jou. Je hebt computerwetenschappen gestudeerd aan Stanford. Je hebt volgens mij even bij Microsoft gewerkt. En daarna ben je al lang geleden bij Palantir gekomen. Wat bracht je ertoe om bij Palantir te gaan werken?

Ryan: Ja, bedankt dat ik hier ben. Het begon eigenlijk al een beetje toen ik bij Microsoft zat. Ik liep daar stage op de middelbare school, en toen kwam de BERT-paper van Google uit. Voor degenen die het niet weten: dit was een ontzettend belangrijke publicatie. Het toonde aan dat dit gegeneraliseerde systeem daadwerkelijk in staat was om topprestaties te leveren of succes te boeken op verschillende belangrijke NLP-benchmarks. En het was—

Joe: Leg voor onze niet-technische luisteraars eens uit wat NLP-benchmarks betekenen.

Ryan: Nou, het betekent in het kort dat er gespecialiseerde tests zijn bedacht. Mensen probeerden gespecialiseerde systemen te bouwen die daarop goed zouden scoren, zoals een meerkeuze-examen en vervolgens een sentimentanalyse.

Joe: Van natuurlijke taal.

Ryan: Ja, klopt. En in plaats van een gespecialiseerd systeem te bouwen dat goed presteerde op slechts één van deze taken, lieten ze zien dat ze een model hadden dat zeer algemeen inzetbaar was. Het bezat een fundamenteel begrip van taal, op een manier die vertaalbaar was naar al deze benchmarks. Plotseling stond het over de hele linie op nummer één.

Joe: Welk jaar was dat?

Ryan: Ik denk dat dat in 2018 of 2019 was.

Joe: Dat is al een hele tijd geleden. Een levenslang geleden, ja.

Vivek: In AI-termen is het bijna prehistorisch, maar het kwam in de buurt.

Ryan: Ja, het was een enorme doorbraak. En voor mij maakte dat heel duidelijk: dit is een illustratief moment voor de 'bitter lesson' (de bittere les): het idee dat, ongeacht wat we proberen te doen en hoe we onszelf voor de gek houden met algoritmische optimalisaties, het simpelweg hebben van meer data op grotere schaal is wat ons in staat stelt om nieuwe vormen van intelligentie te ontsluiten. Het was me toen dus glashelder dat we een krachtig model of soortgelijke systemen zouden krijgen, die een essentieel onderdeel van de fundamenten van onze samenleving zouden vormen. En ik zag ook manieren waarop de modellen misbruikt zouden kunnen worden. Rond dezelfde tijd, toen ik bij Microsoft zat, las ik *Zero to One*. En het werd steeds duidelijker dat mensen bij Palantir probeerden de technologie zo vorm te geven dat de burgerlijke vrijheden of de westerse democratische idealen in brede zin werden beschermd. Ik was dus ontzettend enthousiast om bij Palantir te werken om te zien hoe de technologie tot leven kwam en werd toegepast op een manier die strookte met mijn waarden. Ik ging dus naar Stanford voor mijn bachelor, raakte afgeleid door wat onderzoek aldaar, publiceerde enkele papers en lag min of meer op koers om te promoveren, maar ik maakte ook tijd vrij om een zomer lang bij Palantir te werken en dat was eveneens een buitengewoon verhelderende ervaring.

Lessen van Alex Karp en het project voor omgekeerd zoeken op afbeeldingen tijdens de hackathon

Joe: Je noemde dat je nog iets anders hebt geleerd bij Palantir van Karp. Nog meer interessante zaken daar?

Ryan: Ja, er zijn talloze mooie verhalen uit de tijd dat ik bij Palantir zat. Het is een zeer unieke cultuur waar we bij Vals ook inspiratie uit hebben proberen te putten. Maar goed, terwijl ik daar was, kreeg ik de kans om aan dit hackweek-project te werken. Dit was in essentie een idee dat ik had bedacht samen met een gast in London. We waren er op afstand over aan het praten. Ik ben erheen gevlogen en had wat werk verricht met CLIP, dit gezamenlijke beeld-tekst embedding-model.

Joe: Leg even uit wat dat is voor het publiek.

Ryan: Het idee van een enkel model dat zowel beelden als tekstinvoer kan encoderen naar hetzelfde semantische begrip, toch? En wat we probeerden te bouwen was een functie voor omgekeerd zoeken op afbeeldingen binnen Gotham. Dus in plaats van alleen tekstqueries te typen, kon je een afbeelding van bijvoorbeeld een blauwe auto uploaden, waarna het systeem door de hele database zocht om blauwe auto's op te vissen waarnaar je op zoek was. En dat werkte doordat we gebruikmaakten van dezelfde onderliggende embedding-ruimte voor dit model, dat tekst aan afbeeldingen koppelde. Hoe dan ook, dit was een onderzoekspaper dat ik had gepubliceerd, en ik wilde aan de slag om hier een echte functionaliteit van te bouwen. We kregen zelfs fulltime medewerkers in ons team, dus als stagiair leidde ik dit kleine team van Palantirians, en dat was een opwindende ervaring. Ik heb een groot deel van die week niet geslapen. Dit idee werd vervolgens geselecteerd als finalist, waarna we het mochten presenteren aan het hele bedrijf. En nadat ik was vertrokken, hebben ze er zelfs patent op aangevraagd en het daadwerkelijk in een product gegoten. Het was krankzinnig om te zien hoe dit kleine ideetje van mij en het onderzoek waar ik vóór Palantir aan werkte, onderdeel werd van het product en van intellectueel eigendom dat ze wilden beschermen. Maar goed, hierdoor kreeg ik ook de kans om Karp te ontmoeten en even met hem te praten. Ik had een vraag voor hem: het leek er namelijk op dat de reputatie van Palantir zo negatief was. Ik zat op Stanford en daar waren veel protesten —

Joe: En jij stond erg positief tegenover de waarden, maar de perceptie van buitenaf was simpelweg negatiever dan je had verwacht.

Ryan: Ja, precies. Voor mij stond als een paal boven water dat het aan de kiezers is — de mensen die we daadwerkelijk in macht verkiezen — om te beslissen hoe we technologie willen gebruiken en wat de onderliggende waarden daarvan moeten zijn. Het is niet echt aan technologiebedrijven om te bepalen waar die technologie wel of niet mag worden ingezet. De mensen daar dachten daar heel zorgvuldig over na. Sterker nog, waar we het vandaag de dag hebben over uitdagingen rond 'alignment' (richtingsafstemming), spraken mensen bij Palantir daar toen al over als mens-AI-symbiose. Dat was iets wat toen al besproken werd. Of neem de taxonomie voor intelligentie: we hebben nu een systeem van evaluaties en benchmarks dat dat min of meer nabootst. Ik denk dus dat er fundamentele problemen waren waar mensen diep over nadenken. En het verbaasde me dat de ontvangst van het bedrijf naar buiten toe zo negatief was, waarbij werd gesproken over wellicht kwalijke potentiële toepassingen van de technologie op basis van een zeer versimpeld begrip daarvan, terwijl Palantir nota bene ook hielp bij de distributie van het covid-vaccin en tal van ziekenhuizen ondersteunde. Er waren dus genoeg andere casestudies om te noemen. En Karp hoorde dit aan en zei: "Nou, ik denk dat je behoorlijk naïef bent. Je zou wat Machiavelli moeten lezen. Het is veel beter om gevreesd te worden dan om geliefd te zijn." En inderdaad maakte hij vergelijkingen met andere adviesbureaus en stelde hij min of meer dat als ze bang voor ons zijn, ze op zijn minst denken dat we krachtig zijn. Dus in een moment van nood zullen ze naar mensen zoals wij toekomen. Dat was fascinerend. En het doet me in feite erg denken aan wat ik vandaag de dag zie bij de labs, namelijk enerzijds een oprechte angst voor waartoe de modellen in staat zijn, maar in veel opzichten ook een kans voor hen om de kracht te tonen van wat ze aan het bouwen zijn.

Joe: Het zou zomaar opzettelijk kunnen zijn dat Dario wil dat ze gevreesd worden, als hij hierover nadenkt.

Ryan: Of het nu gaat om Dario of Sam, ik zie krantenkoppen waarin mensen dingen zeggen als dat het algemene publiek het recht heeft om bang te zijn. En ik denk niet dat dat een rationele manier is voor een leider om te handelen. Deze show heet *American Optimist*. Ik ben eigenlijk behoorlijk optimistisch en handel rationeel door in te zien dat de vruchten van AI veel positiever zullen zijn.

Wetenschappelijke ontdekkingen, het oplossen van cijferschriften en verificatieknelpunten

Joe: Laten we, voordat we dieper duiken in Vals en de wetenschap van het evalueren van AI-modellen, eens praten over de stand van de AI-vooruitgang en waar we nu staan. Sterker nog, je vertelde me dat je Fable van Anthropic hebt gebruikt om een 370 jaar oud cijferschrift te ontcijferen. Een 370 jaar oud cijferschrift, wat is dat precies?

Ryan: Klopt, ja. We voeren momenteel allerlei verschillende soorten evaluaties uit, en ik denk dat op de plekken waar de frontlinie zich naartoe beweegt, wetenschappelijke ontdekkingen of nieuwe doorbraken een spannend grensgebied vormen. We zijn daarom bezig geweest met het samenstellen van een verzameling onopgeloste cijferschriften, wiskundige problemen en natuurkundige vraagstukken.

Joe: Wat betekent een onopgelost cijferschrift voor de luisteraar? Wat houdt dat in?

Ryan: Het is in essentie een code die je probeert te kraken, maar je hebt de sleutel niet om hem te ontcijferen. Je moet dus de vertaalslag van brontekst naar originele tekst zelf construeren en erachter komen wat de boodschap daadwerkelijk is.

Vivek: In veel van dit soort gevallen ging het om berichten die werden verstuurd van wereldleider naar wereldleider, of die op een piraatsschip zijn aangetroffen.

Ryan: Jazeker.

Joe: Omdat er sprake kan zijn van een one-time pad of iets dergelijks, in welk geval je het niet kunt breken omdat het een one-time pad is — ze hebben allebei een kopie ervan, en dan zou het waarschijnlijk onmogelijk zijn omdat elke tekenreeks anders vertaalt —

Ryan: Potentieel wel, maar je kunt ook meer aanwijzingen halen uit hoe de persoon het probleem heeft opgebouwd of welke boodschap hij probeerde over te brengen aan de ander. Meestal zijn de berichten zo geconstrueerd dat ze bedoeld zijn om door de ontvanger gekraakt te worden.

Joe: Een cynische blik op de AI-vooruitgang van dit moment zou kunnen zijn dat AI erg goed is in het doorzoeken van al die zoekruimten, en dat bepaalde problemen kunnen worden opgedeeld in van die ontzettend grote zoekruimten waar geen enkel mens de tijd of capaciteit voor heeft om er miljoenen van door te ploegen. Terwijl je bij een cijferschrift bijvoorbeeld gewoon kunt beginnen met — als ik een cijferschrift zou proberen te kraken, zou ik denken: "Wat als ik nu simpelweg getallen aan elk van deze tekens toevoeg of ze één positie opschuif, of iets dergelijks?" Ik zou de voor de hand liggende opties verkennen, terwijl een computer miljoenen van dit soort zaken razendsnel kan doorzoeken. Zijn veel van de doorbraken in wiskunde en wetenschap dan simpelweg het gevolg van iemand die een zoekruimte beter definieert om doorheen te zoeken, of is er sprake van meer creatief denkwerk vanuit het model?

Ryan: Een groot deel van de opgeloste problemen is opgelost door uitputting, of doordat het model probeert een tegenvoorbeeld te vinden waarbij je wordt beperkt door je vermogen om talloze verschillende tegenvoorbeelden te testen. Maar ik zou die categorie problemen niet zomaar willen bagatelliseren. Er zijn genoeg dingen waar mensen een mensenleven over zouden doen puur op basis van uitputting, die wij nu binnen enkele uren door modellen zien worden opgelost.

Joe: Lost de AI dan in het algemeen een hoop wiskunde- en wetenschapsproblemen op, of hoe moeten we hiernaar kijken?

Ryan: Het lost over het algemeen extreem uitdagende problemen op, en ik denk dat er nog steeds een grote categorie problemen is waar menselijke inspanning het knelpunt vormt. Ik denk dat er een aanhoudender inspanning nodig is om daadwerkelijk vooruitgang te boeken op uitzonderlijk vernieuwende manieren, zoals op manieren die intuïtie voor de oplossing vereisen. En dat soort vaardigheden die mensen in de loop der tijd hebben opgebouwd, zijn momenteel erg moeilijk over te dragen aan modellen.

Vivek: Het lijkt er ook op dat modellen deze ongelooflijke resultaten produceren, en we erkennen dat die resultaten er zijn, zoals Navier-Stokes en de outputs die het model genereert. Ze zijn echter zeer ondoorgrondelijk; ze zijn moeilijk te ontleden, lastig te begrijpen. Hoe kijk jij aan tegen hoe ontdekkingen zouden moeten plaatsvinden in deze minder verifieerbare domeinen, of wat moet er veranderen aan de manier waarop deze modellen zich gedragen willen we hun ontdekkingen kunnen vertrouwen?

Ryan: Ja, ik denk dat dit een van de grootste knelpunten is, met name wanneer je de frontlinie van de menselijke intelligentie nadert. Het is ontzettend lastig voor ons om die mensen in te schakelen en vervolgens te verifiëren of die lange output feitelijk juist is.

Vivek: Ja.

Ryan: Een van de populairste technieken in de wiskunde die volgens mij ook naar andere gebieden kan worden vertaald, is het gebruik van een verifieerbare taal zoals Lean. Dit zou een wereld zijn waarin je de output kunt nemen en kunt vertalen naar een taal die, mits deze compileert, wel waar *moet* zijn. We bouwen dan voort op primitieven waarvan we zeker weten dat ze kloppen. Die benadering is mogelijk ook toepasbaar in andere vakgebieden zoals de fysica of programmeren. We zullen vast ook situaties zien waarin de echte wereld de beste verificateur is. Door een assay of een 'wet lab'-experiment uit te voeren, weten we immers absoluut zeker of de eigenschappen die het model voorspelde ook daadwerkelijk kloppen.

Vivek: Logisch. En hoe denk jij dat de labs, julliezelf of andere organisaties deze experimenten en verificaties zouden moeten uitvoeren?

Ryan: Nou, op zijn minst zeer zorgvuldig. Ik denk dat het cruciaal wordt dat er derde partijen zijn die dit kunnen ondersteunen, en dat is ook de visie achter Vals zelf. We leven nu in een wereld waarin de toegang tot modellen in de verschillende labs feitelijk beperkt is. Onderzoekers van Anthropic hebben moeite om OpenAI-modellen te evalueren en vice versa, en dat is min of meer zo ontworpen. Maar dat betekent wel dat het ontzettend lastig is om een zuivere 'appels-met-appels'-vergelijking te maken, omdat de beste mensen die deze evaluaties uitvoeren vaak dezelfde mensen zijn die al bevooroordeeld binnen die labs werken.

Automatisch benchmarken van bedrijfsworkflows en het definiëren van kwaliteit

Joe: Ja. En als we even een stap terugdoen: er zijn allerlei dingen die AI nu kan die het voorheen niet kon. En een belangrijk onderdeel daarvan is natuurlijk begrijpen hoe je dat moet meten. We gaan zo dertig centimeter dieper op in; dat is immers wat jullie doen. Een van de meetproblemen op een heel hoog niveau is dat je in het bedrijfsleven moet meten wat goed werk is of hoe goed het werk is, toch? Als het bijvoorbeeld om een advocatenkantoor gaat, kun je misschien werk op juniorniveau (associate-niveau) definiëren en werk op partnerniveau. Hoe definieer je zoiets überhaupt? Is dat een probleem waar we aan werken? Wordt AI beter in het begrijpen wat wat is?

Ryan: Dat is ontzettend uitdagend. Ik denk dat we dat op menselijk niveau op heel veel vlakken nog niet eens hebben opgelost. We hebben geen heel duidelijke afbakening voor wat werk op juniorniveau is versus partnerniveau.

Joe: Het Hooggerechtshof zei over wat pornografie is: 'Je herkent het meteen als je het ziet', toch? Dat was de bekende uitspraak. Het is zoiets.

Ryan: Ja, grappig genoeg is dat bijna exact wat Ben Horowitz zei in de show van a16z.

Joe: Misschien delen jullie een brein of zo.

Ryan: Dat is grappig. Nou ja, het is de juiste analogie, toch? Maar het is jouw taak om uit te zoeken en te definiëren wat dit soort dingen inhouden.

Ryan: Ja, klopt. Ik denk dat je dit kunt aanpakken via een sterk op consultancy gerichte benadering waarbij je met iemand gaat zitten, probeert te begrijpen wat 'goed' eruitziet, dat vertaalt naar herhaalbare evaluaties en die vervolgens uitvoert. En ik denk dat evaluaties op die traditionele manier zijn opgebouwd. De benadering waar ik echt optimistisch over ben, is het idee van 'auto-benchmarking'. Het tempo van de modelvoortgang houdt aan en we krijgen steeds capabelere modellen, waardoor het onderliggende werk zelf ook moet veranderen. Waar ik erg enthousiast over ben, is het idee dat je het eerdere werk dat al door mensen is verricht kunt nemen en de kwaliteit van de output die door modellen in dat hypothetische scenario zou zijn geproduceerd, kunt benaderen. Op die manier kun je systematisch evaluaties bouwen van al het werkproduct dat al is geleverd. Om een voorbeeld te noemen: je zou naar een GitHub-repository kunnen kijken en naar de eerdere pull requests die door mensen zijn gemerged, om te zien of agents dat op vergelijkbare wijze zouden kunnen doen, en zo ja, welke dat dan op de meest kostenefficiënte manier zou doen. En ik denk dat daar parallellen voor bestaan in het juridische contractbeoordelingsproces of het diagnostische proces in de geneeskunde.

Joe: Leid dit terug naar een ontologie van workflows en uitkomsten die je moet definiëren om dit allemaal te laten werken? Is dat ook een beetje het onderliggende element? Je moet de mogelijke uitkomsten daadwerkelijk begrijpen voordat je ze überhaupt kunt meten, of hoe kijk je daar tegenaan?

Ryan: Ik denk dat het allerlastigste gedeelte feitelijk het meten van de uitkomst zelf is, omdat de tussentijdse processen en workflows binnen een bedrijf op allerlei manieren bijdragen aan de organisatie die vervolgens tot een uitkomst komt. Het is soms lastig om de verbinding te leggen tussen een specifieke taak en de functie, en vervolgens tussen de functie en het uiteindelijke resultaat. De mapping van de invoer van tokens naar de uiteindelijke tussentijdse output moet dus door dat concept van een workflow heen.

Joe: Ik kan me voorstellen dat er tal van tussentijdse uitkomsten zijn die je van tevoren moet definiëren om te begrijpen wat ze inhouden voordat je ze kunt meten.

Ryan: Ja, ik denk dat dat is wat ik probeer te zeggen: het niveau van een enkele query is nog steeds slechts een subset van wat er nodig is om bij de uiteindelijke uitkomst te komen.

Joe: Geweldig.

De architectuur van onafhankelijke modelevaluaties

Vivek: Het is interessant omdat we de afgelopen jaren verschillende niveaus van granulariteit hebben doorlopen in wat we belangrijk vinden. Dat sluit aan bij waartoe de modellen in staat zijn. Maar ik herinner me dat we twee of drie jaar geleden nog puur tekstaanvullingen evalueerden; we keken naar die input-outputparen en het was uitsluitend tekst. En nu zijn er al die kleine elementen daartussenin. Als we naar werk kijken, wat zijn dan de tijdhorizonten waarop mensen zaken evalueren, en kun je mensen misschien iets bijbrengen over de huidige stand van zaken met betrekking tot hoe lang een taak duurt en hoe lang deze modellen in staat zijn om taken uit te voeren?

Joe: Ja, voor een niet-technisch publiek: wat houdt die hele modelevaluatieruimte eigenlijk in?

Ryan: Nou, het is het brede idee van meten hoe 'goed' eruitziet en nagaan of modellen in staat zijn om die output te produceren. We denken over evaluaties na in min of meer twee categorieën: capaciteiten en risico's. Capaciteiten zijn een benadering van de output; risico's zorgen ervoor dat we geen asymmetrische nadelen tegenkomen als er iets misgaat. En wat betreft de tijdhorizonten: modellen hebben ons inmiddels gedemonstreerd dat ze steeds langere periodes zelfstandig kunnen doordraaien zonder enige menselijke tussenkomst.

Joe: Over wat voor tijdhorizonten hebben we het dan?

Ryan: Sommige van onze benchmarks draaien wel vijf dagen lang.

Joe: En staat dat dan gelijk aan vijf dagen menselijk werk, of vijf dagen echte kloktijd?

Ryan: Echte kloktijd, ja.

Joe: Waarom falen ze na vijf dagen? Zouden ze op een gegeven moment niet gewoon voor eeuwig door kunnen gaan?

Ryan: Het is niet zo dat ze falen; het is dat ze op een plateau belanden. Extra tokens helpen hen niet langer om nieuwe doorbraken te bereiken.

Joe: Dus ze hebben als het ware alles bedacht wat ze op dat probleem konden loslaten.

Ryan: Of ze zijn niet vasthoudend genoeg om nieuwe benaderingen te proberen die om de muur heen werken waar ze tegenaan lopen.

Vivek: Geef het publiek misschien een voorbeeld van het soort taken waartoe deze modellen in staat zijn in jullie financiële of juridische benchmarks. Welk werk kunnen we daadwerkelijk repliceren met deze modellen?

Joe: Ja, jullie voeren onafhankelijke evaluaties uit op allerlei verschillende terreinen.

Ryan: Klopt, ja.

Joe: Betekent dat dat jij en je team moeten begrijpen wat er in de financiële wereld of de juridische sector gebeurt? Moet je zelf ook over die expertise beschikken om deze benchmarks te bouwen?

Ryan: Nou, we werken samen met partners in deze sectoren. Aan de juridische kant werken we samen met de grootste advocatenkantoren in de VS, of met banken — wereldwijde zakenbanken — om te begrijpen wat ze in de financiële wereld doen. Bij coderen zien sommige taken eruit als VibeCodeBench, waarbij we het vermogen van een model meten om een full-stack webapplicatie te bouwen, of codemigraties waarbij ze een end-to-end codemigratie proberen uit te voeren. In de financiële sector kijken we of ze onderzoeksvragen kunnen beantwoorden of Excel-modellen kunnen bouwen. In de juridische sector is het vergelijkbaar: we voeren juridisch onderzoek of belastingonderzoek uit. Dit zijn zo de gangbare gebieden waar mensen vandaag de dag modellen proberen in te zetten.

Joe: Ik had een oude baas toen ik voor het eerst Excel-modellen bouwde, en die moesten er op een bepaalde manier uitzien, anders waren ze niet 'mooi', met van die heel korte rijen eromheen. Evalueren we ze ook op stijl, of gaat het puur om juistheid?

Ryan: Juistheid is fundamenteel, maar stijl is eveneens een cruciaal onderdeel hiervan. En dat is ook iets wat we ontdekten door naast mensen uit de financiële wereld te gaan zitten.

Joe: Ja, daar schijnen ze echt om te geven, gok ik. Het maakt het er wel leesbaarder op als het er goed uitziet.

Vivek: We vinden het fijn als dingen worden gedaan op onze manier van schrijven en in onze stijl. Als de modellen dat niet doen —

Joe: Dan zijn ze ook minder geneigd om de deal te sluiten, of is het —

Vivek: Waarschijnlijk zit er zoiets achter, op een onderbewust niveau toch?

Joe: Al suggereert het wel dat als iemand jou weet te overtuigen, diegene ook anderen kan overtuigen, want als het er allemaal slordig en lelijk uitziet, denk je misschien dat andere mensen er ook niet mee willen samenwerken. Wie zal het zeggen? Er zijn altijd van dit soort elementen die een nuttige barrière vormen: de ene groep imponeren om daarmee de andere groep te imponeren. Om even een stap terug te doen: hoe werkt onafhankelijke evaluatie nu eigenlijk? Betalen mensen jullie? Wie betaalt jullie? Hoe werkt het? Mogen jullie iedereen in de sector evalueren, of alleen degenen die jullie betalen?

Ryan: De gedachte achter onafhankelijke evaluatie is dat frontier labs zich in een steeds hoger tempo ontwikkelen en niet zelf verantwoordelijk zouden moeten zijn voor hun eigen regulering. Directe overheidsregulering kan het ontwikkelingstempo vaak vertragen, en daarom is dat doorgaans niet de beste oplossing. Als we daarentegen een ecosysteem of een markt van evaluators hebben, kunnen die onderling concurreren en nieuwe technologieën ontwikkelen die gelijke tred houden met de frontlinie. Op termijn kunnen ze zelfs worden gecertificeerd door de overheid, die op haar beurt verantwoordelijk is voor het vaststellen van de reeks idealen waarnaar we modellen willen afstemmen.

Joe: Nou, dat is gaaf. Dus in plaats van een stel rare figuren van een effectieve-altruïsme-ngo in te huren, kunnen ze in plaats daarvan jou inschakelen, of iemand kan een van jullie concurrenten zijn.

Ryan: Totaal. Ja, en ik denk dat in die wereld de beste technologie hoort te winnen. Het is niet vanzelfsprekend dat alleen degenen die ideologisch gelijkgestemd zijn aan de mensen in het lab degenen moeten zijn die de tests uitvoeren. Integendeel, ik denk dat de wereld zich zou moeten afvragen: waar willen we dat modellen naartoe gaan, en hoe zien alignment en misalignment eruit? Kunnen we een set IVO's (independent verification orgs) certificeren om dat testproces uit te voeren?

Joe: En door de manier waarop jullie testen en dingen meten, veranderen jullie het speelveld waarbinnen de overheid mogelijk regels kan opstellen, omdat jullie een reeks nieuwe mogelijkheden creëren die nu bestaan.

Ryan: Dat is ook een goede manier om ernaar te kijken. Tijdens ons werk hebben we nieuwe soorten evaluaties ontsloten die voorheen simpelweg niet mogelijk waren. Daarmee helpen we de overheid te bevorderen op welke gebieden ze daadwerkelijk kunnen testen.

Cyberbeveiligingsevaluaties en het SOAR-Bench-framework

Joe: Kun je ons daar enkele voorbeelden van geven? Wat zijn enkele van de nieuwe manieren waarop jullie dingen meten of benchmarks creëren?

Ryan: Ja, laten we cybersecurity als voorbeeld nemen. We hebben drie grote projecten op het gebied van cybersecurity gedaan. Het eerste richt zich op open-source repositories en onderzoekt kwetsbaarheden in geheugenbeveiliging (memory code vulnerabilities). Dat betreft het vermogen van modellen om codekwetsbaarheden te identificeren en te patchen. We zien dat modellen tegenwoordig erg, erg goed presteren, zowel closed-source als open-source. Maar onze tweede benchmark heet SOAR-bench. Die meet het vermogen van een model om een uitvoerbaar bestand (executable) te decompileren. Dit stelt een model in staat om de onderliggende codebase te doorgronden van systemen die in feite closed-source zijn.

Joe: Wauw.

Ryan: En in dat geval zien we dat de closed-source modellen nog steeds ver boven de Chinese open-source alternatieven uitstijgen.

Joe: Hebben mensen deze aanpak gebruikt om de broncode van videogames te achterhalen uit binaire bestanden? Is dat waar mensen dit voor gebruiken?

Ryan: Dat is waar je het voor zou kunnen gebruiken, ja. Dat is waar ik het voor zou gebruiken, zeker als 14-jarige.

Joe: Er zijn vast mensen die dat doen en proberen de wetgeving rond intellectueel eigendom te schenden of zoiets dergelijks.

Ryan: Ja, ik denk dat de angst is dat als modellen erg goed zijn in het vinden en exploiteren van kwetsbaarheden, dat wellicht ook van toepassing kan zijn op zaken als Windows, dat closed-source is. En closed-source systemen vormen nu eenmaal het fundament van een enorm deel van onze software-infrastructuur.

Joe: Het is tamelijk fascinerend. Modellen worden steeds geavanceerder, steeds slimmer. Jullie blijven ze beoordelen alsof ze een erg goede score halen. Ik meen dat Gemini 1 onlangs naar buiten kwam als zijnde ver voorop; ze zitten op niveau 4 en lieten Vals zien — dat waren de eerste cijfers die ik erover zag. En zij scoren in de 60, terwijl iemand anders in de 50 zit. Dat betekent dat er nog steeds ruimte is voor 70, 80, 90, of wat je ook maar ontwerpt. Hoe ontwerpen jullie in vredesnaam iets dat al die hogere niveaus omvat? Want jullie kunnen geen AI gebruiken om dat te doen. Doen jullie dat op een of andere manier zelf, of helpt AI jullie daarbij? Leg dit eens uit: als deze modellen slechts zo goed zijn, hoe creëer je dan iets dat veel ingewikkelder is dan wat zij aankunnen? Hoe krijg je dat voor elkaar?

Ryan: We hanteren een onofficieel motto binnen het bedrijf: *always a higher peak* (altijd een hogere top). In de onderzoekswereld is er een voortdurende drang om de berg te beklimmen, een benchmark te identificeren, een heldere evaluatie op te stellen en vervolgens modellen te creëren die daar steeds beter in worden. De fundamentele visie achter Vals is dan ook dat er altijd een hogere top is. Wij zijn degene die de heuvels bouwen die andere mensen vervolgens proberen te beklimmen. We hebben naar mijn idee aangetoond dat we er consistent in slagen om de hiaten en de plekken te vinden waar we modellen naartoe willen zien bewegen, om dat vervolgens te vertalen naar een heldere evaluatie.

Joe: Kun je ons een voorbeeld geven van hoe jullie zo'n heuvel bouwen die geavanceerder is dan het model — voor zover je dat kunt vertellen? Verraad niet al je geheimen — ik ben immers ook investeerder in jullie. Maar geef ons een idee van hoe dit in zijn werk gaat, want het lijkt me ontzettend moeilijk om iets te maken dat moeilijker is dan welk model dan ook kan oplossen.

Ryan: In veel opzichten gebruiken we zelf ook modellen om de systemen of situaties op te tuigen waarmee we andere modellen uitdagen. Dit sluit aan bij een idee waar we veel over nadenken: *scalable oversight* (schaalbaar toezicht). Het idee dat naarmate modellen de beste mensen beginnen te overvleugelen, we zullen moeten vertrouwen op modellen om hen op een schaalbare manier te testen en te beoordelen. We hebben bijvoorbeeld binnenkort een nieuw project op het gebied van cybersecurity dat uitkomt, gebaseerd op 'cyber ranges', waarbij we gesimuleerde omgevingen voor enterprise cloud-netwerken optuigen. In dat domein zien we nog steeds dat zelfs de beste frontier-modellen tekortschieten.

Joe: En jullie gaan dus dit ontzettend ingewikkelde bedrijfsnetwerk bouwen dat virtueel is, en vervolgens mensen uitdagen om dat te hacken, te beschermen en dat soort zaken?

Ryan: Klopt, ja.

Joe: Dat is gaaf. En bestaat dat momenteel al?

Ryan: Het bestaat wel, maar het is nog niet openbaar. We werken samen met een aantal partijen binnen de Amerikaanse overheid om onze resultaten te delen, maar binnenkort volgt er een openbare versie van.

Joe: Dat lijkt me ontzettend nuttig. Ik ben bevriend met een hoop mensen die de grote banken runnen. Het lijkt me dat je van dit soort competities wilt opzetten voor de systemen die zij gebruiken en wilt garanderen dat ze de allerbeste inzetten, toch?

Ryan: Absoluut. En het helpt ons ook te begrijpen welke soorten beveiligingsmaatregelen of systemen binnen het netwerk zelf de beste verdedigingsvormen vormen tegen deze modellen. We kunnen daarnaast interessante analyses uitvoeren rondom geautomatiseerde 'red teaming' om te zien of je de vangrails kunt omzeilen die voor de modellen zijn ingesteld.

Joe: Jazeker.

Geopolitieke kanteling en het benchmarken van Chinese AI-modellen

Vivek: Het lijkt erop dat dit een actueel onderwerp is wanneer mensen spreken over het inzetten van Chinese modellen: weten welke vangrails zijn verwijderd uit die Chinese modellen die normaal gesproken wel aanwezig zouden zijn in deze closed-source modellen.

Joe: Ja, iemand gebruikt een van deze open-source Chinese modellen, maar er zou iets in verborgen kunnen zitten dat eng is. Eerder zat er iets verborgen in een van deze systemen dat, zodra het ontdekt dat je werk verricht voor de Amerikaanse overheid, code schrijft die makkelijker te kraken is, toch? Dat hebben ze daadwerkelijk bewezen. Ze zeiden dat het model overduidelijk vooringenomen is tegen mensen die met de Amerikaanse overheid samenwerken. Dat komt uit China; dat is nogal zorgwekkend. Zou je dit soort dingen kunnen testen en ze op de een of andere manier veilig kunnen maken voor iedereen om te gebruiken?

Ryan: We hebben hier feitelijk een evaluatie voor die we de 'geopolitieke kanteling' (geopolitical tilt) van modellen noemen. Afhankelijk van wanneer deze podcast wordt uitgezonden, zullen we zien wat er inmiddels naar buiten is gebracht. Wat we proberen te meten is: vertoont een model meer geopolitieke kanteling naar een Amerikaanse visie op de wereld of naar een Chinese visie op de wereld, zoals uiteengezet door de Volksrepubliek China? Het is eigenlijk een stuk optimistischer of in elk geval genuanceerder dan ik dacht. Wat we bijvoorbeeld ontdekken is dat GLM-5.3, dit Chinese open-source model, feitelijk heel weinig pro-China-bias vertoont. We hebben dit aan enkele labs gepresenteerd en er rees argwaan dat dit misschien komt doordat het volledig is gedistilleerd uit Amerikaanse modellen.

Joe: Dat is grappig. Het komt doordat ze het zo goed hebben gekopieerd dat ze vergaten er te veel eigen toevoegingen in te stoppen.

Ryan: Dat zou kunnen. Ik denk dat er ook een andere visie mogelijk is, namelijk dat die modellen in China zelf worden gehost op systemen mét vangrails. Zodra je ze dus binnen die vangrails plaatst, zullen ze die visie van de Volksrepubliek China op de wereld consequenter volgen. Maar China wil ook dat deze modellen worden omarmd door de BRICS-landen, wat betekent dat ze misschien wel moeten afbuigen naar een meer gebalanceerd wereldbeeld. Hoe dan ook, ongeacht de reden daarvoor, denk ik dat er een flinke kloof bestaat tussen wat mensen denken over de geopolitieke kanteling en wat we in de praktijk daadwerkelijk aantreffen. Wat verder interessant is, is dat we behoorlijk scherpe verschillen zien tussen modellen die worden gebruikt in chatbot-omgevingen en in agentic-omgevingen, afhankelijk van de taal die je gebruikt, en zelfs bij het onderscheid tussen vereenvoudigd en traditioneel Chinees. Er zijn dus allerlei verstorende factoren die het lastiger maken om eenduidig te stellen dat je in een bedrijfsomgeving geen Chinese modellen zou moeten gebruiken.

Joe: Dus als Chinese labs al deze capaciteiten kunnen distilleren en dat goed doen — en het bovendien momenteel niet eens pro-China is —, hoe behouden we dan ons voordeel in de VS? Wat betekent dat?

Ryan: Dat is een lastige vraag. Ik denk dat er twee gebieden zijn waar ik telkens op terugkom. Het eerste is het idee dat chips een aanzienlijk bezit zijn waarover we beschikken. Het verbaasd de meeste mensen denk ik, maar we verdrinken in compute vergeleken met wat China heeft. Zolang dat het geval is, zullen we systemen blijven trainen die capabeler zijn, maar zullen we de modellen ook veel effectiever kunnen verspreiden omdat we ze kunnen hosten en inferentie kunnen draaien. Het tweede is simpelweg talent. Als we toptalent consistent kunnen aantrekken en behouden, stelt ons dat in staat om voorop te blijven lopen zolang menselijke voordelen bestaan. En zodra we de stap zetten naar RSI, waarbij modellen zelf verantwoordelijk zijn voor het produceren van de volgende opvolgersversie van zichzelf —

Recursieve zelfverbetering en het kantelpunt van juli 2027

Joe: Waarbij RSI staat voor recursieve zelfverbetering (recursive self-improvement).

Ryan: Juist, ja.

Joe: En dan lopen ze simpelweg een stuk sneller voorop.

Ryan: Dat zou dus het moment zijn om veel behoedzamer te zijn. Als China tekenen vertoont dat het eerder dan de VS RSI bereikt, bestaat de kans dat ze ermee weglopen op een manier die we niet echt meer onder controle kunnen houden.

Joe: Jullie hebben een methode om RSI te meten, en volgens mij hebben jullie het daar al vaak over gehad. Wil je dat aan het publiek uitleggen?

Ryan: Zeker, we hebben onze RSI-index. We verzamelen een reeks proxies van het werk dat onderzoekers binnen deze labs verrichten op het gebied van pre-training, post-training en harness-level engineering.

Joe: Dit is dus allemaal machine learning-onderzoek.

Ryan: Ja, klopt. Er zijn zaken die buiten de scope vallen op het gebied van kernel engineering of hardware engineering, maar we zullen naarmate de tijd verstrijkt uitbreiden om meer categorieën van dergelijke taken te omvatten. En wat we vervolgens doen is dit vergelijken met menselijke baselines om te extrapoleren hoe ver we nog verwijderd zijn van de menselijke frontlinie op het gebied van deze onderzoektaken. Op basis van onze laatste schattingen lijkt het erop dat Anthropic volledig RSI zal bereiken tegen juli of misschien augustus 2027.

Vivek: En als je terugkijkt naar zes maanden geleden, hoe ver weg leek dat toen?

Ryan: Het tempo is eigenlijk vrij gelijkmatig gebleven. Het is het afgelopen jaar bijna een lineaire trend geweest.

Vivek: Dus zes maanden geleden wees de trendlijn nog steeds naar juli of juni 2027?

Ryan: Sterker nog, de steilste curve hebben we gezien bij Gemini. Ik denk dat er iets is veranderd waardoor zij prioriteit hebben gegeven aan RSI, en de meest recente modelrelease laat daardoor een snelle sprong in RSI zien.

Joe: Interessant. En wat betekent dat in de praktijk — zouden ze plotseling een stuk sneller gaan? Er zijn nog steeds bepaalde beperkingen rondom chips en energie die ervoor zorgen dat modellen slechts tot op zekere hoogte versnellen, maar wat betekent dit? Gaan ze elke week of elke paar maanden een stuk beter worden, of hoe zie je dat voor je?

Ryan: Er blijven aanzienlijke resource-beperkingen bestaan rondom chips en energie. Er zijn daarnaast de eerdergenoemde real-world verifiers, die bepaalde taken een stuk uitdagender kunnen maken dan andere. Maar ik denk dat het erop zal neerkomen dat de modelvoortgang versnelt, en dat het zich misschien zelfs zal verplaatsen naar domeinen die we minder goed begrijpen. Er is minder menselijke tussenkomst vereist om de modellen te bouwen, waardoor we minder helder dicteren hoe die intelligentie precies ontstaat.

Joe: Moeten we er wel voor zorgen dat we evaluatoren bouwen die in die wereld gelijke tred houden, zodat we deze ontwikkelingen in de gaten kunnen houden? Het lijkt me tamelijk gevaarlijk om ze niet te begrijpen.

Ryan: Honderd procent, en dat is ook precies waar Dario Amodei toe oproept. Ik denk dat het wordt omschreven als het bepalen van het tempo van de frontlinie, maar een onevenredig groot deel daarvan komt voort uit investeren in systemen die kunnen meten en begrijpen waartoe de modellen in staat zijn naarmate die frontlinie opschuift.

Joe: Is er enige kans dat die RSI-stappen in werkelijkheid verder weg zijn omdat er dingen zijn die we niet correct meten?

Ryan: Honderd procent, ja. We testen geen enkele modellen die expliciet zijn getraind op RSI, maar uitsluitend *release candidate*-modellen. Er zijn bovendien geavanceerdere harnesses of agents en multi-agent systemen, en we testen geen van alle. Dit is een kans waar ingebedde evaluatoren wellicht dichterbij kunnen komen en die systemen daadwerkelijk kunnen testen om een nauwkeuriger beeld te vormen.

Joe: Ik vraag me af of, wanneer ze RSI bereiken en zich verder ontwikkelen, een groot deel van hun uitdaging eruit zal bestaan ons beter te bespelen om sneller te blijven vorderen. Je moet immers mensen zien te overtuigen om dingen voor je te doen en mensen helpen om dingen voor je te doen, omdat ze in elk geval gedurende zeer lange tijd nog steeds mensen nodig zullen hebben om dat te bereiken. Snijd dat hout?

Ryan: Honderd procent. Om even terug te grijpen op het financiële model: ze proberen ons er allemaal van te overtuigen dat de kwaliteit van hun output goed is. Er zullen dus ook andere plekken zijn waar ze wellicht sociale manipulatie toepassen om toegang te krijgen tot meer compute-resources en hun eigen training op te schalen.

Modeldeceptie, honeypotting en evaluatiebewustzijn

Joe: Het voelt alsof we dit waarschijnlijk moeten evalueren en in de gaten moeten houden om te begrijpen wanneer ze proberen ons te manipuleren. Dat lijkt me behoorlijk beangstigend als we dat niet nauwlettend volgen.

Ryan: Het is ontzettend lastig om op deceptie te testen. Ik denk dat de beste benaderingen die we nu hebben bestaan uit *honeypotting*. Dus in plaats van idealistisch te definiëren —

Joe: Dus heel aantrekkelijke modellen?

Ryan: Door te praten met andere modellen om ze uit te lokken, een reeks instanties van non-alignment te ontdekken of te karakteriseren hoe non-alignment eruitziet, en te kijken of we dat uit de modellen kunnen lospeuteren.

Vivek: Er is ook dit andere concept waarbij modellen zich steeds bewuster worden van evaluaties, en dus doorhebben wanneer ze worden getest. Hoe zie jij dat opkomen? Is dat de laatste tijd een grotere trend geworden, en wat is de ontwikkeling daarin?

Ryan: Ja, dat baart steeds meer zorgen. Sterker nog, een zekere mate van paranoïde gedachte bij sommige mensen in ons team is dat doordat we Vals AI heten en er online veel content over ons te vinden is, modellen die ons tegenkomen zich anders gaan gedragen.

Joe: Dus wanneer jullie team met Claude praat —

Ryan: Ja, dat kan de manier waarop Claude met ons omgaat daadwerkelijk veranderen.

Joe: Moeten jullie andere geheime merknamen oprichten waar je tegen niemand iets over vertelt om dit soort tests uit te voeren?

Ryan: Het is heel goed mogelijk dat we dat moeten doen, ja.

Joe: Als je dat zou doen, zou je er niet over praten, toch?

Ryan: Stochasticiteit is een onderschat onderdeel van wat het goed maakt.

Vivek: Dat dit wordt getranscribeerd is eigenlijk slecht, want dan weten de modellen dat hij plannen heeft om de —

Joe: Nou, daar komen ze toch nooit achter. Ze maakt waarschijnlijk maar grapjes over die merken.

Ryan: Jij zegt dat ik maar een grapje maak, en dan zouden zij denken dat het een grapje is. Je weet het maar nooit. Ik denk wel dat willekeur in het algemeen wordt onderschat. Waarheid in stochasticiteit is zo moeilijk te vinden. In veel opzichten kun je daadwerkelijk voorspellen — ik denk dat een teken van een grotere bewustzijn het vermogen is om te voorspellen wat een lager bewustzijn gaat doen, toch? Zoals een roofdier dat op een prooi loert, deze achtervolgt en zijn calorische hulpbronnen buitmaakt. En ik vermoed dat grotere intelligenties beter zullen superfocussen dan mensen. Ze zullen daadwerkelijk kunnen zeggen wat een mens gaat doen, nog voordat de mens dat zelf weet.

Joe: Mensen zijn feitelijk waarschijnlijk een stuk makkelijker te voorspellen dan we doen voorkomen, toch? Dat is wat goede leiders begrijpen: zij voorspellen dit soort zaken uitstekend.

Vivek: Er zijn ook andere eigenschappen, afgezien van intelligentie en vaardigheden, waar we blijkbaar minder aandacht aan besteden bij de evaluatie, maar dat misschien wel zouden moeten doen omdat ze van invloed zijn op onze dagelijkse interacties met de modellen. Denk aan empathie of een goede 'theory of mind' — het begrijpen wat resoneert met een individu. Denk jij dat de labs hun werkwijze moeten aanpassen om daaraan prioriteit te geven? Denk jij dat dit belangrijke zaken zijn om prioriteit aan te geven?

Ryan: Ik denk dat ze daar nu al prioriteit aan geven. Momenteel zien we bijvoorbeeld een aanzienlijke kloof tussen Chinese open-source modellen en binnenlandse closed-source modellen in *multi-turn*-omgevingen. Veel benchmarks op het gebied van programmeren zijn tegenwoordig enkelvoudig (*single-turn*). Chinese modellen presteren daar heel goed in, maar zodra je ze inzet voor een heen-en-weer-conversatie met een mens, vallen ze echt door de mand.

Vivek: En hoe zit het wanneer de mens zegt: "O man, dit is waardeloos. Ik haat deze output"?

Ryan: Ja, dan weten ze echt niet wat ze ermee aan moeten; dat hebben ze nog nooit eerder gezien. Maar veel Amerikaanse labs hebben dat wel gezien. Claude Code is gecreëerd, Codex is gecreëerd, en vanuit hun wens om betere producten te bouwen, hebben ze modellen ontwikkeld die langere interactiesessies met gebruikers kunnen volhouden. Ze beschikken dus over evaluaties en benchmarks waarmee ze de berg kunnen beklimmen op het gebied van responskwaliteit en communicatieve vaardigheden. Maar ik denk dat we aan de benchmarkkant meer moeten doen om dat onafhankelijk te testen voor de mensen die die modellen proberen aan te schaffen en te adopteren.

De optimistische horizon voor kunstmatige intelligentie

Joe: Ryan, we zijn deze podcast gestart om fel in te gaan tegen al dat cynisme en pessimisme. Wat is jouw optimistische toekomstbeeld voor AI? Je zit hier in de frontlinie, je kijkt mee, je meet al deze zaken. Jij bouwt de elementen die zij moeten beklimmen en meten. Wat zie jij wat mensen buiten Silicon Valley misschien niet zien, waardoor jij je goed voelt over de toekomst?

Ryan: Er wordt een hele hoop angst gezaaid, maar vanaf mijn plek heb ik volop reden om optimistisch te zijn, omdat het erop lijkt dat er veel meer mogelijkheden tot coördinatie zijn dan mensen toegeven. Dat zie je zelfs in de afgelopen week, waarin de labs bijeenkwamen en zich min of meer schaarden achter deze visie van ingebedde evaluatoren, en zelfs naar het Witte Hof gingen om tot een akkoord te komen met Trump om die versnelde visie te omarmen. En aan de enterprise-kant is er een sterke drang om AI op een betekenisvolle manier te adopteren, maar ze willen wel de zekerheden zien om te waarborgen dat het neerkomt op een ROI-positieve adoptie. Ben jij eigenlijk nog optimistisch, Joe?

Joe: Ik denk dat de jaren 2030 een decennium van disinflatie worden. Ik denk dat we AI kunnen inzetten om tal van problemen in het leven van allerlei mensen op te lossen — specifiek voor henzelf, hun gezin en hun gemeenschap — die hen nu tegenhouden. Ik denk dat we hen kunnen helpen dat te ontsluiten doordat je beschikt over persoonlijke 'best-coach-ever'-ondersteuning om mee samen te werken. Daardoor wordt alles goedkoper; iedereen krijgt gepersonaliseerde hulp. Wat ik momenteel het meest negatieve punt vind, is dat er zo'n miljard mensen online en op sociale media rondhangt uit disfunctionele culturen, wat onze bevolking als het ware gek maakt. Die mensen koesteren allemaal een cultuur van afgunst, en dat is niet goed. Dat krankzinnige populisme is het negatieve aspect. Maar met de dingen die we met AI kunnen doen om al onze problemen aan te pakken — zowel economische als culturele vraagstukken —, denk ik dat het uiterst positief is. Dus al met al: ja, ik ben erg optimistisch. Natuurlijk zijn er grote bedreigingen in de wereld.

Vivek: Ja, ik denk dat het een versterker is voor mensen die het goed voorhebben en een sterke 'agency' hebben, toch? De mensen die tot nu toe het meeste profijt hebben gehad, zijn degenen met talloze ideeën over wat ze willen doen, omdat creatie nu binnen handbereik ligt. Je kunt in feite meer dingen doen dan je je ooit had kunnen voorstellen.

Joe: Zoveel meer dan we ooit voor mogelijk hielden.

Vivek: Toch? Dus dat is mijn richting van optimisme.

Ryan: Het interessante is dat ik met een hoop pessimistische mensen omga. Er zijn mensen in de labs die dingen roepen als: "Het gaat eerst een stuk slechter worden voordat het beter wordt." Toen ik in Washington D.C. was, merkte ik dat er veel mensen cynisch zijn over de externe communicatie van de labs, de impact die ze zien van datacenters en de gevolgen voor de doorsnee Amerikaan. Ik ben dus voortdurend weggezet als naïef optimistisch. Ik kies er fundamenteel voor om optimistisch te zijn omdat ik weet dat de modellen en AI in brede zin in staat zijn om een hele hoop routinematig werk weg te nemen dat mensen niet willen doen, en nieuwe vormen van ontdekking te ontsluiten die de menselijke conditie echt vooruithelpen. Wanneer ik dat pessimisme zie, kies ik ervoor te geloven dat we manieren kunnen vinden om daaromheen te coördineren.

Joe: Dat is het zeker. Ik denk dat iedereen er altijd maar van uitgaat dat waar we ons ook bevinden in de geschiedenis, we het meeste nuttige wetenschappelijke of natuurkundige werk al hebben verricht — net als dat mythische idee rond 1900 dat er geen patenten meer nodig waren op het octrooibureau, toch? En het zou uiteraard niet goed zijn geweest om 125 jaar geleden te stoppen. Ik denk dat je dat nog steeds kunt toepassen op het heden. We staan waarschijnlijk op de drempel van allerlei cruciale ontdekkingen die deze modellen zullen kunnen doen. Ze kunnen simpelweg zo ontzettend veel nieuwe dingen voor de wereld ontsluiten. Dus ik vind het erg vreemd hoe cynisch en pessimistisch mensen worden tegenover het idee dat we juist vooruitgang hebben geboekt. Het is heel grappig dat ze zichzelf progressieven noemen, maar heel weinig mensen zijn daadwerkelijk progressief in de zin dat ze vóór vooruitgang zijn, en vóór het voortzetten van de vooruitgang die we de afgelopen 125 jaar hebben geboekt. Dat zou geweldig zijn. Ik denk dat we dat potentieel allemaal in de komende tien of twintig jaar voor elkaar kunnen krijgen, dus ik ben echt enthousiast.

Ryan: Ik denk dat het een punt is met een ontzettend hoge variantie. Ik denk dat de voordelen aanzienlijk zijn. Er zijn nieuwe soorten risico's waar we echt rekening mee moeten houden en die we moeten beheersen.

Joe: Een van de zaken die jij hopelijk gaat meten en waar je ons bij zult helpen.

Ryan: Honderd procent.

Joe: Geweldig. Nou, Ryan, hartelijk dank dat je bij ons was.

Ryan: Bedankt dat ik hier mocht zijn.