DruckFin

Anthropic-transcriptie: Technische leads voorspellen AGI in de komende paar jaar en exponentiële opbrengsten van intelligentie

Augustus 2026, American Optimist Napa-discussie met Nick Marwell en Schult Douglas

Afleveringsintro

Host: Modellen die even capabel of capabeler zijn dan alle mensen zullen hoogstwaarschijnlijk verschijnen in de komende paar jaar. Elke marginale eenheid van intelligentie is exponentieel meer waard dan de eenheid die eraan voorafging. Je kunt blijven opschalen, met potentieel een verdubbeling van de productieve intellectuele en fysieke capaciteit van de mensheid op een manier die je in staat stelt om daadwerkelijk in een post-scarcitywereld te belanden.

Host: Jullie bevinden je in de voorhoede van de AI-grens. Wat zijn de meest opwindende dingen waaraan jullie werken?

Nick Marwell: AI wordt de belangrijkste technologie in de levenswetenschappen, absoluut in ons leven en misschien wel ooit. Maar het brengt ook enorme risico's met zich mee.

Schult Douglas: We zouden deze technologieën niet de wereld in moeten sturen voordat we kwaadwillenden kunnen beletten om veel schade aan te richten.

Host: Techleiders die ik ken en die sceptischer zijn, zeggen: "O, nou, Dario probeert iedereen bang te maken om meer regels te creëren en de boel te vertragen."

Schult Douglas: Tot nu toe hebben we onszelf veel meer vertraagd dan wie dan ook.

Host: Is er een scenario waarin je Amerika zou vertragen en China zijn gang zou laten gaan?

Schult Douglas: CEO en medeoprichter... nu ben ik hier.

Host: Nick Marwell en Schult Douglas zijn sleutelfiguren op technisch vlak bij Anthropic, het snelst groeiende AI-bedrijf ter wereld. Ze zijn allebei erg optimistisch over de toekomst ondanks een aantal zeer serieuze bedreigingen waarmee we als beschaving worden geconfronteerd. Wat zijn die bedreigingen? Hoe denken we over offensieve versus defensieve dynamiek in de bio, in cyber en op andere sleutelgebieden? Sommige mensen zijn behoorlijk boos op Anthropic vanwege regulatory capture. Wat is hun visie hierop? Wat probeert Anthropic te bereiken? Wat vinden ze van de gevechten rond distillatie in China? Als iedereen hun modellen kan kopiëren, hoe zorgt Anthropic er dan voor dat het nog steeds biljoenen dollars waard blijft? En waarom moet je, als je een jonge werknemer bent die een carrière probeert op te bouwen maar niet in het epicentrum van AI zit, de komende 10 jaar gaan doen? Een optimistische blik van een insider op een van de snelst bewegende bedrijven ter wereld in een fascinerende tijd. Ik kijk ernaar uit om ze te horen.

Zelfgeleerde ML en ongebruikelijke paden naar Anthropic

Host: Welkom bij American Optimist. Ik ben erg blij om vandaag twee fantastische talenten van Anthropic te mogen ontvangen. Nick, je bent een kernlid van de technische staf en helpt bij het leiden van de RL-wetenschap, wat reinforcement learning-wetenschap is, en Schult Douglas, eveneens techlead in reinforcement learning. Klopt dat?

Schult Douglas: Klopt.

Host: En hoe lang werken jullie al bij Anthropic?

Nick Marwell: Voor mij is dat iets meer dan 3 jaar.

Host: Maar hoe oud is het bedrijf eigenlijk?

Schult Douglas: Het bestaat een jaar of 5.

Host: Ja, dat is geweldig. Het is een van de belangrijkste, grootste en snelst groeiende bedrijven ter wereld op dit moment, en het bestaat pas 5 jaar. Het is dus een roerige tijd hier in Californië. We filmen vandaag hier in Napa. Bedankt dat jullie er zijn, mannen.

Nick Marwell: Nou, jij bedankt voor de uitnodiging. Dit wordt leuk.

Schult Douglas: Bedankt dat we er mogen zijn.

Host: Laten we beginnen met jullie achtergrond. Waar ben je opgegroeid, Schult? Waar kom je vandaan?

Schult Douglas: Ik ben opgegroeid in Sydney. Rond 2020 raakte ik ervan overtuigd, door het lezen van een mix van blogposts en papers, dat schaling en we in het algemeen op de goede weg waren om in de jaren 2020 AGI te bereiken. Ik heb 's avonds en in het weekend keihard gewerkt om te bewijzen dat ik werk kon leveren van de kwaliteitsstandaard die werd geëist door DeepMind, Anthropic, OpenAI en dat soort bedrijven.

Host: Had je informatica gestudeerd?

Schult Douglas: Ik heb robotica gestudeerd tijdens mijn bachelor. Ik ben afgestudeerd in 2019 en ben daarna eigenlijk mijn eigen onderzoek gaan doen. Uiteindelijk heb ik 2 jaar voor DeepMind gewerkt en de afgelopen 18 maanden bij Anthropic.

Host: Geweldig. En Nick, waar kom jij vandaan?

Nick Marwell: Ja, ik kom oorspronkelijk uit San Francisco, wat tegenwoordig zeldzaam is voor mensen in de AI-wereld, denk ik. Ik groeide op in een gezin met een vader die de eerste helft van zijn carrière besteedde aan heel traditionele zakenfuncties, en die in de tweede helft van zijn leven — en tijdens mijn vormende jaren — een interessant pad vond waarbij hij zijn tijd wijdde aan de vraag hoe hij iets terug pouvait doen. En dan met name door uit te zoeken hoe je technologie kunt inzetten om maatschappelijke waarde te creëren.

Nick Marwell: Toen ik nadacht over wat ik wilde gaan doen, zocht ik naar dingen waarmee ik tegelijkertijd de vaardigheden kon opbouwen om een effectieve kapitalist te worden — of hoe je het ook wilt noemen — en dit ook kon inzetten voor maatschappelijk welzijn. Anthropic voelde als een perfecte samenloop van omstandigheden; ik begon me erg zorgen te maken over AI-veiligheid. Ik werkte destijds als resident aan een heel ander bedrijf bij Thrive Capital, en toen kwam dit plotseling op mijn pad en dacht ik: dit is wat ik moet gaan doen.

Wat zijn de meest opwindende dingen waaraan jullie werken?

Host: Fantastisch. Sinds jullie bij Anthropic zijn gekomen, is het bedrijf volgens mij uitgegroeid tot de grootste AI-speler. Jullie publiceren geen officiële cijfers, maar er lekt van alles uit. De informatie die uitlekt — voor de luisteraars, we bevinden ons hier in augustus 2026...

Nick Marwell: Ik houd mijn gezicht heel stil.

Schult Douglas: Heel stil.

Nick Marwell: Heel stil, geen reacties.

Host: Het draait vermoedelijk een omzet op jaarbasis (run rate) van ruim $80 miljard, groeit ontzettend snel, loopt voor op OpenAI, loopt voor op iedereen. Jullie bevinden je in de voorhoede van de AI-grens. Wat zijn de meest opwindende dingen waaraan jullie intern momenteel werken en waarover jullie ons kunnen vertellen? Hoe is het om je op die grens te bevinden?

Schult Douglas: Nou, ik denk dat ik vooral veel kan vertellen over hoe de programmeringservaring is veranderd, omdat ik denk dat dit de meest tastbare manier is waarop we vooruitgang hebben gevoeld. 18 maanden geleden typte ik al mijn regels code nog met de hand. Vervolgens stuurde ik na een paar maanden bij Anthropic al een model aan. Ik greep elke paar minuten in; ik vertelde wat het moest doen, zoals het schrijven van de volgende functie, maar ik moest elke paar minuten controleren omdat het fouten maakte en van het pad afweek.

Schult Douglas: En waar we nu staan, is dat ik modellen kan vragen om zelfstandig een dag of twee dagen aan werk te verzetten en vooruitgang te boeken, eigenlijk als een junior teamlid. En dat is in de afgelopen 18 maanden gebeurd. We zijn gegaan van een tool waarbij je er echt bovenop moet zitten naar iets wat heel erg aanvoelt als een junior teamlid.

Host: Dus terwijl we hier nu praten, zijn zij de junior teamleden en is de AI hard voor jullie aan het werk?

Schult Douglas: Ja, zeker. Er zijn er een hele boel hard aan het werk.

Host: Waar voor soort dingen werken ze aan, voor zover je dat kunt vertellen? Is er iets op hoofdlijnen dat je kunt delen?

Schult Douglas: Gewoon een hele boel RL-wetenschap samen met deze teamleden.

Nick Marwell: Geweldig. Ik geef hier een iets andere antwoord op. Ik denk dat veel modelontwikkeling tot nu toe vooral ging over het zover krijgen dat modellen taken kunnen uitvoeren waar mensen eigenlijk al heel goed en toe in staat zijn. En waar we nu echt naartoe proberen te werken, zijn capaciteiten die extra hefboomwerking bieden voor zaken die mensen cognitief al konden bereiken, toch? Zoals het bouwen van een stuk software dat een team van menselijke ontwikkelaars in dezelfde periode ook had kunnen bouwen.

Nick Marwell: Wat je nu begint te zien — en de meest recente resultaten op wiskundig vlak zijn hier een goed voorbeeld van — is dat mensen proberen uit te vinden hoe ze modellen kunnen inzetten om voorbij de grens van de menselijke intelligentie en menselijke prestaties te komen.

Host: Bedoel je sommige van die recente wiskundige resultaten?

Nick Marwell: Ja, er zijn veel nieuwe wiskundige bewijzen gepubliceerd waar mensen al heel lang in geïnteresseerd waren, maar die ze nooit wisten op te lossen.

Host: Bij sommige daarvan leek het erop dat een heel slimme wiskundige besefte dat de computer goed genoeg was om iets te doorbreken (brute-forcen) wat een mens niet had kunnen doorbreken. Snap je wat ik bedoel? Sommige lijken nog steeds goed te zijn in specifieke dingen die mensen ook gebruiken, of is het echt een compleet nieuwe theorie die ze ermee bereiken? Hoe kijk je daar tegenaan?

Nick Marwell: Ik denk niet dat het — tenminste nu nog niet — om ideeën gaat waar mensen zelf absoluut niet toe in staat waren geweest. Maar ik denk eigenlijk dat heel weinig vooruitgang of intellectuele prestatie ooit zo werkt. Er zijn natuurlijk uitzonderingen, maar de meeste dingen die de samenleving heeft bereikt, gaan er eigenlijk gewoon over dat je puntjes met elkaar verbindt en voortbouwt op eerdere intellectuele prestaties.

Nick Marwell: En wat je beschrijft, zoals het combineren van twee ideeën van verschillende mensen om iets nieuws te vinden, dat is de kern van wat mensen doen. Het belangrijke verschil nu is dat het daadwerkelijk nieuwe ideeën samenvoegt, of nieuwe ideeën vormt door menselijke concepten te combineren die voorheen niet werden gekoppeld. Terwijl het schrijven van nog een webapp nou niet bepaald een nieuwe intellectuele prestatie voor de mensheid was.

Hebben we AGI bereikt — en wat komt erna?

Host: We hebben in Silicon Valley nog nooit bedrijven zo snel zien opschalen. Ik zeg het nog maar eens: niet 10x, 10x, 10x, maar zichtbaar razendsnel groeiend. We hadden gisteravond nog een ander bedrijf hier in Napa waar ik in de board zit, en het voelt alsof er elke 60 tot 90 days een nieuw bedrijf ontstaat. Er gebeurt zoveel, toch? En dat is denk ik de ervaring van velen van ons. Jullie zitten midden in het snelst groeiende bedrijf. Hoe voelt dit in vergelijking met je leven hiervoor? Waar gaan we vanaf hier naartoe? Blijft het versnellen? Hoe moeten we hierover nadenken?

Schult Douglas: Een van de heel fijne dingen aan Anthropic vind ik dat onze ambities konden meeschalen met de versnelling van het bedrijf. 18 months geleden moesten we nog zo krankzinnig gefocust zijn op code en keihard bewijzen dat we ergens de beste ter wereld in konden zijn. En nu is de missie van het bedrijf zoveel groter dan alleen modellen maken die goed zijn in programmeren. Naarmate het bedrijf is opgeschaald en de omzet is gegroeid, konden we de puzzelstukjes gaan leggen om hier nog intensiever op in te zetten.

Host: Laten we het breder over die missie hebben. Eerder deze week sprak ik met een andere vriend die senior is op AI-gebied, en hij legde uit dat je eerst de absolute beste moet zijn in code en wiskunde, maar dat er daarna nieuwe domeinen komen waarin je de beste moet worden. Er zijn al die andere menselijke vaardigheden waarin je A++ kunt worden. Is dat het idee, om een hoop nieuwe vaardigheden toe te voegen? Wat is de missie vanaf hier?

Schult Douglas: Nou, de missie vanaf hier is altijd dat we geloven dat AGI in de komende paar jaar echt haalbaar is.

Host: Leg onze luisteraars eens uit wat je daarmee bedoelt.

Schult Douglas: We denken dat modellen die even capabel of capabeler zijn dan alle mensen, zeer waarschijnlijk in de komende paar jaar zullen verschijnen. Het gaat dan om systemen die alles kunnen wat een mens op een computer kan doen, of — zodra we over voldoende geavanceerde robotica beschikken — alles wat een mens in de fysieke wereld kan doen.

Host: Dus de AI wordt ook veel beter in het hosten van de podcast? Dan kan ik de robot het zware werk laten overnemen?

Schult Douglas: Nou ja, de podcast...

Host: Laten we naar de wijngaard gaan. Dat is leuker.

Schult Douglas: Precies. En we denken dat dit enorme voordelen oplevert. Dit maakt het mogelijk om de intellectuele en fysieke arbeid die vandaag de wereld wordt verzet te vermenigvuldigen. Het zou ons in staat kunnen stellen om eeuwen aan vooruitgang in een veel korter tijdsbestek te realiseren.

Hoe meet je AI-vooruitgang?

Schult Douglas: Maar het brengt ook enorme risico's met zich mee, en het doel van het bedrijf is dus om de wereld door die risico's heen te loodsen, zodat we aan de andere kant de voordelen kunnen oogsten.

Host: Laten we een stap terugdoen naar de AI-golf in het algemeen, en waar we ons op die golf bevinden. Je noemde al dat je in 2020 besefte dat AGI mogelijk zou worden. Dat valt ongeveer samen met het uitkomen van GPT-3 door OpenAI. Ik keek laatst naar wat oude e-mails omdat we werken aan een 10-jarige ADC-boek, en zelfs in 2020 maakte ik grappen over hoe we alle associates zouden gaan vervangen. Het hing dus al in de lucht dat dit waarschijnlijk werd.

Host: Toen ik eerder dit jaar met Dario sprak, bleken sommige capaciteiten volgens bepaalde metingen elke paar maanden te verdubbelen. Hoe kwantificeren we vooruitgang? Je had het over het feit dat je de AI kunt inzetten in plaats van een junior werknemer. Zijn er nog andere manieren om qua metrieken te meten hoeveel beter het wordt in de komende jaren?

Schult Douglas: Ja, er zijn heel veel evals, wat in feite examens zijn waarmee mensen modellen testen. Op dat vlak verloopt de vooruitgang uiterst snel. Een mooi voorbeeld — ik wil niet te zwaar leunen op wiskunde, maar wiskunde werkt in sommige opzichten het best — is dat we van 0% op een set problemen samengesteld door professoren uit verschillende vakgebieden zijn gegaan naar ruim 40%, 50%, 60% in de loop van het afgelopen jaar. Dat is een eval genaamd FrontierMath.

Host: Je hebt iets nodig dat falsifieerbaar is, toch? Je hebt iets nodig om iteraties op door te voeren. Zou je de AI bijvoorbeeld kunnen laten praten met een vrouw op Instagram om te berekenen wat de kans is dat ze met je op date wil?

Schult Douglas: Precies. Dat is op zich onschuldig genoeg om op te trainen, toch?

Host: Ik ben getrouwd trouwens, niet voor mij hoor.

Schult Douglas: Daar hebben we niet op getrained. Maar dat is een voorbeeld.

Host: Andere soortgelijke toepassingen zouden ongetwijfeld erg handig zijn, zeker voor sommige van onze vrienden in San Francisco.

Schult Douglas: Er zijn twee manieren waarop modellen verbeteren. De eerste is door te trainen op enorme hoeveelheden tekst van internet. En de tweede vorm is reinforcement learning, waar wij allebei aan werken: het oplossen van vraagstukken en controleren of het juiste antwoord is gegeven. Dat is waar je het over hebt, wat heel eenvoudig is voor wiskunde en informatica. Voor romantiek, gedichten of andere zaken ligt dat een stuk lastiger.

Host: Ja.

Schult Douglas: En daarom zie je dat wiskunde en informatica zoveel sneller vooruitgaan dan al het andere. Maar we denken eigenlijk dat het helemaal niet zo ingewikkeld is om ook andere problemen in dit format te gieten.

Nick Marwell: Zeker. Ik denk dat er ergズニー technisch gezien een verklaring is waarom wiskunde en informatica als eerste kwamen. Er is tot op zekere hoogte ook een sociale verklaring voor: je nam een groep mensen met een achtergrond in wiskunde en informatica en vroeg hun om intelligentie te creëren. Uiteraard besloten ze toen om intelligentie als eerst te ontwikkelen in de domeinen die zij zelf begrepen, omdat hun interesse daar lag en omdat het een stuk makkelijker is.

Nick Marwell: Het is ongelooflijk hoeveel tijd je besteedt aan het lezen van wat het model doet wanneer je goede modellen probeert te trainen. Je probeert te begrijpen hoe capabel het wordt en op welke gebieden het nog moet verbeteren. Dat is nu eenmaal veel eenvoudiger voor domeinen waarin je zelf een expert bent en begrijpt wat er gebeurt.

Host: Antropomorfiseer je de AI als je erover nadenkt?

Nick Marwell: Ik denk dat ik persoonlijk dat niet doe. Er zijn vast mensen die dat wel doen, en die werken ongetwijfeld ook bij Anthropic.

Host: Onze hersenen zijn er min of meer op geprogrammeerd; er zijn hele delen van ons brein ingericht om te kijken naar de persoon voor ons en te spiegelen wat we denken dat hun emoties zijn om te kunnen communiceren. Vanuit de evolutie hebben we dus allerlei mechanismen ingebouwd om een andere intelligentie te behandelen als een entiteit. Het lijkt me lastig om dat te vermijden als je hier dagelijks mee werkt.

Schult Douglas: Dit is misschien wel een van de grootste debatten over hoe mensen dit framen: als een tool of als een entiteit. Ik denk echt dat 'entiteit' een nuttig frame is, want bij een tool ben je er te allen tijde zelf mee bezig. Bij deze modellen neem je iets wat zeer intelligent is en laat je het in een bepaalde zin los in de wereld om namens jou acties te ondernemen. Om die reden is het vaak nuttiger om hierover te denken als een entiteit.

Is de biologie de volgende grote grens?

Host: Zijn er categorieën of gebieden waar we deze intelligentie zouden moeten inzetten, maar dat nog niet doen? Zijn er zaken waar jullie enthousiast over zijn of aan werken waarbij we AI veel meer gaan gebruiken in andere domeinen? Wat voor gebieden zijn dat? Biologie is denk ik de grootste, toch?

Nick Marwell: Ja. Het hangt er een beetje vanaf of je vraagt waar modellen nu al geweldig in zijn en simpelweg onderbenut worden, of waar we het meest enthousiast over zijn voor de toekomst. Wat betreft dat laatste kunnen we dieper ingaan op waarom biologie het terrein is waar ik het meest enthousiast over ben voor de komende 6 tot 24 maanden. Niet alleen in de zin dat modellen breed geadopteerd zullen worden, maar dat de maatschappelijke voordelen die hieruit voortvloeien ontzettend breed en krachtig zullen zijn.

Host: Het genezen van ziekten, ons allemaal gezonder maken en levensverlenging. Er lijken allerlei vreemde aspecten te zijn rond epigenetica die te maken hebben met levensduur, die we zo'n 20 jaar geleden via Nobelprijzen begonnen te ontdekken, en al onze vrienden hebben inmiddels bedrijven in de Bay Area. Er gaat miljarden om in de poging om te ontdekken hoe je deze processen kunt triggeren en delen van je lichaam jonger kunt maken. Denk je dat AI cruciaal wordt om dat te versnellen?

Nick Marwell: Ik denk dat AI de belangrijkste technologie in de levenswetenschappen wordt, absoluut in ons leven en misschien wel ooit. Sterker nog, ik ben daar zo zeker van dat ik me bijna meer zorgen maak over de vraag of we over de fysieke en laboratoriuminfrastructuur beschikken om hier optimaal gebruik van te maken, dan of AI wel een nuttig intellectueel instrument zal zijn.

Host: Drie jaar geleden hadden we waarschijnlijk al veel meer compute moeten opbouwen, bijvoorbeeld. We praten hier te veel over. Moet iemand nu direct veel meer labruimte voor jullie bouwen?

Nick Marwell: Dat denk ik wel. En dat speelt op een paar assen een rol. Eén as betreft simpelweg hoeveel fysieke labruimte je hebt. Maar ik denk dat er ook diverse metrieken zijn rondom de kwaliteit van onze laboratoria in de VS, die duidelijk achterblijven bij landen als China. Het oplossen van de supply chain en het labcomplex in Amerika, zodat dit weer de wereldwijde goudstandaard wordt, is een van de grote maatschappelijke infrastructuurprojecten waar mensen over na zouden moeten denken.

Schult Douglas: Dit wordt de snelheidsbeperkende factor (rate limiter) voor vooruitgang in de biologie.

Nick Marwell: Ja.

Host: Goed, laten we dat na de podcast even oplossen. Dat klinkt als een goed plan. Wat geld lospeuteren bij het Department of Defense voor supply chains en wat labs bouwen.

Carrièreadvies & het decennium van de generalisten

Host: Om even een stap terug te doen naar waar we staan in deze golf: wat zou je aanraden als je net van de universiteit komt of al aan het werk bent? Je werkt niet bij Anthropic, zit niet midden in Silicon Valley. Je bent misschien slim en ambitieus. Hoe moet je naar je carrière kijken gezien de ontwikkelingen rond jullie in de komende jaren?

Nick Marwell: Ik denk dat we in een aantal verschillende scenario's kunnen belanden. Anthropic draagt de verantwoordelijkheid om te spreken over de risico's die deze technologie met zich meebrengt, en een daarvan is dat we ons best zorgen maken over werkgelegenheid. Toch denk ik dat het mogelijk is dat het lang genoeg duurt voordat deze technologie volledig in de wereld is ingeburgerd, waardoor er tal van scenario's zijn waarin je een periode van 10 of 20 jaar hebt waarin er enorm veel kansen liggen om deel uit te maken van die verspreiding en daar je carrière door te laten definiëren.

Nick Marwell: Iets wat ik tegen sommige mensen zeg — ik heb een broer die momenteel studeert en precies over dit vraagstuk nadenkt — is dat het volgende decennium, mochten we in zo'n scenario belanden, er in vele opzichten een zal zijn die toebehoort aan de generalisten. Vroeger, zeg de afgelopen 20 of 50 jaar, bouwde je een succesvolle carrière op doordat je beschikte over een set vaardigheden die zeer waardevol en verhandelbaar waren. Het was eenvoudig om een specialistische vaardigheid te hebben en te leunen op anderen.

Nick Marwell: Nu heeft iedereen de kracht van een bedrijf met duizend man achter zich. En dat betekent in de praktijk dat de mensen die het best in staat zijn om te begrijpen wat de op te lossen problemen zijn en hoe je je gemeenschap beter kunt maken — of dat nu vanuit commercieel of maatschappelijk oogpunt is — over alle benodigde tools zullen beschikken om die verandering teweeg te brengen. Het selecteren van de juiste problemen wordt daarmee de bepalende vaardigheid.

Host: Je zei: "Wat zijn de problemen die opgelost moeten worden? Hoe maak ik mijn gemeenschap beter?" Een van de fundamentele achtergronden van mijn wereldbeeld als Jood is dat je geacht wordt de wereld zes dagen per week te repareren, en dat je op de sabbat, de rustdag, doet alsof je klaar bent. De meeste grote religies hebben wel iets vergelijkbaars. Mijn optimisme is dat er altijd dingen zullen zijn voor ieder van ons om te herstellen, te helpen en te repareren bij de mensen om ons heen, in onze gemeenschappen. Tenzij je gelooft dat we in een utopie belanden, zal er altijd werk te doen zijn voor mensen, toch? Dat vind ik een optimistisch raamwerk.

Nick Marwell: Absoluut, ja.

Schult Douglas: Ja, er ligt nog een hoop werk tussen ons en de utopie.

Host: Precies. De fundamentele implicatie van de religie is dat het hier nooit een utopie is totdat de Messias komt of iets dergelijks, en dus moet je dingen blijven repareren. Dat is iets positiefs.

Wat kan er misgaan? Wat zijn de grootste AI-risico's?

Host: Ik weet dat jullie optimisten zijn en dat er heel veel positieve kanten zijn. Ik wil eerst stilstaan bij een aantal zorgen, omdat mensen daar erg nieuwsgierig naar zijn. Aan de kust zien we natuurlijk al die geweldige dingen om ons heen in onze gemeenschappen. We hebben allemaal vrienden die sneller dan ooit bedrijven opbouwen. Er hangt een heel positieve energie, tenminste voor mij als ik in San Francisco of New York kom, of zelfs bij wat ik doe in Austin, Texas.

Host: Maar ik denk dat de rest van het land vaak het gevoel heeft dat er bedreigingen zijn voor hun bedrijf en hun levensonderhoud. Het is eng. Ze weten niet of jullie geen mafkezen zijn die hiermee de wereld willen veroveren of zoiets. Wat missen mensen? Is er een plausibel slecht pad waar jullie je zorgen over maken? Is het slechte pad waar zij bang voor zijn onjuist? Hoe denken jullie over dit probleem?

Schult Douglas: Ik denk dat die zorgen buitengewoon redelijk zijn. Er zijn een paar grote categorieën waar we ons zorgen over maken, maar van allemaal geloven we dat we — mits we de juiste stappen zetten in de komende jaren — in de jaren 2030 in een radicaal betere wereld kunnen eindigen.

Schult Douglas: Die categorieën zijn: een grote die we al noemden is werkgelegenheid. Daar moeten we het uitgebreid over hebben: waarom we dat als risico zien en wat volgens ons de juiste stappen zijn om daartegen te ondernemen. Daarnaast zijn er de directere, nabije zorgen op het gebied van bio- en cyberrisico's die nu, dit jaar al, actueel zijn.

Host: Er zijn allerlei irritante kwesties waarbij mensen de spot drijven met Anthropic, zoals dat je vroeger niets mocht vragen over de mitochondriën van een cel; dat was een klassiek voorbeeld. Waarop je denkt: nou, dat zou je eigenlijk gewoon moeten kunnen vragen, zolang je maar niet helpt bij het maken van een biowapen.

Schult Douglas: Dat zou inderdaad absoluut moeten mogen. Maar we bouwen op dit moment de infrastructuur op zodat we er zeker van kunnen zijn dat niemand er een biowapen mee kan bouwen.

Nick Marwell: Ja. Wat ontzettend lastig is bij bio en cyber, is dat het inherent zogeheten dual-use-capaciteiten zijn. Cyber is het gemakkelijkst te begrijpen. Als ik Claude de opdracht geef: "Hier is een codebase, zoek alle kwetsbaarheden," is de kans net zo groot dat ik de eigenaar ben van die codebase en mijn verdediging wil versterken, als dat ik een aanvaller ben die probeert in te breken.

Host: Juist.

Nick Marwell: En dat is precies wat technologieën zoals cyber — en bio, dat vergelijkbare dual-use-kenmerken heeft — zo fundamenteel lastig te reguleren maakt.

Host: Je probeert iets in een cel aan te pakken, en de kans is heel groot, waarschijnlijk 99,9%, dat je dat wilt doden om kanker of zoiets weg te nemen, maar er is een minieme kans dat je iets vreselijks wilt aanrichten.

Nick Marwell: Precies. Daarom werken we aan allerlei zaken die ervoor moeten zorgen dat goede actoren deze technologieën kunnen gebruiken en kwaadwillenden buiten de deur worden gehouden. Onze algemene overtuiging is echter dat we deze technologieën niet de wereld in moeten sturen voordat we kunnen voorkomen dat kwaadwillenden schadelijke dingen doen.

Host: Er zijn absoluut mensen — en dan heb ik het niet eens over Anthropic — die open modellen uit China gebruiken in combinatie met bijvoorbeeld terreurgroepen in Afrika, om erachter te komen hoe ze bepaalde bommen gemakkelijker in elkaar kunnen zetten die ze voorheen niet konden maken. De AI is simpelweg slim genoeg om te helpen omdat die groepen er zelf niet handig in waren. Er zijn enge toepassingen. Maar tegelijkertijd is mijn aanname dat met meer intelligentie juist ook meer mensen die enge toepassingen begrijpen en kunnen inzetten om ze te stoppen. Er is sprake van een afweging.

Schult Douglas: Een belangrijke dynamiek om te bespreken is daarom of een domein offensief of defensief gedomineerd is.

Host: Jazeker.

Schult Douglas: Op dit moment zijn zowel cyber als bio offensief gedomineerd, maar ik denk dat cyber de komende twee jaar verschuift naar een defensieve dominantie.

Host: Zeker als iedereen toegang heeft tot intelligentie om zichzelf te hacken en verdediging op te bouwen.

Schult Douglas: Precies. Omdat je proactief kunt proberen jezelf te hacken, de verdediging kunt opbouwen, alle kwetsbaarheden kunt patchen, en we uiteindelijk in een veel cyberveiliger wereld terechtkomen.

Host: Waarbij iedereen al toegang heeft tot intelligentie en uitzoekt hoe er ingebroken kan worden. Dat is wat we van tevoren doen. Een van mijn vrienden hielp indertijd met inbreken bij het Pentagon en banken op verzoek om het te demonstreren, en zij gebruiken nieuwe AI omdat AI daar zo goed in is, dus nu moet iedereen snel handelen.

Offensief versus defensief: hoe technologie evolueert

Host: Laten we een stap terugdoen. Dat offensief-defensief-principe is superinteressant. Het is al duizenden jaren een concept in de menselijke geschiedenis dat enorm verandert. Ik ben een grote fan van de zeer vrije stadstaten die vroeger in Europa met elkaar concurreerden, wat erg goed werkte. Als het in de ene stadstaat slecht geregeld was, kon je naar de andere verhuizen.

Host: Totdat helaas die gasten met kanonnen op de proppen kwamen. Die konden de stadsmuren moeiteloos omverblazen, waarna grote rijken ontstonden en je niet zomaar meer weg kon uit je stadstaat omdat je er nu hoe dan ook onder viel. Er zijn dus verschillende tijdperken geweest waarin de balans verschoof tussen offensief en defensief.

Host: En ik ben het ermee eens: cyber is momenteel zo sterk offensief gedomineerd dat mensen bang moeten zijn. Luisteraars, als jullie niet in de voorhoede AI inzetten om je eigen systemen te testen, worden ze waarschijnlijk gehackt, mogelijk door kwaadwillenden. Het is nu dus eng. Ik ben het ermee eens dat cyber op termijn meer defensief gedomineerd kan raken als het correct wordt ingezet.

Host: Er is een vraag rondom AI. Een van mijn angsten is: zijn er verborgen dingen in de wereld die simpelweg super offensief gedomineerd zijn? Bijvoorbeeld — en ik geloof niet dat dit zo is — als je een zelfreplicerende nanobot kunt maken met voldoende intelligentie die de hele wereld opeet, en één genie maakt dat ding, die vervolgens de hele wereld verslindt en we allemaal dood zijn. Nogmaals, ik denk niet dat dat gebeurt, maar we moeten ervoor zorgen dat we die intelligentie inzetten om te ontdekken wat er eventueel super offensief gedomineerd is voordat het te laat is.

Schult Douglas: Klopt. En biologie is feitelijk extreem offensief gedomineerd totdat we gigantisch veel werk verzetten om de wereld defensief te maken. Er zijn manieren om de wereld defensief te maken tegen biologische dreigingen, maar dat vereist honderden miljarden dollars aan infrastructuur. Dat is niet onredelijk om te doen totdat je in de jaren 2030 de beschikking krijgt over dramatisch geavanceerde robotica die je helpt dit uit te rollen.

Host: Dit is in zekere zin een enge periode waarin het momenteel offensief gedomineerd is, en we willen het defensief maken. De oplossing is vermoedelijk om ervoor te zorgen dat deze zaken niet te geheim blijven, en ze juist openbaar te maken. Mijn visie is dat je wilt dat veel mensen intelligentie gebruiken om alles te testen, in plaats van dat één enkele groep dat in het geheim doet.

Schult Douglas: Dat zijn we roerend met je eens.

Het pareren van de kritiek op regulatory capture

Host: Anthropic wordt over het algemeen zeer bewonderd. Maar net als elk ander bedrijf — ik vergelijk het wel eens met Microsoft in de jaren 90: als je eenmaal kampioen wordt, worden mensen jaloers en vallen ze je aan. Soms zijn die aanvallen ingegeven door jaloezie omdat je domineert, en soms zijn bepaalde punten legitiem. Veel van mijn zeer slimme vrienden hebben de indruk dat Anthropic een strategie van regulatory capture probeert toe te passen die niet deugt. Hoe reageren jullie daarop?

Nick Marwell: Ik denk dat er twee dingen zijn die hier besproken moeten worden. Ten eerste de opkomst van het narratief rond regulatory capture, gekoppeld aan de discussie over open weights die gaande is. En ten tweede: als je op een heel egoïstische manier regulatory capture zou willen plegen, zou je het dan op de manier hebben aangepakt zoals Anthropic dat heeft gedaan?

Nick Marwell: Wat dat eerste betreft: het is niet onredelijk — als je niet op de hoogte bent van de details — om open weights te interpreteren als een belangrijke technologie voor het publieke belang die we moeten behouden. Het is in sommige opzichten een natuurlijke tegenstander van onderdelen van Anthropic's bedrijfsmodel, en Anthropic zou regels willen gebruiken om de ontwikkelaars van open weights dwars te zitten, omdat open weights of open source historisch gezien kleinere, minder goed gefinancierde gemeenschappen zijn die moeite hebben met het navigeren door regelgeving.

Nick Marwell: Ik denk alleen niet dat dat is wat hier aan de hand is. Als je kijkt naar wie de open-weights-modellen pusht, ontwikkelt en host, zijn dat grotendeels de allergrootste corporaties ter wereld. In de VS zijn dat spelers als Nvidia, Amazon en Microsoft die de grens van open weights verleggen. En zelfs de Chinese laboratoria zijn extreem goed gefinancierde en steeds vaker door de overheid gesteunde labs. Dit zijn bedrijven die, ondanks dat het om open-weights-modellen gaat, uitstekend in staat zijn om door een regulatoir landschap te navigeren.

Nick Marwell: Ik maak me dus niet direct zorgen dat enige regulering van open en gesloten modellen de ontwikkelaars van open weights onevenredig zwaarder treft dan de ontwikkelaars van gesloten modellen.

Nick Marwell: Het andere aspect is directer: als je regulatory capture zou toepassen puur om er zelf voordeel uit te halen, is het volstrekt onwaarschijnlijk dat Anthropic de keuzes had gemaakt die het nu heeft gemaakt. Een heel goed voorbeeld daarvan — en er zijn er meer, misschien heeft Schult er ook nog wel een paar — is wat er gebeurde met Fable. Denk aan Fable, of daarvoor Mythos: vanuit puur economisch oogpunt beschikte Anthropic over een model dat met afstand het beste ter wereld was. Niemand had in die periode ook maar iets dat in de buurt kwam.

Nick Marwell: En Anthropic besloot in feite om met de overheid samen te werken om het model op een voor de overheid comfortabele manier uit te rollen, terwijl ze er ook voor hadden kunnen kiezen om een voorsprong van vele maanden te benutten en daarmee waarschijnlijk elke discussie over de concurrentiekracht van andere labs de kop in te drukken. Dat was vanuit economisch oogpunt een ronduit slechte beslissing voor het bedrijf, maar wel eentje die volledig in lijn was met onze waarden over hoe modellen ingezet en gereguleerd zouden moeten worden.

Nick Marwell: Het is dus geen strategie van regulatory capture uit eigen economisch belang. Het is een strategie vanuit de gedachte dat de overheid een heel belangrijke rol te spelen heeft in hoe kritieke en potentieel gevaarlijke technologieën worden ontwikkeld en ingezet. Wij vinden het onze verantwoordelijkheid als speler in de voorhoede om ervoor te zorgen dat ze daarover geïnformeerd worden en aan dat proces deelnemen, want wie vertegenwoordigt anders iedereen?

Host: Het is ook interessant omdat er in deze regering behoorlijk wat slimme mensen zitten, maar tegelijkertijd ook genoeg figuren die er totaal geen bal van snappen. Je belandt dan in een absurde situatie waarin — je mag het misschien niet zeggen, maar ik wel — Anthropic naar mijn weten over meer cybercapaciteiten beschikte die mensen hadden kunnen gebruiken voor verdediging, maar die vervolgens werden afgeknepen (nerfed) zodat de overheid het kon goedkeuren. Dat vond ik een vergissing.

Schult Douglas: Ik denk dat zij teruggrijpen op het klassieke Amerikaanse publiek-private partnerschap dat zo'n cruciaal onderdeel is geweest van onze geschiedenis. We zijn niet zo gebouwd dat de overheid overal ter wereld het meest deskundige en competente orgaan in hoeft te zijn. We willen een sterk publiek-private samenwerking bouwen waarin de overheid weet hoe ze in contact moet treden met Anthropic, OpenAI, Meta of wie dan ook, om te begrijpen hoe ze de regelgeving moeten vormgeven.

Host: En wat is het antwoord op de techleiders die ik ken en die sceptischer zijn, en zeggen: "O, nou, Dario probeert iedereen bang te maken om meer regels te creëren zodat de boel vertraagt en hij kan profiteren van dat proces"?

Schult Douglas: Tot nu toe hebben we onszelf veel meer vertraagd dan wie dan ook. Sterker nog, als je kijkt naar de discussie rond het voorstel van Demis voor de aanbieders van gesloten modellen — OpenAI, DeepMind, Anthropic — om te coördineren zodat we veiligheidsdrempels (safety thresholds) afspreken waaraan we moeten voldoen voordat we modellen uitbrengen: dat is ons eigen initiatief uit principiële overwegingen om onszelf te vertragen. Trouwens, we moeten ook verhelderen wat onze algehele houding ten opzichte van open source is.

Anthropic's standpunt over open source

Host: Wat is dat standpunt dan precies?

Schult Douglas: Persoonlijk staan we erg positief tegenover open source. We geloven oprecht dat het heel goed is dat dit bestaat in de wereld. Ik heb zelf leren programmeren op open-source modellen. Maar we geloven ook dat er grote risico's kleven, en dat die in de toekomst toenemen. Onze overtuiging is daarom dat er in feite drempels moeten zijn voor wat de maatschappij als geheel acceptabel vindt om los te laten. Als een model cyberaanvallen kan uitvoeren, welke capaciteitsdrempel vind je dan acceptabel? Wij vinden dat gesloten en open-source modellen aan dezelfde lat moeten voldoen. Buiten dat moeten mensen kunnen doen wat ze willen.

Host: Heeft het überhaupt zin om dat te proberen als China toch allerlei willekeurige dingen uitbrengt die iedereen kan gebruiken? En eveneens: wat is de kans dat we uit angst overreguleren, terwijl China dat niet doet en alsnog een probleem creëert doordat zij voorlopen? Hoe kijk je daar tegenaan?

Schult Douglas: De ideale wereld is er een waarin we daadwerkelijk met China kunnen samenwerken zodat zij — ik bedoel, zij zitten ook niet te wachten op cyberaanvallen op hun eigen land.

Host: Mijn indruk is wel dat ze cyberaanvallen op ons willen uitvoeren.

Zou je de boel vertragen en China voor laten gaan?

Schult Douglas: Misschien willen ze geen cyberaanvallen op zichzelf. Dat is fair. De ideale wereld is er een waarin we op dat vlak kunnen samenwerken. Maar dat is ingewikkeld; dat wordt een van de moeilijkste onderdelen van de komende jaren naarmate AI-capaciteiten in rap tempo blijven toenemen. Dit zal veel mensen oncomfortabel maken om allerlei verschillende redenen — voor bio, voor cyber, voor werkgelegenheid. En het gevolg is dat je nu al te maken krijgt met weerstand, zoals het blokkeren van datasets.

Schult Douglas: Dit is een van die debatten waarin het erg lastig is om een pauze in te lassen, tenzij je kunt coördineren met andere partijen en erop kunt vertrouwen dat die partijen zich daaraan houden.

Host: China gaat echter niet pauzeren. Dus is er een scenario waarin je Amerika vertraagt en China laat voorlopen?

Schult Douglas: Ik denk niet dat een scenario waar wij ons comfortabel bij voelen inhoudt dat we Amerika vertragen en China voor laten gaan.

Host: Wat blijkbaar de enige optie is die we zelf in de hand hebben.

Schult Douglas: Ja. Elk vertragingsscenario zou volledig gecoördineerd moeten zijn op een manier waarbij we elke tegenpartij blind kunnen vertrouwen. Er is in feite geen enkele manier waarop we Amerika zouden vertragen.

Anthropic's visie op distillatie

Host: Vergeleken met wat anderen denken, staan jullie verrassend genoeg meer open voor open source. Het is goed, het heeft jullie levens positief beïnvloed. Sommige van die open-source-dingen lijken echter voort te komen uit het stelen van jullie modellen, waar ik als ik in jullie schoenen stond flink van zou balen. Dat heet distillatie. Veel mensen zeggen: "Waarom stoppen ze het niet gewoon door heel slim te zijn met hun AI en alles in de gaten te houden?" Waarom kunnen jullie distillatie niet stoppen? Hoe staan jullie daartegenover? Wat gebeurt er op dat vlak?

Schult Douglas: Aan de ene kant is distillatie... er zijn een paar dingen om hierover op te merken. Enerzijds: waarom zijn we tegen distillatie? Is distillatie goed of slecht? En anderzijds: waarom kun je het niet stoppen als je het slecht vindt?

Schult Douglas: Laten we dat tweede punt afsluiten: het is een kat-en-muisspel. Mensen willen veel toegang tot hun modellen. Ze willen de outputs kunnen inspecteren, op hun lokale computer draaien en de denkstappen (thinking traces) kunnen inzien. Maar elke extra mate van toegang die je verleent, maakt distillatie eenvoudiger. Er is dus een spanning tussen hoe open je tool of product kan zijn en hoe gemakkelijk het te distilleren is.

Nick Marwell: En wat het eerste betreft — waarom we ongelukkig zouden moeten zijn met distillatie — kijk ik er doorgaans zo tegenaan: je wilt dat AI vooruitgang boekt omdat we denken dat slimmere modellen allerlei geweldige dingen voor de wereld gaan doen. En distillatie is geen methode die je voorbij de grens van de huidige capaciteiten kan tillen.

Host: Het is simpelweg kopiëren.

Nick Marwell: Het is een kopie. En het probleem daarmee is dat het bereiken van de volgende grens enorme voorinvesteringen in kapitaal vergt. Vergeet vandaag even; we komen in regimes terecht waarin er trainingsrondes van $10 miljard, $100 miljard of $1 biljoen nodig zijn. Je kunt dat soort R&D-investeringen alleen rechtvaardigen als je er vervolgens geld mee kunt verdienen door het product te verkopen waarin je hebt geïnvesteerd.

Nick Marwell: Het probleem is: als al de anderen voor een fractie van de kosten jouw model kunnen nemen, kopiëren en binnen een week of twee op de markt kunnen brengen, vormen ze een oneerlijke economische concurrent tegenover jou omdat ze die zware R&D-last niet hebben gedragen. Als je vooruitgang wilt op de grens, zul je de IP en rechten van de partijen die deze modellen trainen moeten beschermen.

Nick Marwell: Mensen vergelijken dit vaak met medicijnontwikkeling. Ik denk dat AI erg interessant is omdat bescherming tegen distillatie veel voordelen biedt van hoe we IP beschermen bij medicijnontwikkeling, maar de nadelen vermijdt. Wat zijn de voordelen? We krijgen meer medicijnontwikkeling in de VS als gevolg van IP-bescherming.

Host: Uiteraard kan ik niet investeren in medicijnontwikkeling als ik er geen geld mee kan verdienen.

Nick Marwell: Precies. Een van de nadelen is dat de kosten daardoor extreem hoog zijn. Wat zo interessant is aan AI, in tegenstelling tot medicijnontwikkeling waar je dat soort bescherming krijgt voor een decennium of langer — ik geloof 20 of 30 jaar — is dat intelligentie in AI ongelooflijk deflatoir werkt, omdat de houdbaarheid van de grens in maanden wordt gemeten. Dus ja, elke 6 maanden is de grens duur, maar alles achter de grens dat 6 maanden geleden nog grensverleggend leek, wordt spotgoedkoop doordat je de grens verder opschuift. Dat is een artefact van hoe training werkt.

Nick Marwell: Het levert dus veel goeds op en vermijdt de meeste nadelen in de regimes waarin we ons bevinden. Je kunt dit heel concreet zien aan de kosten voor een bepaald niveau van intelligentie. Er zijn talloze eval-dashboards; op Artificial Analysis is deze exacte trendlijn te zien: het wordt elk jaar ruwweg 10x goedkoper. Jaar na jaar daalt de prijs. Er is sprake van een ongelooflijke deflatie, en trouwens, dit gebeurt zelfs zonder distillatie, puur door de natuurlijke vooruitgang van de technologie.

Host: Uiteraard. En het is intuïtief natuurlijk oneerlijk dat iemand zomaar kan kopiëren; het hele systeem zou instorten als iedereen dat deed.

Nick Marwell: Ja.

Host: Misschien een vervolgvraag: is dat geen krankzinnig bedrijfsmodel waarbij je product telkens verouderd raakt? In sommige opzichten, zeker na een jaar of hooguit 6 maanden, lijkt de grens continu te moeten verschuiven wil je winnen.

Schult Douglas: Het voelt inderdaad alsof de grens moet blijven verschuiven om te winnen. Ik denk dat dit een cruciaal onderdeel is van ons algemene wereldbeeld: AI heeft tot nu toe slechts in zeer geringe mate ingegrepen in de wereldeconomie. De som der delen van alle AI-inkomsten ligt ergens boven de $100 miljard in een economie van tientallen biljoenen dollars. En dan gaan we er nog vanuit dat de economie niet dramatisch zal groeien als gevolg van deze technologie, wat we wel verwachten.

Schult Douglas: Die grens blijft dus bestaan. In veel opzichten kun je stellen dat het niveau net achter de grens — de achterhoede — op allerlei manieren wordt gecommoditiseerd, maar dat de absolute voorhoede daardoor juist nog meer waarde krijgt.

Nick Marwell: Er zit gigantisch veel meer waarde aan de voorhoede. We noemen dit vaak de exponentiële economische opbrengsten van intelligentie, waarbij elke marginale eenheid van intelligentie waartoe je in staat bent exponentieel meer waard is dan de eenheid die eraan voorafging. We hebben dit al zien gebeuren. Als je kijkt naar programmeren: de eerste eenheid van intelligentie in coding die ook maar enigszins nuttig was voor mensen, was tab-autocomplete. Van daaruit stap je over naar de volgende marginale eenheid van intelligentie waarmee je agentic coding werkelijkheid maakt in je terminal met Claude Code. En dat was een 100.000 keer waardevollere capaciteit.

Nick Marwell: Dus hoewel tab-autocomplete achter de schermen is gecommoditiseerd — je kunt op dit moment geen bedrijf meer bouwen op alleen tab-autocomplete — zijn de volgende incrementele eenheden van intelligentie buitengewoon waardevol.

Nick Marwell: Dit was voor mij heel contra-intuïtief toen ik een paar jaar geleden over Anthropic nadacht, omdat mijn intuïtie vanuit alles wat ik ervaar als mens op deze wereld zegt dat exponenten niet zo lang doorgaan. Dus je denkt: oké, dit is een paar jaar heel waardevol, maar op een gegeven moment houdt die exponent op. Op een bepaalde manier vereist het dat je extreem optimistisch bent, toch? Omdat je moet geloven dat je van tab-completion in coding overstapt naar agentic coding, en wat kan er in vredesnaam waardevoller zijn dan agentic coding? Misschien kanker genezen.

Nick Marwell: En zelfs daartussenin krijg je te maken met een volwaardige software-engineer die beter is dan welke programmeur ter wereld dan ook, en dat voelt buitengewoon goedkoop aan. Je krijgt een executive die je bij allerlei zaken helpt. Dus tegen de tijd dat mensen roepen: "Leidt dit niet gewoon tot volledige commodcommoditisering?" — tegen de tijd dat je überhaupt kans maakt op volledige commoditisering, is de hele economie radicaal getransformeerd. Letterlijk de hele economie wordt tegen die tijd gedreven door AI's, zowel op intellectueel als fysiek vlak.

Host: En het is waarschijnlijk een vele malen grotere economie. En als Anthropic die vooruitgang aanstuurt, is dat uiteraard biljoenen dollars waard.

Nick Marwell: Precies.

Is een post-scarcitywereld haalbaar?

Host: Goed, we zijn dus allemaal rijk. Grapje. Er zijn natuurlijk tal van zorgen, maar jullie zijn optimisten. Waarom jagen we dit zo snel aan? Herinner ons er nog eens aan: wat gebeurt hier eigenlijk? Waar strijden jullie voor?

Schult Douglas: Om terug te komen op waarom we bezorgd zijn: omdat we iets krijgen dat een volwaardige vervanger is voor een mens. Het wordt net zo goed als een mens in alles wat je op een computer kunt doen. Zodra we robots hebben, is het net zo goed als een mens in alles in de fysieke wereld. Maar tegelijkertijd ontsluit dat massale, radicale verbeteringen. Het betekent dat je technologie die met onze huidige bevolking de komende eeuwen zou kosten om te ontwikkelen, kunt comprimeren naar het komende decennium of een paar decennia.

Host: Ik zie dit nu al in de lucht- en ruimtevaart, waar het ontwerpen van vliegtuigen zo veel sneller gaat dat we geavanceerde vliegtuigen die we pas in de jaren 2040 verwachtten, waarschijnlijk al in de komende jaren gaan zien. Dat is heel gaaf.

Schult Douglas: Je kunt dus blijven opschalen en potentieel de productieve intellectuele en fysieke capaciteit van de mensheid blijven verdubbelen op zo'n manier dat je daadwerkelijk een post-scarcitywereld bereikt. Dat is een wereld waarin letterlijk alles is gereduceerd tot de kosten van energie; waar het bouwen van huizen wordt gereduceerd tot de kosten van energie.

Host: De middenklasse zal straks allemaal gigantische huizen hebben als ze dat willen.

Schult Douglas: Je kunt in die wereld letterlijk krijgen wat je maar wilt.

Host: Je kunt naar de bergen trekken en een optrekje van 50.000 vierkante meter bouwen, en dat is dan een middenklasseding.

Schult Douglas: Precies. Dat wordt dan een middenklasseding op dezelfde manier waarop de dingen die we vandaag de bezitten onvoorstelbaar waren voor zelfs de koningen van eeuwen geleden. Waar we elke ziekte hebben genezen, waar we vermoedelijk veroudering hebben opgelost en de levensduur hebben verlengd. Je bevindt je dan in een wereld waarin iedereen op aarde beschikt over een mate van overvloed die vandaag de dag niet eens beschikbaar is voor de allerrijksten ter wereld. En dát is de wereld waar we voor vechten.

Schult Douglas: Maar het is een erg lastige wereld, omdat je ten eerste een veilige koers daarnaartoe moet uitzetten, en ten tweede moet uitzoeken hoe we de opbrengsten van die wereld zo verdelen dat je niet eindigt met extreme ongelijkheid. Dat de opbrengsten niet alleen toekomen aan mensen die toevallig al kapitaal bezaten in de oude wereld, maar dat iedereen die dat wil van die overvloed kan genieten. Er ligt dus een groot sociaal-politiek vraagstuk over hoe je de vruchten deelt.

Host: Je kunt natuurlijk ook grote misstappen begaan door aan te nemen dat we al zover zijn, toch? De waardigheid van werk is immers nu reëel.

Schult Douglas: We zijn er nog niet. We zijn er zelfs nog lang niet. Maar als we op de juiste manier in de technologie investeren, maken we kans om er te komen. Laten we daarom de trendlijnen vanaf vandaag eens doortrekken. De afgelopen vier à vijf jaar hebben we de hoeveelheid compute-capaciteit voor AI elk jaar verdubbeld of verdriedubbeld. Gezamenlijk besteden de hyperscalers dit jaar zo'n $1 biljoen aan capex gerelateerd aan AI.

Schult Douglas: Een uiterst interessante vraag wordt of die trendlijn standhoudt: stijgt dat volgend jaar naar $2 biljoen en in 2028 naar $4 biljoen? Als die trendlijn grofweg aanhoudt en je dat kunt uitbreiden naar de bredere roboticaindustrie en verwante sectoren, dan bereik je begin jaren 2030 een punt waarop je de bbp van de mensheid feitelijk verdubbelt. Nogmaals, dat klinkt wat absurdistisch en vereist dat heel veel dingen goed gaan, maar de productiviteitsgroei kan wel eens heel snel gaan versnellen.

Host: Het voelt alsof dat zelfs al over een paar jaar het geval kan zijn. Kevin Warsh is de nieuwe voorzitter van de Fed. Ik weet niet of hij AGI-pilled is, maar hij is momenteel erg bullish over AI-productiviteit. Een goede vriend van ons. Het voelt alsof we dat veel meer gaan zien, hoewel het krankzinnig blijft klinken dat het nog veel sterker kan versnellen.

Nick Marwell: Het kan nog harder versnellen. Een van de interessante grafieken die ik onlangs zag, betrof de werkgelegenheid op de Filipijnen, die omhoog ging.

Host: Dat verbaasde me. Ik dacht dat BPO daar flinke klappen zou krijgen. BPO staat voor business process outsourcing (bedrijfsprocesoutsourcing). Ze doen eenvoudige callcenters, en toch groeit het nog steeds.

Nick Marwell: En toch groeit het nog steeds, en de werkgelegenheid in software engineering stijgt eveneens. Ik denk dat dit grotendeels komt doordat mensen opeens een stuk productiever zijn dan voorheen. Een heel interessante trendlijn om in de gaten te houden is: hoe lang houdt deze opleving aan waarin mensen in duo's werken?

Host: Er is nog zoveel te doen. Jullie maken er gebruik van, wat een positief teken is.

Nick Marwell: In elk geval op de korte termijn lijkt het daarop. Maar ik denk dat het belangrijk is dat we onszelf niet te veel aanpraten dat het allemaal wel goed komt. Op dit moment — zoals Schult het verwoordde — bevind je je in een mogelijk gunstige fase waarin al je medewerkers nog steeds onmisbare onderdelen zijn om optimaal te profiteren van AI. Het gevolg is dat je beschikt over een enablement-technologie die iedereen waardevoller heeft gemaakt, waardoor je juist meer mensen wilt aannemen.

Nick Marwell: Maar op een gegeven moment is onze overtuiging dat we verschuiven van een wereld waarin je een mens nodig hebt gekoppeld aan een AI-model om alle waarde eruit te halen, naar een wereld waarin dat niet meer hoeft. En dat is het moment waarop we ons erg zorgen gaan maken over de consequenties.

Host: Dit is vergelijkbaar met schaken: dertig jaar lang was de beste schaker een mens plus een machine, en tegenwoordig worden mensen door machines verpulverd. We denken dat dat tijdperk hier een stuk korter zal zijn.

Nick Marwell: Ja. Wat voor mij de afgelopen drie jaar — misschien de afgelopen vijf jaar sinds ik voor het eerst nadacht over het tempo van AI-vooruitgang — een grote bijstelling was: ik geloofde dat we uiteindelijk zouden uitkomen op een plek die lijkt op waar we nu staan of over een jaar zullen zijn, maar dat het langer zou duren. Grotendeels dacht ik dat omdat ik dacht dat het opschalen van de benodigde data een uiterst tijdrovende en kapitaalintensieve onderneming zou zijn.

Nick Marwell: En wat er gebeurde — zelfs in vergelijking met mijn toenmalige hooggespannen verwachtingen — was dat de omzetgroei en de schaal van deze bedrijven — Anthropic en OpenAI — zo razendsnel verliep, dat het opeens volkomen plausibel werd voor de ontwikkelaars om geld tegen de knelpunten aan te smijten om ze veel sneller te slechten. De toename van de compute-capaciteit is hier een ander treffend voorbeeld van. Vijf jaar geleden was het voor de meeste mensen onvoorstelbaar dat we $1 biljoen in één jaar zouden uitgeven.

Host: Een jaar geleden was dat zelfs nog onvoorstelbaar.

Nick Marwell: Ja, een jaar geleden. We bevinden ons blijkbaar in een tijdlijn waarin tal van ontwikkelingen die sterk op elkaar inwerken tegelijkertijd plaatsvinden, sommige goed en andere slecht. We praten over de verhuizing van compute naar de ruimte; het is best interessant dat AI opkomt rond dezelfde periode dat SpaceX zijn vleugels uitslaat. De timing daarvan is fascinerend. Je kunt je voorstellen dat als SpaceX er tien jaar langer over had gedaan om hier te komen, de AI-tijdlijnen er heel anders hadden uitgezien.

Nick Marwell: Aan de andere kant gebeuren er ook zorgwekkendere dingen. Ik denk niet dat het goed is voor de wereld — om allerlei redenen, waaronder geopolitieke dynamiek en het feit dat AI een technologie is die autoritarisme meer kan bevoordelen dan de meeste andere staatsvormen — dat AI arriveert op een moment dat we ongetwijfeld het meest bipolaire tijdperk in mijn leven betreden.

Host: Hangt dat niet samen? Zit er niet iets in social media, de manier waarop ze machine learning inzetten en AI verbeteren, dat ons juist polariseert? Is het iets in de aandachtseconomie?

Nick Marwell: Als ik 'bipolair' zeg, doel ik echt op het wereldwijde plaatje tussen China en de VS.

Host: Je bedoelt niet de links-rechtspolarisatie binnen de VS.

Nick Marwell: Nee, dat is waarschijnlijk een ander aspect waarover nagedacht moet worden. Maar ik denk inderdaad dat ik de vooruitzichten voor AI iets positiever had ingeschat als het ter wereld was gekomen in bijvoorbeeld begin jaren 2000, toen de wereld nog meer unipolair was. Dat is veiliger.

Schult Douglas: Het heeft iets tragisch dat waardig is aan een scifi-roman, namelijk dat de meest waardevolle grondstof in het universum wordt geproduceerd op dit kleine eiland tussen de twee wereldsupermachten in.

Nick Marwell: Het is in sommige opzichten behoorlijk poëtisch.

Hoe behouden we waarden, traditie & gemeenschap?

Host: Over het algemeen is er veel optimisme over waar dit heen leidt voor de mensheid als we deze periode doorkomen. Dat is zo'n beetje de rode draad. Nog een vraag waar veel luisteraars over nadenken: het is leuk om buitengewoon rijk te zijn, maar er zijn ook andere zaken in onze beschaving die ertoe doen. Denk aan deugden, familie, traditionele waarden waarop velen hun leven baseren. De waardigheid van werk, maar ook al die andere tradities die ons maken tot wie we zijn.

Host: En ik denk dat er enige zorg bestaat omdat dit zich afspeelt in San Francisco, waar die tradities gemiddeld gezien misschien minder gewaardeerd worden. Is er een risico dat de mensen aan het roer de wereld nu naar hun hand gaan zetten en onze traditionele opvattingen — of het nu gaat om het christendom, monogamiem of iets anders — overbord zetten? Zijn er instituties die we kunnen opbouwen om deze zaken te beschermen? Hoe denken jullie hierover vanuit het hart van San Francisco waar alles verandert?

Schult Douglas: Interessant genoeg verwachten we juist in San Francisco een wedergeboorte in het belang van die instituties. Want naarmate werk minder centraal komt te staan in het leven van mensen, en naarmate puur kapitalisme aan betekenis inboet omdat we geleidelijk steeds meer overvloed krijgen, geloven we dat de werkelijk waardevolle aspecten in het leven van mensen juist traditie, ritueel, het bieden van waarde aan anderen, je lokale gemeenschap en die onderlinge banden zullen zijn.

Nick Marwell: Contra-intuïtief is het zo dat intellectuele bezigheden en de zoektocht naar hoe je iemand wordt die weet hoe je moet nadenken over de wereld, feitelijk in belang toenemen — alleen niet in economische zin. In een wereld waarin het je aan niets ontbreekt, is dat zo'n beetje het enige dat overblijft om jezelf te vermaken, om je onderdeel te voelen van een gemeenschap en al dat soort dingen.

Host: Jullie zijn allebei jong en zeer succesvol. Stel dat Anthropic blijft slagen. Iedereen daar zal over middelen beschikken, en de hele wereld krijgt meer middelen. Hebben jullie nagedacht over het oprichten van instituties om met dit soort vraagstukken te helpen? Is er iets waar jullie een passie voor hebben om neer te zetten?

Schult Douglas: Jazeker. Nick heeft een mooi voorbeeld met het vroege kinderonderwijs waar zijn vader aan werkt, maar dit is sowieso een belangrijk gespreksonderwerp binnen Anthropic momenteel. Filantropie vormt een cruciaal onderdeel van de cultuur van Anthropic. Er is een fantastische blogpost over geschreven met een titel als "The New Wave of American Philanthropy", waarin wordt besproken hoe de filantropische geldstromen van de OpenAI-stichting en het personeelsbestand van Anthropic vergelijkbaar zouden zijn met honderden Arc Institutes of tientallen Gates Foundations.

Schult Douglas: Mensen denken na over allerlei initiatieven. Een stichting waaraan ik heb gedoneerd, is een programma dat als doel heeft om alle virale ziekten uit de wereld te helpen. Velen focussen zich op gezondheidsgerelateerde kwesties. Een van mijn collega's heeft gedoneerd aan een non-profit die zich richt op het onderzoeken van de juiste aanpak rond de impact op de beroepsbevolking: het daadwerkelijk bestuderen van wat er gebeurt, waar we ons echt zorgen over moeten maken, wat het feitelijke beeld op de grond is, en welk beleid we moeten bepleiten zodat iedereen deze transitie ondersteund en welvarend doormaakt.

Nick Marwell: Ik ben op dit vlak zeker sterk beïnvloed door mijn vader, die zich de afgelopen 15 of 20 jaar heeft ingezet voor onderwijs. Ik noemde net al dat — hoewel de dingen die we willen leren volgens mij flink zullen veranderen, en het me onwaarschijnlijk lijkt dat we over 20 jaar nog massaal PhD's in hoog-technologische vakgebieden gaan halen — de zoektocht naar kennis, het plezier van leren, het vermogen om intellectueel met elkaar in gesprek te gaan en eerlijk gezegd het begrijpen van de wereld waarin we leven (wat voor de velen van ons een verwarrende wereld wordt als de scenario's uitkomen die we bespraken) alleen maar in belang toeneemt.

Nick Marwell: Een opvatting die veel mensen in de AI-wereld aanhangen en waarin ze zich naar mijn idee vergissen, is dat AI het onderwijs simpelweg 'wel eventjes fixen'. Als je begaan bent met het onderwijs voor iedereen — en niet alleen met hoe je supergoed onderwijs geeft aan een kind met twee ouders uit de top 1% die zelf hoogopgeleid zijn — zijn er twee essentiële zaken om te begrijpen.

Nick Marwell: Ten eerste is onderwijs iets dat diepgaand cumuleert. Een klassiek voorbeeld is dat de nummer één voorspeller van hoe goed een leerling scoort in wiskunde, is of diegene aan het einde van groep 5 (third grade) op niveau kan lezen. Want vanaf dat moment transiteer je van 'leren lezen' naar 'lezen om te leren'. Er zijn tal van van dit soort dynamieken in het onderwijs, met name omdat kinderen en mensen over het algemeen de psychologische eigenschap hebben dat ze hun motivatie verliezen zodra ze het gevoel hebben ergens niet goed in te zijn.

Nick Marwell: En het probleem — als je hierin gelooft — is dat er één ding is waar AI tot nu toe buitengewoon slecht in lijkt te zijn: computers kunnen de aandacht van jonge kinderen niet vasthouden. Sterker nog, ze lijken een ontzettend afleidende factor te vormen.

Host: Dat zou zomaar een heel nieuw aspect kunnen zijn waarop je modellen traint als je dat zou willen. Je zult het spel moeten doorgronden, al twijfel ik daar enigszins over.

Nick Marwell: Dus hoewel AI op extreme manieren zal helpen bij het onderwijzen van kinderen — met name door te zorgen dat we kinderen precies op het juiste moment datgene aanbieden wat ze nodig hebben — denk ik absoluut niet dat het een panacee wordt waarbij we simpelweg superintelligente AI krijgen en alle onderwijsproblemen als sneeuw voor de zon verdwijnen.

Voorspellingen voor 2028

Host: Er zijn een hoop slimme koppen die daaraan werken. Ik ben het ermee eens dat dit uiterst cruciaal is. Laten we doorspoelen naar augustus 2028. Je kijkt terug op deze podcast. Wat moet er zijn gebeurd om te kunnen zeggen: "Wauw, dat ging een stuk sneller dan ik had verwacht"?

Schult Douglas: Veel sneller dan we hadden verwacht? Wij verwachten al dat het behoorlijk snel gaat.

Host: Veel sneller nog.

Schult Douglas: De tijdlijnen om datacenters in de ruimte te krijgen zijn daar een belangrijk voorbeeld van. Daar lopen de verwachtingen sterk uiteen, afhankelijk aan wie je het vraagt.

Host: En dat is een enorm belangrijk onderdeel, omdat je daarboven zoveel meer kunt doen. De toename van de compute-capaciteit verloopt dan nog sneller, en dat is precies wat we nodig hebben.

Schult Douglas: Ik verwacht in algemene zin dat er tegen die tijd ruwweg een terawatt aan vermogen online is, maar het is nog even afwachten hoe snel die opbouw precies verloopt. Ik ben benieuwd hoeveel humanoïde robots we in 2028 in huizen aantreffen. Ik denk dat dat zal bestaan uit een reeks vroege implementaties — misschien tienduizenden robots in 2028 in huizen die de was doen, wat basisreiniging uitvoeren en dat soort taken. Maar het zou zomaar een stuk sneller kunnen gaan.

Host: We hebben net een aflevering uitgebracht met Generalist. Het is tamelijk verbazingwekkend hoe goed die wereldmodellen worden, en dat gaat sneller dan ik had verwacht. Dat zou wel eens de factor kunnen zijn die alles een paar jaar versnelt.

Schult Douglas: Precies. En zodra je robots hebt, begint het echt te cumuleren; dan gaat de vooruitgang hard.

Nick Marwell: Veel zaken hier zijn op de een of andere manier datagerelateerd. Een van de belangrijkste remmende factoren voor vooruitgang in AI-capaciteiten is hoe snel we data kunnen opschalen in de domeinen die we belangrijk vinden. Dat proces is al sneller gegaan dan ik had verwacht om de reden die ik eerder noemde: er is simpelweg veel meer kapitaal tegenaan gesmeten dan ik had voorzien door de toegenomen omzet van de labs.

Nick Marwell: Mijn verwachting is echter dat we worden afgeremd door de snelheid waarmee de mensheid dergelijke data kan produceren. Als je mij bijvoorbeeld zou vertellen dat we een kruistocht zijn gestart om massa's laboratoria te bouwen voor het produceren van biologische data ten behoeve van modeltraining — en dat dit vandaag van start gaat en over een jaar op volle toeren draait — dan zou ik mijn tijdlijn waarschijnlijk naar voren schuiven.

Host: Nu focussen we ons uiteraard op al dit soort data voor zeer specifieke taken zoals programmeren, wiskunde en al het andere. Denk je dat we op een dag zullen werken aan data voor het vormen van deugdzame mensen, goed karakter, mentale gezondheid of iets dergelijks? Uiteraard is dat vele malen complexer, maar zouden er in de toekomst nog andere zeer complexe problemen zijn die AI oplost?

Schult Douglas: Dat soort vraagstukken wil ik om eerlijk te zijn liever dat mensen die oplossen.

Host: Maar zouden we daar niet een tool voor inzetten om het probleem op te lossen?

Schult Douglas: Zeker, AI zal ons helpen in die discussies. Maar dat valt naar mijn idee in de brede categorie van data waarvan ik verwacht dat het zowel lastig op te schalen is als uiterst persoonsgebonden. Dat komt pas nádat we robotica hebben opgelost.

Host: Je blijft dus nog enigszins menselijk. Het klinkt alsof er nog steeds een plek voor ons is.

Schult Douglas: Zou ik verwachten dat een AI in 2028 een Pulitzer-prijs wint? Waarschijnlijk niet.

Host: Nou, wat als we niet wisten dat we de prijs aan de AI gaven?

Schult Douglas: Dat is waar. Zou ik verwachten dat het in 2028 een Fields Medal wint? Zeer goed mogelijk. Uiterst waarschijnlijk zelfs. Een Nobelprijs is ook geen gek idee; dat voelt zeer haalbaar voor het einde van dit decennium.

Host: Nou, het is fascinerend om met jullie te praten. We hebben ongetwijfeld uitdagingen te overwinnen, maar ik ben erg optimistisch over de toekomst van de mensheid als we dit goed aanpakken.

Schult Douglas: Ik ook. En bedankt dat we hier mochten zijn.

Nick Marwell: Bedankt voor de uitnodiging.