SemiAnalysis: De echte 100x-winst in AI komt van hardware-software co-design, niet van snellere chips
Dylan Patel legt uit waarom het gelijktijdig optimaliseren van modellen, kernels en silicium tot doorbraken leidt, en waarom de CUDA-gracht nooit echt over CUDA ging
Dylan Patel, oprichter van SemiAnalysis, komt met een provocerend argument dat ingaat tegen het heersende narratief over AI-vooruitgang. De grootste winst in kunstmatige intelligentie komt niet louter van snellere chips. Het komt voort uit het gezamenlijk ontwerpen van software en hardware over de gehele stack, waardoor wat een verbetering van 2x hier en 2x daar had kunnen zijn, verandert in een sprong voorwaarts van 100x. In een uitgebreid gesprek met partners van Sequoia Capital, Shaun Maguire en Sonya Huang, legde Patel uit waarom de expert-lagen van DeepSeek specifiek werden geoptimaliseerd voor de Hopper-architectuur van Nvidia, waarom Google's TPU's moeite hebben om bepaalde modellen efficiënt te draaien, en waarom de zogenaamde CUDA-gracht nooit echt over CUDA ging.
Hardware-software co-design zorgt voor exponentiële winst
Patel is het fundamenteel oneens met de opvatting dat de efficiëntiewinsten in AI de afgelopen drie jaar voornamelijk voortkwamen uit hardwareverbeteringen, aangevuld met wat algoritmische vooruitgang op modelniveau. Zijn onderzoek wijst op iets heel anders. Bij de meest geoptimaliseerde implementatie van DeepSeek is er de afgelopen drie jaar een verbetering van ongeveer 30x geweest van Hopper naar Blackwell. Maar de totale intelligentie per watt is voor equivalente kwaliteit met bijna 60x toegenomen, waarbij sommige metingen kostenverlagingen van vergelijkbare omvang laten zien. Het verschil komt voort uit co-optimalisatie over verschillende lagen, niet uit een enkele verbetering.
De vormen van alle expert-lagen in DeepSeek V3 werden specifiek geoptimaliseerd voor de Hopper-architectuur, legde Patel uit. Voor V4 worden ze geoptimaliseerd voor Blackwell en Huawei-chips. Dit creëert een interessante dynamiek waarbij Google's TPU's – ondanks dat het objectief gezien geweldige chips zijn die DeepMind aandrijven en de pre-training voor Anthropic verzorgen – in feite slecht presteren bij het draaien van DeepSeek-modellen. Het model was simpelweg niet ontworpen voor die hardware. Omgekeerd draaien andere modellen uitzonderlijk goed op TPU's, maar hebben ze moeite op Nvidia GPU's.
Het niveau van optimalisatie gaat dieper dan de meeste waarnemers beseffen. Patel merkte op dat overwegingen onder meer betrekking hebben op expert-vormen, input-outputpatronen van netwerken, de afhandeling van collectieven en de rekenintensiteit van aandachtmechanismen. Alles wordt gecoco-optimaliseerd tussen het model, de hardware en de infrastructuursoftware daartussenin. Het wordt bijna onmogelijk om te ontrafelen waar de winst vandaan komt, omdat de echte doorbraak plaatsvindt wanneer je alle drie de lagen tegelijkertijd optimaliseert.
Modelarchitecturen divergeren op basis van hardwarekeuzes
Volgens de analyse van Patel convergeren OpenAI en Anthropic naar wezenlijk verschillende modelarchitecturen. De modellen van OpenAI zijn veel 'sparser', wat bepaalde voordelen biedt en hen richting andere hardware-optimalisatie duwt. De modellen van Anthropic zijn nog steeds sparse, maar over het algemeen dichter, wat tot andere afwegingen leidt. Deze architecturale keuzes worden niet los van de hardware gemaakt. De netwerktopologie is eveneens van groot belang. Alle chips van Nvidia zijn verbonden met NVLink-switches, die slechts 72 GPU's kunnen verbinden. De interconnect van Google heeft geen switch, maar kan 8.000 chips verbinden op superhoge bandbreedte door via andere chips te routeren. Deze fundamentele infrastructuurverschillen beïnvloeden welke modelarchitecturen het beste werken op elk platform.
De implicaties strekken zich uit tot de vraag welke laboratoria de voorkeur zullen geven aan welke hardware. De richting waarin de modellen van OpenAI zich ontwikkelen, maakt TPU's voor hen mogelijk een slechte keuze, suggereerde Patel. Ondertussen zou de richting die de modellen van Anthropic en Google inslaan, GPU's minder geschikt kunnen maken voor training. Hij benadrukte dat dit niet betekent dat de ene architectuur objectief beter is dan de andere. Het draait om co-design. Je kunt ze niet in isolement meten wanneer de optimalisatie zich uitstrekt tot aan de model-laag.
De CUDA-gracht is in feite een ecosysteem-gracht
Het narratief rond de CUDA-gracht van Nvidia wordt volgens Patel verkeerd begrepen. De gracht ging nooit echt over CUDA zelf. Wat er in plaats daarvan gebeurde, is dat de downstream-producten meer geoptimaliseerd raakten voor Nvidia-hardware. DeepSeek, Qwen, Alibaba, Tencent en Xiaomi brachten allemaal modellen uit die waren ontworpen voor GPU's. Wanneer gebruikers deze modellen op TPU's proberen te draaien, presteren ze vaak niet goed. Google zou zijn eigen open-source modelecosysteem moeten creëren – waar ze met de Gemma-modellen mee zijn begonnen – om vergelijkbare netwerkeffecten voor TPU-implementatie te vestigen.
Het traditionele argument voor de CUDA-gracht ging uit van tienduizenden klanten die elk programmeerbaarheid en compatibiliteit nodig hebben. Dat uitgangspunt verandert snel. Er zijn slechts ongeveer enkele tientallen grote modelbedrijven, geen duizenden. Deze laboratoria zijn bereid om aangepaste kernels voor verschillende chips te schrijven. Anthropic gebruikt TPU's op grote schaal voor training en Trainium plus GPU's voor inferentie. Modelbedrijven zoals Claude en nieuwere code-generatiemodellen zijn behoorlijk bedreven geworden in optimalisatiewerk, waardoor een groot deel van de software-stack is gecommoditiseerd. De echte lock-in komt voort uit het feit dat als je een inferentie-API-provider bent of een bedrijf in reinforcement learning dat open modellen probeert aan te passen voor zakelijke toepassingen, je downstream zit van een ecosysteem dat hoofdzakelijk Nvidia gebruikt. De expert-dimensies en verborgen dimensies zijn gestructureerd voor GPU's, dus heb je GPU's nodig om ze efficiënt te draaien, zelfs als je je persoonlijk niet bezighoudt met het schrijven van CUDA-kernels.
InferenceX volgt jaarlijkse kostenverbeteringen van 60x
SemiAnalysis lanceerde InferenceX, een levende benchmark die elke dag de nieuwste modellen draait op voor meer dan $50 miljoen aan gedoneerde hardware. Het initiatief werd mogelijk omdat Patel voldoende geloofwaardigheid in het ecosysteem had opgebouwd om bijdragen veilig te stellen van CoreWeave, Crusoe, Nebius, Oracle, Microsoft, Amazon, Google en OpenAI. De benchmark werkt samen met SG Lang, vLLM en nu Radix Arc en Infract, die vooroplopen in open-source inferentie-optimalisatie. Zodra TPU's en Trainium worden toegevoegd, zou de totale waarde van de gedoneerde hardware de $100 miljoen moeten overschrijden.
De benchmark draait elke dag ongeveer 15 verschillende chiptypes op alle nieuwste modellen, inclusief de beste modellen van Chinese laboratoria zoals Moonshot, Alibaba, DeepSeek en Qwen, evenals topmodellen uit de Amerikaanse open-sourcewereld. Het systeem doorloopt vele verschillende configuraties en optimalisatietypen en publiceert vervolgens alle resultaten en configuraties openbaar. Dit creëert een Pareto-optimale curve, waarmee een groot probleem in inferentie-benchmarking wordt opgelost waarbij mensen suboptimale configuraties vergelijken om hun eigen hardware er beter uit te laten zien. Iedereen die de optimale implementatie wil, kan open-source containers van InferenceX downloaden en die configuratie draaien, of zelfs automatisch het meest optimale punt voor elk model downloaden.
De curve van doorvoer versus interactiviteit die InferenceX meet, is de belangrijkste curve voor de industrie geworden, betoogde Patel. Verschillende workloads vallen op verschillende punten op deze curve. Sommige toepassingen hebben een superlage latentie en zeer snelle respons nodig voor individuele gebruikers, waarbij de batchgrootte klein is en technieken zoals speculatieve decodering waardevol zijn. Andere workloads omvatten het 's nachts batchgewijs verwerken van veel documenten, waarbij de kosten per token veel belangrijker zijn dan de snelheid. De infrastructuur behandelt AI momenteel als 'one-size-fits-all', maar na verloop van tijd zal de markt segmenteren langs deze curve. De 'fast mode' van Anthropic's Claude kost aanzienlijk meer dan de reguliere modus. OpenAI heeft prioriteitswachtrijen. De data laten zien dat de modelkosten voor equivalente kwaliteit jaarlijks met ongeveer 60x zijn gedaald, een ongelooflijk tempo dat wordt gedreven door software-optimalisatie, hardwareverbeteringen en hun co-design.
Geheugenbandbreedte en vermogensdichtheid zijn de belangrijkste knelpunten
Op de vraag naar de grootste knelpunten die hij op elk niveau van de stack volgt, benadrukte Patel geheugencapaciteit en bandbreedte. De NAND-cel werd ongeveer 25 jaar geleden uitgevonden. De DRAM-cel ongeveer 40 jaar geleden. Er is in die hele periode geen grote doorbraak geweest in de fundamentele celstructuur. Vooruitgang kwam voort uit het stapelen van meer HBM en het sneller laten draaien ervan, maar er komen nieuwe innovaties aan waarbij het geheugen direct op de chip wordt gestapeld in plaats van apart van de chip. Dat zorgt voor een explosie van de bandbreedte, en verschillende bedrijven werken aan deze aanpak.
Vermogensdichtheid vormt een ander kritiek knelpunt. De afgelopen twee decennia bereikten datacenter- en desktopchips een piek van ongeveer één watt per vierkante millimeter silicium. Als je kijkt naar een chip van 100 vierkante millimeter, ligt het stroomverbruik over het algemeen rond de 100 watt of iets minder. Het nieuwste silicium van Nvidia en het nieuwste TPU-silicium vallen nog steeds in dat bereik van één watt per vierkante millimeter. Chips bereiken nu 1.400 watt, waarbij de volgende generatie Nvidia Rubin mikt op 2.000 watt en Rubin Ultra mogelijk de 4.000 watt aantikt. Maar deze toenames komen voort uit het toevoegen van meer siliciumoppervlak, niet uit het verhogen van de vermogensdichtheid.
De spannende ontwikkeling is het werk dat nu in uitvoering is om aanzienlijk meer dan één watt per vierkante millimeter in silicium te pompen. Dit zou betekenen dat er minder siliciumoppervlak nodig is om dezelfde rekenkracht te bereiken, hoewel het op een hoger vermogen draait. Uiteraard creëert dit thermische uitdagingen en problemen met elektrische interferentie, wat de reden is dat het een moeilijk technisch probleem blijft en waarom de industrie is blijven steken op ongeveer één watt per vierkante millimeter. Maar het oplossen van dit knelpunt zou aanzienlijke winst kunnen opleveren.
De rekenkracht-crunch zal aanhouden naarmate modellen de TAM sneller uitbreiden dan het aanbod groeit
Elk kwartaal wordt er aanzienlijk meer rekenkracht ingezet dan het kwartaal daarvoor, met meer datacenters in aanbouw. Dit jaar zal er 20 gigawatt worden ingezet, zelfs rekening houdend met vertragingen, en volgend jaar meer dan 30 gigawatt. Toch verwacht Patel dat de rekenkracht-crunch de voorzienbare toekomst zal aanhouden. De reden is een fundamentele dynamiek waarbij de totale adresseerbare markt (TAM) voor nuttig AI-werk sneller groeit dan de capaciteit aan rekenkracht toeneemt.
De TAM voor modellen zoals Mythos 5 en Fable is niet slechts 2x die van Opus, legde hij uit. Het model is zoveel beter en kan zoveel meer taken aan dat de adresseerbare markt veel meer dan 2x is gegroeid. Toch is de wereldwijde rekenkracht niet verdubbeld in de zes tot acht maanden tussen de lancering van Opus 4.5 en de komst van Fable en Mythos. Modellen verbeteren sneller in capaciteit dan dat rekenkracht schaalt. De marges van Anthropic op Opus 4.8-tokens liggen boven de 80 procent tegen API-prijzen, hoewel de totale bruto marges van het bedrijf enigszins worden gedrukt door deals via Bedrock en Vertex. Met dergelijke hoge marges heeft Anthropic de financiële capaciteit om boven de marktprijzen te betalen voor elke GPU die ze verwerven. Dezelfde logica geldt voor andere toonaangevende laboratoria met sterke unit-economie.
De vraag is wat er gebeurt als de vooruitgang van modellen stagneert. Gesprekken van Patel met ingenieurs bij Anthropic en OpenAI suggereren dat zij er zeer op vertrouwen dat de vooruitgang in een hoog tempo zal doorgaan, misschien zelfs versnellen omdat de modellen zelf nu helpen bij het schrijven van de infrastructuur en het optimaliseren van de code om de volgende generatie sneller te lanceren. Dit creëert een soort pseudo-recursieve zelfverbeteringslus. Als die inschatting klopt, blijft de rekenkracht-crunch bestaan. Als de modelcapaciteiten stagneren, zou het tij kunnen keren naarmate het aanbod de vraag inhaalt.
Neoclouds bestaan omdat expertise van hyperscalers niet overdraagbaar was naar AI-workloads
De opkomst van neoclouds zoals CoreWeave en Crusoe lijkt misschien verrassend gezien de voordelen van hyperscalers op het gebied van schaal en infrastructuur. Patel schreef in 2023 een rapport dat Amazon irriteerde, genaamd 'Amazon Cloud Crisis', waarin hij uitlegde waarom Amazon de beste cloudprovider was voor traditionele workloads. Hun Nitro NIC's boden tenant-isolatie door de hypervisor op de NIC te draaien en alle cores aan klanten te verkopen. Ze kochten ruwe NAND en bouwden aangepaste SSD's voor lagere opslagkosten. Hun aangepaste Graviton-CPU's verlaagden de kosten per core. Al deze innovaties werkten briljant voor de traditionele CPU-gebaseerde cloudwereld.
Maar in de AI-cloud werd veel van deze expertise irrelevant of zelfs schadelijk. De Nitro NIC's schaadden de prestaties en leveren vandaag de dag nog steeds slechtere prestaties, hoewel ze met iteraties zijn verbeterd. Beveiligingsfuncties ontworpen voor multi-tenant timeslicing doen er niet toe wanneer klanten volledige racks van 72 GPU's huren onder langetermijncontracten in plaats van enkele GPU's voor een paar uur. Aangepaste netwerken geoptimaliseerd voor traditionele workloads bij Google en Amazon werkten in feite averechts voor AI-prestaties. De kostenbesparingen van Microsoft door hun eigen datacenters te bouwen, werkten averechts toen hun datacenterteams de noodzaak om prognoses snel te verdubbelen niet aankonden, waardoor ze gedwongen werden capaciteit van neoclouds te leasen.
Prestatievoordelen en time-to-market verklaren een groot deel van de kansen voor neoclouds. De mensen die deze bedrijven bouwen, zijn eigenaren met een hoge leverage die rijk worden door sneller rekenkracht te leveren. Ze kwamen uit achtergronden zoals Bitcoin-mining, waardoor ze leerden opereren in markten met hoge fluctuaties. Ondertussen bieden massale organisaties van hyperscalers geen prikkel voor individuele vermogensvorming om een datacenter zes maanden sneller te bouwen. Nvidia CEO Jensen Huang steunt het neocloud-ecosysteem actief omdat hij wanhopig een multipolaire wereld wil. Een wereld waarin alleen de hyperscalers rekenkracht bouwen en alleen OpenAI, Anthropic en Google toonaangevende modellen hebben, zou Nvidia met drastisch minder leverage achterlaten. Dat Crusoe en CoreWeave over vijf jaar bestaan, betekent dat Google's TPU zwakker zal zijn en Amazon's Trainium zwakker, wat het marktaandeel van GPU's behoudt.
Datacenterbenutting varieert sterk op basis van operationele verfijning
Niet alle gigawatts zijn gelijk. Trainium wordt verkocht tegen een huurtarief van minder dan $10 miljard per gigawatt aan Anthropic en OpenAI. GPU's gingen vóór het recente tekort aan rekenkracht doorgaans voor $12 miljard tot $13 miljard per gigawatt van neoclouds en Amazon. De SpaceX-deal met Google bereikte naar verluidt ongeveer $25 miljard per gigawatt per jaar, een enorme premie. Colocatieprijzen voor datacenters bedroegen voorheen $60 per kilowatt per maand en worden nu verhandeld tussen $120 en $160, waarbij sommige deals $200 bereiken voor klanten met een lagere kredietwaardigheid in premium faciliteiten, of zo laag als $80 in India waar de betrouwbaarheid van het elektriciteitsnet en de connectiviteit minder zijn.
Operationele verfijning creëert enorme waardeverschillen. Google zal 1,5 gigawatt aan hardware inzetten in een datacenter van één gigawatt omdat ze workloads zo diepgaand begrijpen dat ze stroom kunnen verschuiven. In plaats van hardware die op 60 tot 70 procent van het stroomverbruik draait, gebruiken ze continu de volledige gigawatt. Sommige exploitanten sluiten deals met nutsbedrijven waarbij het net duurzaam één gigawatt kan leveren, maar op alle dagen behalve drie per jaar twee gigawatt kan leveren. Ze zetten twee gigawatt aan capaciteit in en gebruiken back-upgeneratoren en batterijen om die piekdagen op te vangen. Dit vereist een superieur beheer van workloads, back-upstroom en eigen opwekkingscapaciteit. Bedrijven die deze strategieën uitvoeren, kunnen effectief twee keer zoveel gigawatts verkopen vanaf dezelfde netaansluiting, of capaciteit verkopen op locaties waar anderen helemaal niet kunnen bouwen.
Een gigawatt gegeven aan Anthropic genereert objectief meer omzet dan een gigawatt gegeven aan OpenAI op basis van de huidige monetisatie, hoewel beide bedrijven elke gigawatt die ze momenteel hebben zouden kunnen verkopen gezien de tarieflimieten en token-maxima. CoreWeave levert objectief betere GPU-rekenprestaties dan Amazon, Google of Microsoft op basis van InferenceX-tests van prestaties en betrouwbaarheid. Maar CoreWeave moet capaciteit zes maanden voordat deze online komt verkopen en die contracten gebruiken om schuld-financiering veilig te stellen voor inkooporders die ze al hebben uitgegeven. SpaceX daarentegen vertelt klanten dat de capaciteit nu draait en dat je deze onmiddellijk kunt kopen, waardoor ze premium prijzen kunnen vragen vanwege de balanssterkte om voorraad te dragen.
Ruimte-datacenters waarschijnlijk niet relevant binnen vijf jaar
Gevraagd naar welk percentage van inferentie-rekenkracht in de ruimte zal plaatsvinden op een termijn van 10 tot 15 jaar, bood Patel een genuanceerde visie die ingaat tegen een deel van de hype. Hij denkt niet dat ruimte-datacenters de komende drie tot vijf jaar veel zullen uitmaken. De echte factor komt neer op de kosten van het bouwen van stroom op land en hoeveel stroom er op land kan worden ingezet. Maar tegen 2040 verwacht hij dat het overgrote deel van de rekenkracht in de ruimte zal opereren. Tegen 2030 zullen alleen OpenAI en Anthropic samen waarschijnlijk over meer dan 100 gigawatt beschikken. Als je Meta, Google en andere spelers toevoegt, komt het totaal uit op een enorme inzet gewijd aan inferentie. Tegen 2040 zal de industrie op terawatt-schaal opereren.
De curve van productiviteitswinsten door AI zal ertoe leiden dat inferentie-inzet een van de grootste markten ter wereld wordt, veel groter dan olie, volgens de inschatting van Patel. Als die voorspelling uitkomt, zullen beperkingen van stroom op land uiteindelijk dwingen tot migratie naar de ruimte. Maar in 2030 verwacht hij dat minder dan 1 procent van de incrementele rekenkracht naar orbitale faciliteiten gaat. De technologie en economie hebben nog een decennium nodig om te rijpen voordat de ruimte de primaire inzetomgeving wordt.