SemiAnalysis publiceert eerste long-context, multi-turn AgentX-benchmarks voor TPUv7 over vier modellen, 5 november 2026

Volgens SemiAnalysis heeft Google de uitdaging opgepakt die CEO Jensen Huang van Nvidia eerder wierp op de Dwarkesh Podcast, toen hij opmerkte dat geen enkele andere chipmaker resultaten liet zien op de InferenceX-benchmark. Het onderzoeksbureau heeft wat het noemt de eerste officiële, realistische long-context, multi-turn agentic inference-resultaten gepubliceerd voor de TPUv7 (Ironwood). De resultaten hebben betrekking op vier modellen. De TPUv7 is competitief qua prestaties per dollar voor externe klanten of levert in bepaalde configuraties zelfs het beste resultaat dat is ingediend. SemiAnalysis omschrijft dit als de softwarematige kant van het TPU-verhaal. De marktpositie van Nvidia steunde historisch gezien evenveel op het ecosysteem voor ontwikkelaars als op de chips zelf.

Resultaten voor Qwen3.5 leiden tot een tegenindending van Nvidia

Het meest ingrijpende resultaat betreft Qwen3.5 397B op vLLM, de eerste AgentX-inzending van Google van twee weken geleden. SemiAnalysis stelt dat TPUv7 met FP8 een 1,67 keer zo goede prijs-prestatieverhouding liet zien als de GB300 NVL72 met FP4, een formaat met lagere precisie dat doorgaans een groot voordeel biedt qua verwerkingscapaciteit. Met llm-d gedesaggregeerde serverarchitectuur versloeg TPUv7 FP8 de GB300 FP8 op elk interactiviteitsniveau, met ruim een factor 2 bij een hoge doorvoer. Ook werd de grens van 1.000 tok/s/user overschreden in het ultrafast-segment.

SemiAnalysis meldt dat Nvidia agressief heeft gereageerd. Het bedrijf "zette een speciale eenheid in van menselijke ingenieurs en agentswerms die 997, tot diep in de nacht om 02:00 uur lokale tijd en in het weekend, doorwerkten in zowel de VS als het vasteland van China." Nvidia's eerste tegeninzending met GB300 FP4 overtreft de TPUv7 FP8 weliswaar op het gebied van decodeprestaties. Het rapport vermeldt echter dat deze te sterk was geoptimaliseerd voor decoding ten koste van prefill, wat de end-to-end resultaten nadelig beïnvloedde. Op end-to-end basis behoudt TPUv7 FP8 de leiding, en de tegeninzending blijft over het grootste deel van de curve 1,64 keer zo duur per prestatie-eenheid als TPUv7 FP8. SemiAnalysis is van mening dat Nvidia met voldoende optimalisatie een licht overwicht kan herwinnen met de GB300 FP4 ten opzichte van TPUv7 FP8. Het acht echter onwaarschijnlijk dat Nvidia bij bepaalde modellen de koppositie kan terugpakken in vergelijkingen van FP8 naar FP8.

Nvidia werpt mogelijk tegen dat Qwen3.5 voor hen niet relevant is. SemiAnalysis verwerpt die stelling onder verwijzing naar de inzendingenanalyse. Nvidia heeft voor bepaalde SKU's meer dan 20% van de GPU-rekentijd aan dit model besteed en er enkele van zijn sterkste inference-ingenieurs op gezet. SemiAnalysis voegt eraan toe dat bepaalde hyperscalers en AI-labs Qwen3.5 397B, evenals afgeleiden van die architectuur met meerdere biljarden parameters, gebruiken als proxymodellen voor hardware-inkoop en capaciteitsplanning.

GLM-5.2 en Kimi K3: Goedkoopst op FP8, maar FP4-GPU's winnen nog steeds over de hele linie

Bij GLM-5.2, een mixture-of-experts model met 744 miljard parameters waarvan ongeveer 39 miljard actief, is de TPUv7 de goedkoopste FP8-optie. Van 60 tot 300 tok/s/user levert het 1,2 tot 2,7 keer zoveel tokens per dollar op als de B200, B300 en MI355X, en 4,4 keer zoveel als de H200 bij 150 tok/s/user. Het rapport is openhartig over de grenzen van die claim. De FP4-GPU's van Nvidia blijven bij de meeste snelheden leiden op het gebied van kosten. Bij 100 tok/s/user leveren de GB300 en GB200 FP4 respectievelijk 3,6 en 3,5 keer de tokens per dollar van de TPUv7. De TPUv7 heeft geen native FP4-ondersteuning, en SemiAnalysis verwacht niet dat hier verandering in komt tot de introductie van TPUv8 in het eerste kwartaal van 2027. FP4 brengt bij dit model een geringe nauwkeurigheidsboete met zich mee, omdat GLM-5.3 niet standaard was getraind met kwantisatiebewustzijn voor block-scaled FP4. Dat tempert het voordeel van Nvidia, maar poetst het niet weg.

Het resultaat voor Kimi K3, ingediend in samenwerking met vLLM-ontwikkelaar Inferact op basis van MXFP4-gewichten, laat zien hoe snel het concurrentieveld verschuift. Bij de lancering op 17 oktober leverde TPUv7 0,77 tot 0,91 keer de tokens per dollar van de GB300 bij een snelheid van 50 tot 200 tok/s/user. Het was tevens 1,6 keer sneller voor een enkele gebruiker, met 391 tok/s/user tegenover 251. Op basis van Google's interne kostenstructuur versloeg het de GB300 bij 100 en 200 tok/s/user. Na vier software-updates van Nvidia leidt de GB300 FP4 inmiddels met een factor 1,5 tot 2,6. De TPUv7 levert nog steeds 1,15 tot 2,5 keer de tokens per dollar van de GB200, B200, B300 en MI355X. Voorlopige inzendingen voor de Rubin VR200 tonen een prestatie van 4,3 tot 5,6 keer die van TPUv7, met uitschieters tot 6 keer in sommige vergelijkingen. SemiAnalysis noemt dit een scheve vergelijking, aangezien de Rubin eigenlijk afgezet moet worden tegen de TPUv8i, waarvan het binnenkort benchmarks wil publiceren. Het benadrukt tevens dat de Rubin-cijfers voorlopige inzendingen betreffen die niet onafhankelijk zijn geverifieerd.

Meta's Muse Spark Open toont TPU-concurrentiekracht bij een GPU-gericht model

Het technisch mogelijk meest interessante resultaat is afkomstig van Meta's Muse Spark Open, een model met 816 miljard parameters dat draait op SGLang met TorchTPU en werd ingediend door RadixArk, een hoofdonderhoudser van SGLang. Volgens SemiAnalysis zet Meta de TPUv7 reeds in voor productie via deze stack. Het bedrijf gebruikt SGLang voor productie-inference en vLLM voor reinforcement learning-rollouts.

Het model is ontworpen met het oog op GPU's. Door de hoofddimensie van 64 wordt bij long-context attention 25% van de systolische array van de TPU opgevuld met opvuldata (padding). GPU-matrixcores verwerken kleinere tegels, waardoor een hoofddimensie van 64 in plaats van 128 nagenoeg niets kost op een H100 of B200, terwijl het de attention-laag goedkoper maakt. SemiAnalysis merkt op dat laboratoria met grote TPU-parken, zoals Anthropic, Google DeepMind en binnenkort ook OpenAI, modellen doorgaans zo co-ontwerpen dat de attention-vormen aansluiten op de hardware. De TPUv7 liet nog steeds concurrerende decodeprestaties per dollar zien, zelfs op basis van Google's eigen kosten voor de aanschaf van TPU's. De end-to-end latentie is nog niet concurrerend en het rapport stelt dat prefill-kernels verdere optimalisatie behoeven.

Waar de winst vandaan komt

SemiAnalysis schrijft een groot deel van de vooruitgang toe aan softwarematig werk door Google en open-source-ontwikkelaars. Decode-megakernels voeren een volledige decodeerstap uit binnen één enkele kernel en halen de gewichten van de volgende laag al op terwijl de huidige laag rekent. Dit elimineert de braakliggende pauzes tussen de honderden tot duizenden kernelstarts in een conventionele stap. AMD meldt dat zijn eigen variant een GLM-5.2 decodeerstap terugbrengt van circa 2.459 starts naar 210, en op batchgrootte 1 liefst 2,31 keer zo snel werkt.

Binnen de Qwen3.5-stack heeft Google tevens TPU Sync als open source vrijgegeven, een framework dat de KV-cache en lineaire attention-status wegschrijft naar het host-DRAM. Dankzij cache-bewuste routering in llm-d, waarbij elke vraag wordt gestuurd naar de host die de bijbehorende prefix vasthoudt, steeg de hitratio van de decode-cache volgens Google van 56% naar 76%. Voor GLM-5.3 bestaan de optimalisaties onder meer uit decode context parallelism, het inzetten van de SparseCores van de TPUv7 om de 2.048 geselecteerde cache-elementen te verzamelen, een herschikte indexeerstructuur die verspilde bytes reduceert, en aanvullende kernelvormen voor kleine batches. Deze gedesaggregeerde aanpak brengt wel kosten met zich mee. Op het snelste punt bedraagt de p90-tijd tot de eerste token 8,6 seconden, vergeleken met 11,1 seconden voor de GB300 FP4. Routering op basis van losse vragen laat TPU's end-to-end nog achterlopen op de GB300 TRT-LLM FP4, al presteren ze beduidend beter dan de GB300 SGLang in zowel FP8 als FP4.

Het bureaucratische probleem van Nvidia

SemiAnalysis besteedt een aanzienlijk deel van zijn notitie aan kritiek op de cultuur bij Nvidia, en noemt de bureaucratie "een van de grootste risico's voor de marktpositie van Nvidia die Jensen moet aanpakken." Open-source-ontwikkelaars en klanten melden dat eenvoudige stuurprogrammafuncties die nodig zijn voor de vastlegging van PyTorch CUDA-grafieken al drie maanden in de "interne juridische beoordeling bij Nvidia" liggen. Verzoeken om de DCGM-stroomtelemetrie op ConnectX-, NVSwitch- en HGX-borden te verbeteren, verlopen al even traag. Naar eigen zeggen reageert Nvidia inmiddels trager op externe suggesties, codebijdragen en feedback dan AMD, Google en Amazon.

Ook de toegang tot clusters maakt deel uit van de klachten. SemiAnalysis stelt dat Nvidia's terbeschikkingstelling van rekenkracht aan community-ontwikkelaars is verworden tot iets dat "doortrokken is van bureaucratie in rijksdienststijl en op z'n best karig te noemen is", wat volgens het bureau moeilijk te rijmen valt met een onderneming met een waarde van 5 biljoen dollar. Google past daarentegen het handboek van Nvidia toe door ontwikkelaars rijkelijk te voorzien van chips. Voor Muse Spark Open en Kimi K3.1 Pro is inmiddels dag-één-ondersteuning voor TPU's geleverd. Ook AMD is guller geworden richting upstream-ontwikkelaars. Het rapport geeft krediet aan bepaalde teams binnen Nvidia, in het bijzonder de voormalige vLLM-groep van CentML, die het werk aan de megakernels van AMD en TPU binnen een week wist te evenaren.

Kanttekeningen bij het bewijsmateriaal

Investeerders dienen verschillende punten af te wegen. De benchmark, InferenceX, is eigendom van SemiAnalysis zelf, al wordt deze gesteund door een brede coalitie van inkopers, laboratoria en open-sourceprojecten. Het rapport maakt een onderscheid tussen de interne kostenbasis van Google en de prijzen die externe klanten betalen, en in sommige van die vergelijkingen slinkt het voordeel van de TPU of slaat het zelfs om in een nadeel. Resultaten voor Rubin zijn ongeverifieerde voorbeelden, en Nvidia heeft tot dusver laten zien dat het zijn resultaten snel kan verbeteren. Het rapport erkent dat de TPUv7 geen FP4 ondersteunt en in bepaalde configuraties achterloopt qua end-to-end latentie. Desondanks stelt SemiAnalysis dat een geloofwaardige prijs-prestatieverhouding voor TPU's bij agentic workloads — geleverd via vLLM, SGLang, llm-d en PyTorch — de aanname verzwakt dat CUDA de enige levensvatbare productieroute is. Ook wijst het erop dat Oracle, OpenAI, Anthropic en Meta inmiddels stuk voor stuk TPU-klanten zijn geworden, zoals het Accelerator Model al voorspelde. Verdere AgentX-inzendingen van RadixArk en de eerste benchmarks van de TPUv8i worden binnenkort verwacht.