SemiAnalysis veröffentlicht am 5. November 2026 erste AgentX-Benchmarks mit langem Kontext und mehreren Runden (Multi-Turn) für den TPUv7 über vier Modelle hinweg

Google hat laut SemiAnalysis die Herausforderung angenommen, die Nvidia-CEO Jensen Huang im Dwarkesh Podcast ausgesprochen hatte, als er anfrug, dass kein anderer Chip-Anbieter Ergebnisse zum InferenceX-Benchmark vorweise. Das Analysehaus hat die nach eigenen Angaben ersten offiziellen, realistischen agentischen Inferenz-Ergebnisse mit langem Kontext und mehreren Runden für den TPUv7 (Codename: Ironwood) veröffentlicht. Die Ergebnisse umfassen vier Modelle. Der TPUv7 ist bei der Leistung je US-Dollar für externe Kunden entweder wettbewerbsfähig oder liefert in einigen Konfigurationen das beste eingereichte Ergebnis. SemiAnalysis bewertet dies als die Software-Hälfte der TPU-Erfolgsgeschichte. Nvidias Marktabschottung (Moat) stützte sich historisch gesehen ebenso sehr auf sein Entwicklerökosystem wie auf die Halbleiter selbst.

Qwen3.5-Ergebnisse veranlassen Nvidia zu einer Gegen-Einreichung

Das folgenreichste Resultat betrifft das Modell Qwen3.5 397B auf vLLM, Googles erste AgentX-Einreichung vor zwei Wochen. Wie SemiAnalysis ausführt, lieferte der mit FP8 betriebene TPUv7 eine um den Faktor 1,67 bessere Leistung je US-Dollar als der GB300 NVL72 unter Einsatz von FP4 – einem Format mit niedrigerer Präzision, das normalerweise einen erheblichen Durchsatzvorteil bietet. Beim disaggregierten Serving über llm-d übertraf der TPUv7 (FP8) den GB300 (FP8) auf jeder Interaktivitätsstufe, bei hohem Durchsatz sogar um mehr als das Doppelte. Im Ultraschnell-Bereich wurden zudem mehr als 1.000 Tokens pro Sekunde und Nutzer (tok/s/user) erreicht.

Nvidia habe darauf aggressiv reagiert, so SemiAnalysis. Das Unternehmen habe „eine Eingreiftruppe aus menschlichen Ingenören und Agenten-Schwären angesetzt, die rund um die Uhr, bis spät in die Nacht gegen 2 Uhr Ortszeit und an Wochenenden, in den USA und auf dem chinesischen Festland gearbeitet hat“. Nvidias erste GB300-FP4-Gegeneinreichung schlägt den TPUv7 FP8 beim Decodieren zwar tatsächlich. Dem Bericht zufolge war diese jedoch zulasten des Preliminaries (Prefill) zu stark auf das Decodieren optimiert, was die End-to-End-Ergebnisse beeinträchtigte. Auf End-to-End-Basis führt der TPUv7 FP8 nach wie vor, und die Gegeneinreichung bleibt über den Großteil der Kurve hinweg 1,64-mal teurer beziehungsweise schlechter im Preis-Leistungs-Verhältnis als der TPUv7 FP8. SemiAnalysis geht davon aus, dass Nvidia mit ausreichend Optimierung beim Vergleich zwischen GB300 FP4 und TPUv7 FP8 einen leichten Vorsprung zurückgewinnen könnte. Ein Comeback bei Vergleichen von FP8 zu FP8 bei bestimmten Modellen hält das Haus jedoch für ausgeschlossen.

Nvidia mag argumentieren, dass Qwen3.5 für das Unternehmen irrelevant sei. SemiAnalysis weist dies unter Verweis auf eigene Einreichungsanalysen zurück. Nvidia hat demnach für bestimmte SKUs mehr als 20 % seiner GPU-Benchmark-Stunden in dieses Modell investiert und einige seiner stärksten Inferenz-Ingenieure dafür abgestellt. Darüber hinaus nutzen bestimmte Hyperscaler und KI-Labore Qwen3.5 397B sowie Billionen-Parameter-Derivate seiner Architektur als Stellvertretermodelle (Proxy Models) für Hardware-Beschaffung und Kapazitätsplanung.

GLM-5.2 und Kimi K3: Günstigste Optionen bei FP8, aber FP4-GPUs siegen nach wie vor absolut

Beim Modell GLM-5.2 – einem Mixture-of-Experts-Modell mit 744 Milliarden Parametern und rund 39 Milliarden aktiven Parametern – ist der TPUv7 die günstigste FP8-Option. Zwischen 60 und 300 tok/s/user liefert er das 1,2- bis 2,7-fache an Tokens pro US-Dollar im Vergleich zu B200, B300 und MI355X sowie das 4,4-fache im Vergleich zum H200 bei 150 tok/s/user. Der Bericht benennt die Grenzen dieser Aussage unmissverständlich: Nvidias FP4-GPUs führen bei den meisten Geschwindigkeiten weiterhin beim Kostenfaktor. Bei 100 tok/s/user liefern GB300 und GB200 FP4 das 3,6-fache beziehungsweise 3,5-fache an Tokens pro US-Dollar im Vergleich zum TPUv7. Der TPUv7 verfügt über keine native FP4-Unterstützung; SemiAnalysis rechnet erst im ersten Quartal 2027 mit dem TPUv8 mit einer Änderung. FP4 birgt bei diesem Modell einen leichten Genauigkeitsnachteil, da GLM-5.3 nicht nativ auf Quantisierung für blockskaliertes FP4 ausgelegt (quantization-aware trained) wurde. Dies dämpft Nvidias Vorteil, hebt ihn jedoch nicht auf.

Das Ergebnis für Kimi K3, das gemeinsam mit dem vLLM-Entwickler Inferact unter Verwendung von MXFP4-Gewichten eingereicht wurde, verdeutlicht die Dynamik im Wettbewerbsumfeld. Zum Start am 17. Oktober lieferte der TPUv7 im Bereich von 50 bis 200 tok/s/user 0,77 bis 0,91 des Tokens-pro-Dollar-Werts des GB300. Zudem war er für einen einzelnen Nutzer mit 391 tok/s/user gegenüber 251 um das 1,6-fache schneller. Auf Basis von Googles internen Kostenstrukturen schlug er den GB300 bei 100 und 200 tok/s/user. Nach vier Software-Aktualisierungen seitens Nvidia führt der GB300 FP4 nun um das 1,5- bis 2,6-fache. Der TPUv7 liefert indes nach wie vor das 1,15- bis 2,5-fache an Tokens pro US-Dollar im Vergleich zu GB200, B200, B300 und MI355X. Vorabversionen für den Rubin VR200 zeigen das 4,3- bis 5,6-Fache des TPUv7-Werts, in einigen Vergleichen sogar bis zum Sechsfachen. SemiAnalysis bezeichnet dies als unfairen Vergleich, da der Rubin dem TPUv8i gegenübergestellt werden müsste, den das Haus demnächst benchen will. Zudem wird betont, dass es sich bei den Rubin-Zahlen um Vorschau-Einreichungen handelt, die noch nicht unabhängig reproduziert wurden.

Metas Muse Spark Open beweist TPU-Wettbewerbsfähigkeit bei einem auf GPUs zugeschnittenen Modell

Das technisch interessanteste Resultat dürfte Metas Muse Spark Open sein – ein Modell mit 816 Milliarden Parametern, das auf SGLang mit TorchTPU läuft und von RadixArk, einem führenden Entwickler von SGLang, eingereicht wurde. Wie SemiAnalysis berichtet, setzt Meta den TPUv7 über diesen Software-Stack bereits produktiv ein. Dabei kommt SGLang für die produktive Inferenz und vLLM für Rollouts im Bereich des Reinforcement Learning zum Einsatz.

Das Modell wurde ursprünglich mit Blick auf GPUs konzipiert. Seine Head-Dimension von 64 führt dazu, dass bei der Langkontext-Aufmerksamkeitsverarbeitung (Long-Context Attention) 25 % des systolischen Arrays des TPU mit Nullen aufgefüllt (padded) werden müssen. GPU-Matrixkerne verarbeiten kleinere Kacheln, weshalb eine Head-Dimension von 64 statt 128 auf einer H100 oder B200 fast keine Leistung kostet und gleichzeitig die Aufmerksamkeits-Ebene (Attention Layer) kostengünstiger macht. SemiAnalysis weist darauf hin, dass Labore mit großen TPU-Flotten wie Anthropic, Google DeepMind und demnächst auch OpenAI ihre Modelle üblicherweise so co-designen, dass die Attention-Formen zur Hardware passen. Der TPUv7 erzielte dennoch eine wettbewerbsfähige Decodierleistung je US-Dollar – selbst auf Basis von Metas TPU-Beschaffungskosten. Die End-to-End-Latenz ist dem Bericht zufolge jedoch noch nicht wettbewerbsfähig; die Prefill-Kernels erfordern weitere Optimierungen.

Woher die Leistungssteigerungen rühren

SemiAnalysis führt einen Großteil der Fortschritte auf Software-Arbeiten von Google und Open-Source-Entwicklern zurück. Decodier-Megakernels führen einen vollständigen Decodierschritt in einem einzigen Kernel aus und laden die Gewichtungen der nächsten Ebene im Voraus (prefetch), während die aktuelle Ebene berechnet wird. Dadurch entfallen die Leerlaufpausen zwischen den Hunderte bis Tausende von Kernel-Aufrufen, die bei einem herkömmlichen Schritt anfallen. AMD berichtet, dass eine eigene Variante die Decodierschritte für GLM-5.2 von rund 2.459 Aufrufen auf 210 reduziert und bei Batch-Größe 1 eine 2,31-mal schnellere Ausführung erreicht.

Für den Qwen3.5-Stack hat Google zudem das Framework TPU Sync als Open Source veröffentlicht, welches den KV-Cache und den Zustand der linearen Aufmerksamkeit auf den Host-DRAM auslagert. Ein Cache-bewusstes Routing in llm-d, das jede Anfrage an den Host weiterleitet, der deren Präfix vorhält, steigerte die Cache-Trefferrate beim Decodieren laut Google von 56 % auf 76 %. Zu den Optimierungen für GLM-5.3 gehören die Decodier-Kontextparallelität (Decode Context Parallelism), die Nutzung der SparseCores des TPUv7 zum Einsammeln der 2.048 ausgewählten Cache-Einträge, ein neu verpacktes Indexer-Layout zur Vermeidung von Speicherverschwendung sowie zusätzliche Kernel-Formen für kleine Batches. Der disaggregierte Ansatz ist jedoch mit Kosten verbunden. Im schnellsten Punkt liegt die p90-Latenz bis zum ersten Token (Time to First Token) bei 8,6 Sekunden gegenüber 11,1 Sekunden beim GB300 FP4. Ein auf Anfragen basierendes Routing lässt TPUs bei End-to-End-Messungen weiterhin hinter dem GB300 mit TRT-LLM FP4 zurück, während sie gleichzeitig sowohl gegenüber FP8- als auch FP4-Konfigurationen des GB300 mit SGLang deutlich vorn liegen.

Nvidias Bürokratieproblem

Einen nennenswerten Teil widmet SemiAnalysis der Kritik an Nvidias Unternehmenskultur und bezeichnet Bürokratie als „eines der größten Risiken für Nvidias Marktabschottung, das Jensen bewältigen muss“. Open-Source-Entwickler und Kunden berichten demnach, dass einfache Treibermonopol-Funktionen für die Erfassung von PyTorch CUDA-Graphen (CUDA Graph Capture) seit drei Monaten in einer „internen rechtlichen Prüfung bei Nvidia“ feststecken. Ähnlich schleppend verlaufen laut Bericht Anfragen zur Verbesserung der DCGM-Leistungsdatenüberwachung (Power Telemetry) auf ConnectX-, NVSwitch- und HGX-Platinen. Seiner Erfahrung nach reagiert Nvidia inzwischen langsamer auf externe Vorschläge, Code-Beiträge (Commits) und Feedback als AMD, Google und Amazon.

Auch der Zugang zu Rechenclustern wird moniert. Nvidias Bereitstellung von Rechenleistung für Community-Entwickler sei „in eine Bürokratie im Stil von Kfz-Zulassungsstellen verpackt und bestenfalls knauserig“, was angesichts eines Fünf-Billionen-Dollar-Unternehmens schwer nachvollziehbar sei. Google verfährt im Gegensatz dazu nach dem Nvidia-Playbook und stattet Entwickler großzügig mit Chips aus. So wurde inzwischen ein TPU-Support zum Tag Null (Day 0 Support) für Muse Spark Open und Kimi K3.1 Pro bereitgestellt. Auch AMD zeigt sich gegenüber Upstream-Entwicklern großzügiger. Lob zollt der Bericht einigen Nvidia-Teams, insbesondere der ehemaligen vLLM-Gruppe von CentML, die die Megakernel-Arbeiten von AMD und TPU innerhalb einer Woche nachgezogen hat.

Vorbehalte zur Beweislage

Investoren sollten mehrere Faktoren abwägen. Der Benchmark InferenceX stammt von SemiAnalysis selbst, auch wenn er von einer breiten Basis aus Käufern, Laboren und Open-Source-Projekten unterstützt wird. Der Bericht unterscheidet zwischen Googles internen Kosten und den Preisen für externe Kunden, wobei sich der TPU-Vorteil bei einigen dieser Vergleiche verringert oder umkehrt. Die Rubin-Ergebnisse sind ungeprüfte Vorabversionen, und Nvidia hat bislang bewiesen, dass das Unternehmen seine Resultate rasch verbessern kann. Der Bericht räumt ein, dass dem TPUv7 die FP4-Unterstützung fehlt und er bei der End-to-End-Latenz in einigen Konfigurationen hinterherhinkt. Dennoch argumentiert SemiAnalysis, dass ein glaubwürdiges Preis-Leistungs-Verhältnis von TPUs bei agentischen Workloads – bereitgestellt über vLLM, SGLang, llm-d und PyTorch – die Annahme entkräftet, CUDA sei der einzig gangbare Weg für die Produktion. Zudem wird darauf hingewiesen, dass Oracle, OpenAI, Anthropic und Meta allesamt zu TPU-Kunden geworden sind, wie es das Accelerator-Modell des Hauses prognostiziert hatte. Weitere AgentX-Einreichungen von RadixArk und erste TPUv8i-Benchmarks werden in Kürze erwartet.