SemiAnalysis: Der wahre 100-fache Sprung in der KI kommt durch Hardware-Software-Co-Design, nicht durch schnellere Chips
Dylan Patel erklärt, warum die gemeinsame Optimierung von Modellen, Kernels und Silizium zu bahnbrechenden Fortschritten führt – und warum der „CUDA-Burggraben“ nie wirklich etwas mit CUDA zu tun hatte.
Dylan Patel, Gründer von SemiAnalysis, vertritt eine provokante These, die dem gängigen Narrativ über den KI-Fortschritt widerspricht. Die größten Gewinne in der Künstlichen Intelligenz entstehen nicht allein durch schnellere Chips. Sie resultieren aus der gemeinsamen Entwicklung von Software und Hardware über den gesamten Stack hinweg. Was hier eine zweifache und dort eine zweifache Verbesserung sein könnte, summiert sich so zu einem 100-fachen Sprung nach vorn. In einem ausführlichen Gespräch mit den Partnern von Sequoia Capital, Shaun Maguire und Sonya Huang, legte Patel dar, warum die Expert-Layers von DeepSeek speziell für die Hopper-Architektur von Nvidia optimiert wurden, warum Googles TPUs bei bestimmten Modellen Mühe haben, effizient zu laufen, und warum der sogenannte CUDA-Burggraben eigentlich nie etwas mit CUDA zu tun hatte.
Hardware-Software-Co-Design treibt exponentielle Gewinne an
Patel widerspricht fundamental der Ansicht, dass die Effizienzsteigerungen bei KI in den letzten drei Jahren primär aus Hardware-Verbesserungen stammten, ergänzt durch einige algorithmische Fortschritte auf Modellebene. Seine Forschung zeigt ein völlig anderes Bild. Bei der am stärksten optimierten Implementierung von DeepSeek gab es in den letzten drei Jahren eine etwa 30-fache Verbesserung von Hopper zu Blackwell. Die gesamte Intelligenz pro Watt hat sich jedoch für eine gleichwertige Qualität um den Faktor 60 verbessert, wobei einige Messungen Kostensenkungen in ähnlicher Größenordnung belegen. Das Delta ergibt sich aus der Co-Optimierung über alle Ebenen hinweg, nicht aus einer einzelnen Verbesserung.
Die Formen aller Expert-Layers in DeepSeek V3 wurden speziell für die Hopper-Architektur optimiert, erklärte Patel. Für V4 werden sie für Blackwell und die Chips von Huawei optimiert. Dies erzeugt eine interessante Dynamik: Googles TPUs, obwohl objektiv beeindruckende Chips, die die gesamte DeepMind-Infrastruktur betreiben und das Pre-Training für Anthropic abwickeln, schneiden beim Ausführen von DeepSeek-Modellen tatsächlich schlecht ab. Das Modell wurde schlicht nicht für diese Hardware konzipiert. Umgekehrt laufen andere Modelle hervorragend auf TPUs, haben aber auf Nvidia-GPUs Schwierigkeiten.
Der Grad der Optimierung geht tiefer, als die meisten Beobachter erkennen. Patel wies darauf hin, dass Überlegungen zu Expert-Shapes, Input-Output-Mustern des Netzwerks, der Handhabung von Collectives und der arithmetischen Intensität von Attention-Mechanismen einfließen. Alles wird zwischen dem Modell, der Hardware und der dazwischenliegenden Infrastruktur-Software co-optimiert. Es wird nahezu unmöglich, die Ursprünge der Gewinne zu trennen, da der eigentliche Durchbruch geschieht, wenn man alle drei Ebenen gleichzeitig optimiert.
Modellarchitekturen divergieren basierend auf Hardware-Entscheidungen
OpenAI und Anthropic bewegen sich laut Patels Analyse auf deutlich unterschiedliche Modellarchitekturen zu. Die Modelle von OpenAI sind wesentlich dünner besetzt (sparse), was bestimmte Vorteile bringt und sie in Richtung anderer Hardware-Optimierungen drängt. Die Modelle von Anthropic sind zwar ebenfalls sparse, aber im Allgemeinen dichter, was andere Kompromisse erfordert. Diese architektonischen Entscheidungen werden nicht isoliert von der Hardware getroffen. Auch die Netzwerktopologie spielt eine bedeutende Rolle. Alle Nvidia-Chips sind mit NVLink-Switches verbunden, die nur 72 GPUs koppeln können. Googles Interconnect hat keinen Switch, kann aber 8.000 Chips bei extrem hoher Bandbreite verbinden, indem die Daten durch andere Chips geleitet werden. Diese grundlegenden Infrastrukturunterschiede beeinflussen, welche Arten von Modellarchitekturen auf der jeweiligen Plattform am besten funktionieren.
Die Implikationen erstrecken sich darauf, welche Labore welche Hardware bevorzugen werden. Die Richtung, in die sich die Modelle von OpenAI entwickeln, macht TPUs für sie potenziell zu einer schlechten Wahl, so Patel. Unterdessen könnten die Modelle von Anthropic und Google dazu führen, dass GPUs für ihr Training weniger geeignet sind. Er betonte, dass es nicht darum gehe, dass eine Architektur objektiv besser sei als eine andere. Es läuft auf Co-Design hinaus. Man kann sie nicht isoliert messen, wenn die Optimierung bis hinauf zur Modellebene reicht.
Der CUDA-Burggraben ist eigentlich ein Ökosystem-Burggraben
Das Narrativ um Nvidias CUDA-Burggraben ist aus Patels Sicht ein Missverständnis. Der Burggraben hatte nie wirklich etwas mit CUDA selbst zu tun. Stattdessen sind die nachgelagerten Produkte immer stärker für Nvidia-Hardware optimiert worden. DeepSeek, Qwen, Alibaba, Tencent und Xiaomi haben alle Modelle veröffentlicht, die für GPUs co-optimiert wurden. Wenn Nutzer versuchen, diese Modelle auf TPUs auszuführen, funktionieren sie oft nicht gut. Google müsste sein eigenes Open-Source-Modell-Ökosystem schaffen – was sie mit den Gemma-Modellen begonnen haben –, um ähnliche Netzwerkeffekte für den TPU-Einsatz zu etablieren.
Das traditionelle Argument des CUDA-Burggrabens ging von zehntausenden Kunden aus, die jeweils Programmierbarkeit und Kompatibilität benötigen. Diese Prämisse ändert sich rapide. Es gibt nur noch in der Größenordnung von zehn großen Modellfirmen, nicht tausende. Diese Labore sind bereit, benutzerdefinierte Kernels für verschiedene Chips zu schreiben. Anthropic nutzt TPUs intensiv für das Training und Trainium plus GPUs für die Inferenz. Modellfirmen wie Claude und neuere Code-Generierungs-Modelle sind sehr fähig in der Optimierungsarbeit geworden, was einen Großteil des Software-Stacks commoditized hat. Der echte Lock-in-Effekt entsteht dadurch, dass man, wenn man ein Inferenz-API-Anbieter oder ein Unternehmen für Reinforcement Learning ist, das offene Modelle für Geschäftszwecke anpassen will, von einem Ökosystem abhängig ist, das überwiegend Nvidia nutzt. Die Expert-Dimensionen und Hidden-Dimensionen sind für GPUs strukturiert, daher benötigt man GPUs, um sie effizient auszuführen – selbst wenn man sich persönlich nicht für das Schreiben von CUDA-Kernels interessiert.
InferenceX verfolgt 60-fache jährliche Kostenverbesserungen
SemiAnalysis hat InferenceX gestartet, einen lebendigen Benchmark, der jeden Tag die neuesten Modelle auf Hardware im Wert von über 50 Millionen Dollar ausführt, die von Partnern bereitgestellt wurde. Die Initiative wurde möglich, weil Patel genug Glaubwürdigkeit im Ökosystem aufgebaut hatte, um Beiträge von CoreWeave, Crusoe, Nebius, Oracle, Microsoft, Amazon, Google und OpenAI zu sichern. Der Benchmark arbeitet mit SG Lang, vLLM und nun auch Radix Arc und Infract zusammen, die führend bei Open-Source-Inferenzoptimierungen sind. Sobald TPUs und Trainium hinzugefügt werden, dürfte der Wert der bereitgestellten Hardware 100 Millionen Dollar übersteigen.
Der Benchmark führt täglich etwa 15 verschiedene Chiptypen mit allen neuesten Modellen aus, darunter die besten Modelle chinesischer Labore wie Moonshot, Alibaba, DeepSeek und Qwen sowie führende US-Open-Source-Modelle. Das System durchläuft viele verschiedene Konfigurationen und Optimierungsarten und veröffentlicht dann alle Ergebnisse und Konfigurationen öffentlich. Dies erzeugt eine Pareto-optimale Kurve und löst ein großes Problem beim Inferenz-Benchmarking, bei dem oft suboptimale Konfigurationen verglichen werden, um die eigene Hardware besser aussehen zu lassen. Jeder, der die optimale Implementierung wünscht, kann Open-Source-Container von InferenceX herunterladen und diese Konfiguration ausführen oder sogar den optimalen Punkt für jedes Modell automatisch abrufen.
Die Kurve zwischen Durchsatz und Interaktivität, die InferenceX misst, ist laut Patel zur wichtigsten Kurve der Branche geworden. Verschiedene Workloads fallen an unterschiedlichen Punkten auf diese Kurve. Einige Anwendungen benötigen extrem niedrige Latenz und sehr schnelle Antworten für einzelne Nutzer, wobei die Batch-Größe gering ist und Techniken wie Speculative Decoding wertvoll sind. Andere Workloads beinhalten die Batch-Verarbeitung vieler Dokumente über Nacht, bei denen die Kosten pro Token weit wichtiger sind als die Geschwindigkeit. Die Infrastruktur behandelt KI derzeit als „One-Size-Fits-All“-Lösung, aber mit der Zeit wird sich der Markt entlang dieser Kurve segmentieren. Der „Fast Mode“ von Claudes Anthropic kostet wesentlich mehr als der reguläre Modus. OpenAI hat Prioritäts-Queuing. Die Daten zeigen, dass die Modellkosten für gleichwertige Qualität jährlich um etwa das 60-fache gesunken sind – ein unglaubliches Tempo, angetrieben durch Softwareoptimierung, Hardwareverbesserungen und deren Co-Design.
Speicherbandbreite und Leistungsdichte sind die Engpässe
Auf die Frage nach den größten Engpässen, die er auf allen Ebenen des Stacks beobachtet, nannte Patel Speicherkapazität und Bandbreite. Die NAND-Zelle wurde vor etwa 25 Jahren erfunden. Die DRAM-Zelle vor etwa 40 Jahren. In diesem gesamten Zeitraum gab es keinen großen Durchbruch bei der grundlegenden Zellstruktur. Der Fortschritt kam durch das Stapeln von mehr HBM und dessen schnellere Taktung, aber es stehen neue Innovationen an, bei denen der Speicher direkt auf den Chip gestapelt wird, anstatt ihn separat neben dem Chip zu platzieren. Das lässt die Bandbreite explodieren, und mehrere Unternehmen arbeiten an diesem Ansatz.
Die Leistungsdichte stellt eine weitere kritische Einschränkung dar. In den letzten zwei Jahrzehnten erreichten Rechenzentrums- und Desktop-Chips einen Spitzenwert von etwa einem Watt pro Quadratmillimeter Silizium. Wenn man einen Chip mit 100 Quadratmillimetern betrachtet, liegt der Stromverbrauch im Allgemeinen bei etwa 100 Watt oder etwas weniger. Die neuesten Nvidia-Silizium-Chips und die neuesten TPU-Silizium-Chips liegen immer noch in diesem Bereich von einem Watt pro Quadratmillimeter. Chips erreichen jetzt 1.400 Watt, wobei die nächste Nvidia-Generation Rubin auf 2.000 Watt abzielt und Rubin Ultra potenziell 4.000 Watt erreichen könnte. Aber diese Steigerungen kommen durch das Hinzufügen von mehr Siliziumfläche, nicht durch eine Erhöhung der Leistungsdichte.
Die spannende Entwicklung ist die Arbeit, die derzeit im Gange ist, um wesentlich mehr als ein Watt pro Quadratmillimeter in Silizium zu pumpen. Das würde bedeuten, dass weniger Siliziumfläche benötigt wird, um die gleiche Rechenleistung zu erzielen, wenn auch bei höherer Leistungsaufnahme. Offensichtlich schafft das thermische Herausforderungen und elektrische Interferenzprobleme, weshalb es ein schwieriges technisches Problem bleibt und die Industrie bei etwa einem Watt pro Quadratmillimeter feststeckte. Aber die Lösung dieser Einschränkung könnte signifikante Gewinne freisetzen.
Der Rechenkraft-Engpass wird anhalten, da Modelle den adressierbaren Markt schneller erweitern als das Angebot wächst
Jedes Quartal wird wesentlich mehr Rechenleistung bereitgestellt als im vorherigen, und es werden mehr Rechenzentren gebaut. In diesem Jahr werden 20 Gigawatt bereitgestellt, selbst unter Berücksichtigung von Verzögerungen, und im nächsten Jahr über 30 Gigawatt. Dennoch erwartet Patel, dass der Engpass bei der Rechenkapazität auf absehbare Zeit anhalten wird. Der Grund liegt in einer fundamentalen Dynamik, bei der der adressierbare Gesamtmarkt (TAM) für nützliche KI-Arbeit schneller wächst als die Rechenkapazität.
Der TAM für Modelle wie Mythos 5 und Fable ist nicht nur doppelt so groß wie der von Opus, erklärte er. Das Modell ist so viel besser und kann so viele Aufgaben mehr bewältigen, dass der adressierbare Markt weit mehr als nur um den Faktor zwei gewachsen ist. Doch die Rechenleistung der Welt hat sich in den sechs bis acht Monaten zwischen dem Start von Opus 4.5 und dem Erscheinen von Fable und Mythos nicht verdoppelt. Die Leistungsfähigkeit der Modelle verbessert sich schneller, als die Rechenleistung skaliert. Die Margen von Anthropic bei Opus 4.8-Tokens liegen bei API-Preisen bei über 80 Prozent, obwohl die gesamten Bruttomargen des Unternehmens durch Verträge über Bedrock und Vertex etwas gedrückt werden. Mit solch hohen Margen hat Anthropic die finanzielle Kapazität, über Marktpreise für jede GPU zu zahlen, die sie erwerben. Die gleiche Logik gilt für andere führende Labore mit starken Stückökonomien.
Die Frage ist, was passiert, wenn der Modellfortschritt ins Stocken gerät. Patels Gespräche mit Ingenieuren bei Anthropic und OpenAI deuten darauf hin, dass sie weiterhin sehr zuversichtlich sind, dass der Fortschritt in einem rasanten Tempo weitergehen wird, vielleicht sogar beschleunigt, da die Modelle selbst jetzt dabei helfen, die Infrastruktur zu schreiben und den Code zu optimieren, um die nächste Generation früher auf den Markt zu bringen. Dies schafft eine Art pseudo-rekursive Selbstverbesserungsschleife. Wenn diese Einschätzung korrekt ist, bleibt der Engpass bei der Rechenleistung bestehen. Wenn sich die Modellfähigkeiten jedoch einpendeln, könnte sich das Blatt wenden, sobald das Angebot die Nachfrage einholt.
Neoclouds existieren, weil die Expertise der Hyperscaler nicht auf KI-Workloads übertragbar war
Das Aufkommen von Neoclouds wie CoreWeave und Crusoe mag angesichts der Vorteile der Hyperscaler bei Skalierung und Infrastruktur überraschend erscheinen. Patel schrieb 2023 einen Bericht, der Amazon verärgerte, mit dem Titel „Amazon Cloud Crisis“, in dem er erklärte, warum Amazon der beste Cloud-Anbieter für traditionelle Workloads war. Ihre Nitro-NICs boten Mandantenisolierung, indem der Hypervisor auf der NIC lief und alle Kerne an Kunden verkauft wurden. Sie kauften rohes NAND und bauten benutzerdefinierte SSDs für niedrigere Speicherkosten. Ihre benutzerdefinierten Graviton-CPUs senkten die Kosten pro Kern. All diese Innovationen funktionierten brillant für die traditionelle CPU-basierte Cloud-Welt.
Doch in der KI-Cloud wurde ein Großteil dieser Expertise irrelevant oder sogar schädlich. Die Nitro-NICs beeinträchtigten die Leistung und liefern heute immer noch eine schlechtere Leistung, obwohl sie sich mit Iterationen verbessert haben. Sicherheitsfunktionen, die für Multi-Tenant-Timeslicing konzipiert wurden, spielen keine Rolle, wenn Kunden ganze 72-GPU-Racks unter Langzeitverträgen mieten, anstatt einzelne GPUs für ein paar Stunden. Benutzerdefinierte Netzwerke, die bei Google und Amazon für traditionelle Workloads optimiert waren, arbeiteten tatsächlich gegen die KI-Leistung. Microsofts Kosteneinsparungen durch den Bau eigener Rechenzentren gingen nach hinten los, als ihre Rechenzentrumsteams nicht mit der Notwendigkeit zurechtkamen, die Prognosen schnell zu verdoppeln, was sie dazu zwang, Neocloud-Kapazitäten zu leasen.
Leistungsvorteile und Time-to-Market erklären einen Großteil der Neocloud-Chance. Die Leute, die diese Unternehmen aufbauen, sind hochgradig gehebelte Eigenkapitaleigentümer, die reich werden, indem sie Rechenleistung schneller liefern. Sie kamen aus Hintergründen wie dem Bitcoin-Mining, die sie lehrten, in Märkten mit hohen Schwankungen zu operieren. Unterdessen bieten massive Hyperscaler-Organisationen keinen Anreiz zur individuellen Vermögensbildung für den Bau eines Rechenzentrums sechs Monate früher. Nvidia-CEO Jensen Huang unterstützt das Neocloud-Ökosystem aktiv, weil er verzweifelt eine multipolare Welt will. Eine Welt, in der nur die Hyperscaler Rechenleistung aufbauen und nur OpenAI, Anthropic und Google führende Modelle haben, würde Nvidia mit drastisch reduziertem Einfluss zurücklassen. Wenn Crusoe und CoreWeave in fünf Jahren noch existieren, bedeutet das, dass Googles TPU schwächer und Amazons Trainium schwächer sein werden, was den Marktanteil von GPUs bewahrt.
Die Auslastung von Rechenzentren variiert stark je nach operativer Raffinesse
Nicht alle Gigawatt sind gleich. Trainium wird an Anthropic und OpenAI zu einer Mietrate von unter 10 Milliarden Dollar pro Gigawatt verkauft. GPUs kosteten vor der jüngsten Knappheit bei der Rechenleistung typischerweise 12 bis 13 Milliarden Dollar pro Gigawatt von Neoclouds und Amazon. Der SpaceX-Deal mit Google erreichte Berichten zufolge etwa 25 Milliarden Dollar pro Gigawatt jährlich – ein massiver Aufschlag. Die Preise für Colocation in Rechenzentren lagen früher bei 60 Dollar pro Kilowatt pro Monat und liegen heute zwischen 120 und 160 Dollar, wobei einige Abschlüsse für Kunden mit schwächerer Bonität in Premium-Einrichtungen 200 Dollar erreichen oder in Indien, wo die Netzstabilität und Konnektivität schlechter sind, bei nur 80 Dollar liegen.
Operative Raffinesse schafft enorme Wertunterschiede. Google setzt 1,5 Gigawatt Hardware in einem Ein-Gigawatt-Rechenzentrum ein, weil sie Workloads so tiefgreifend verstehen, dass sie die Leistung verschieben können. Anstatt Hardware mit 60 bis 70 Prozent Stromverbrauch laufen zu lassen, nutzen sie das volle Gigawatt kontinuierlich. Einige Betreiber schließen Verträge mit Versorgungsunternehmen ab, bei denen das Netz nachhaltig ein Gigawatt liefern kann, aber an allen Tagen außer dreien pro Jahr zwei Gigawatt liefern kann. Sie setzen zwei Gigawatt Kapazität ein und nutzen Notstromaggregate und Batterien, um diese Tage mit Spitzenbelastung zu bewältigen. Dies erfordert ein exzellentes Management von Workloads, Notstrom und eigener Stromerzeugung vor Ort. Unternehmen, die diese Strategien umsetzen, können effektiv doppelt so viele Gigawatt über denselben Netzanschluss verkaufen oder Kapazitäten an Standorten verkaufen, an denen andere überhaupt nicht bauen können.
Ein Gigawatt, das an Anthropic geht, generiert objektiv mehr Umsatz als ein Gigawatt, das an OpenAI geht, basierend auf der aktuellen Monetarisierung, obwohl beide Unternehmen jedes Gigawatt, das sie derzeit haben, angesichts von Ratenbegrenzungen und Token-Maxima verkaufen könnten. CoreWeave liefert objektiv eine bessere GPU-Rechenleistung als Amazon, Google oder Microsoft, basierend auf InferenceX-Tests zu Leistung und Zuverlässigkeit. Aber CoreWeave muss Kapazitäten sechs Monate vor der Inbetriebnahme verkaufen und diese Verträge nutzen, um sich eine Fremdfinanzierung für bereits erteilte Bestellungen zu sichern. SpaceX hingegen teilt Kunden mit, dass die Kapazität jetzt läuft und sofort gekauft werden kann, was Premiumpreise ermöglicht, da die Bilanzstärke vorhanden ist, um Lagerbestände zu halten.
Weltraum-Rechenzentren werden in den nächsten fünf Jahren wahrscheinlich keine Rolle spielen
Auf die Frage, wie viel Prozent der Inferenz-Rechenleistung in einem Zeitraum von 10 bis 15 Jahren im Weltraum stattfinden wird, bot Patel eine nuancierte Sichtweise an, die einigen Hypes entgegensteht. Er glaubt nicht, dass Rechenzentren im Weltraum in den nächsten drei bis fünf Jahren eine große Rolle spielen werden. Der eigentliche Faktor sind die Kosten für den Bau von Energieversorgung auf terrestrischem Boden und wie viel Energie terrestrisch bereitgestellt werden kann. Aber bis 2040 erwartet er, dass der Großteil der Rechenleistung im Weltraum betrieben wird. Bis 2030 werden allein OpenAI und Anthropic zusammen wahrscheinlich über 100 Gigawatt beanspruchen. Wenn man Meta, Google und andere Akteure hinzurechnet, ergibt sich eine riesige Bereitstellung, die der Inferenz gewidmet ist. Bis 2040 wird die Industrie im Terawatt-Maßstab operieren.
Die Kurve der Produktivitätsgewinne durch KI wird dazu führen, dass der Inferenz-Einsatz zu einem der größten Märkte der Welt wird – nach Patels Einschätzung viel größer als Öl. Wenn sich diese Prognose als korrekt erweist, werden terrestrische Energieengpässe schließlich zur Migration in den Weltraum zwingen. Aber für 2030 erwartet er, dass weniger als 1 Prozent der zusätzlichen Rechenleistung in orbitale Einrichtungen fließen wird. Die Technologie und die Wirtschaftlichkeit benötigen noch ein Jahrzehnt der Reifung, bevor der Weltraum zur primären Einsatzumgebung wird.