SemiAnalysis: El verdadero salto de 100x en IA proviene del codiseño de hardware y software, no de chips más rápidos
Dylan Patel explica por qué la optimización conjunta de modelos, kernels y silicio genera ganancias disruptivas, y por qué el "foso" de CUDA nunca fue realmente sobre CUDA.
Dylan Patel, fundador de SemiAnalysis, plantea un argumento provocador que contradice la narrativa convencional sobre el progreso de la IA. Las mayores ganancias en inteligencia artificial no provienen únicamente de chips más rápidos. Provienen del codiseño conjunto de software y hardware a lo largo de toda la arquitectura, convirtiendo lo que podría ser una mejora de 2x aquí y otra de 2x allá en un salto de 100x. En una amplia conversación con los socios de Sequoia Capital, Shaun Maguire y Sonya Huang, Patel expuso por qué las capas de expertos de DeepSeek fueron optimizadas específicamente para la arquitectura Hopper de Nvidia, por qué los TPU de Google tienen dificultades para ejecutar ciertos modelos de manera eficiente y por qué el supuesto "foso" de CUDA nunca fue realmente sobre CUDA.
El codiseño de hardware y software impulsa ganancias exponenciales
Patel discrepa fundamentalmente con la visión de que las ganancias en eficiencia de la IA durante los últimos tres años han provenido principalmente de mejoras en el hardware, con algunos avances algorítmicos a nivel de modelo. Su investigación muestra algo muy distinto. En la implementación más optimizada de DeepSeek, ha habido una mejora de aproximadamente 30x desde Hopper hasta Blackwell en los últimos tres años. Pero la inteligencia total por vatio ha mejorado cerca de 60x para una calidad equivalente, con algunas mediciones que muestran disminuciones de costos de magnitud similar. La diferencia proviene de la cooptimización entre capas, no de una mejora aislada.
Las formas de todas las capas de expertos en DeepSeek V3 fueron optimizadas específicamente para la arquitectura Hopper, explicó Patel. Para la V4, se están optimizando para Blackwell y los chips de Huawei. Esto crea una dinámica interesante donde los TPU de Google, a pesar de ser chips objetivamente asombrosos que ejecutan todo DeepMind y manejan el preentrenamiento para Anthropic, tienen un desempeño deficiente al ejecutar modelos de DeepSeek. El modelo simplemente no fue diseñado para ese hardware. Por el contrario, otros modelos funcionan excepcionalmente bien en los TPU pero tienen dificultades en las GPU de Nvidia.
El nivel de optimización es más profundo de lo que la mayoría de los observadores percibe. Patel señaló que las consideraciones incluyen las formas de los expertos, los patrones de entrada y salida de red, cómo se manejan los colectivos y la intensidad aritmética de los mecanismos de atención. Todo está cooptimizado entre el modelo, el hardware y el software de infraestructura intermedio. Se vuelve casi imposible separar de dónde provienen las ganancias, porque el verdadero avance ocurre cuando se optimizan las tres capas simultáneamente.
Las arquitecturas de los modelos divergen según las elecciones de hardware
OpenAI y Anthropic están convergiendo hacia arquitecturas de modelos significativamente diferentes, según el análisis de Patel. Los modelos de OpenAI son mucho más dispersos, lo que aporta ciertos beneficios y los empuja hacia una optimización de hardware distinta. Los modelos de Anthropic siguen siendo dispersos, pero más densos en general, creando diferentes compensaciones. Estas decisiones arquitectónicas no se toman de forma aislada del hardware. La topología de red también importa significativamente. Todos los chips de Nvidia se conectan a switches NVLink, que solo pueden conectar 72 GPU. La interconexión de Google no tiene switch, pero puede conectar 8.000 chips a un ancho de banda súper alto al pasar a través de otros chips. Estas diferencias fundamentales de infraestructura influyen en qué tipos de arquitecturas de modelos funcionan mejor en cada plataforma.
Las implicaciones se extienden a qué laboratorios preferirán qué hardware. El camino que están tomando los modelos de OpenAI hace que los TPU sean potencialmente una elección terrible para ellos, sugirió Patel. Mientras tanto, la dirección que están tomando los modelos de Anthropic y Google podría hacer que las GPU sean una mala opción para el entrenamiento. Enfatizó que esto no se trata de que una arquitectura sea objetivamente mejor que otra. Todo se reduce al codiseño. No se pueden medir de forma aislada cuando la optimización se extiende hasta la capa del modelo.
El "foso" de CUDA es en realidad un foso de ecosistema
La narrativa en torno al "foso" de CUDA de Nvidia es malinterpretada, según la visión de Patel. El foso nunca fue realmente sobre CUDA en sí. Lo que sucedió es que los productos posteriores se optimizaron más para el hardware de Nvidia. DeepSeek, Qwen, Alibaba, Tencent y Xiaomi lanzaron modelos codiseñados para GPU. Cuando los usuarios intentan ejecutar estos modelos en TPU, a menudo no funcionan bien. Google necesitaría crear su propio ecosistema de modelos de código abierto, algo que han comenzado con los modelos Gemma, para establecer efectos de red similares para la implementación en TPU.
El argumento tradicional del foso de CUDA asumía decenas de miles de clientes que necesitaban programabilidad y compatibilidad. Esa premisa está cambiando rápidamente. Solo hay del orden de decenas de empresas de modelos importantes, no miles. Estos laboratorios están dispuestos a escribir kernels personalizados para diferentes chips. Anthropic utiliza TPU extensivamente para entrenamiento y Trainium más GPU para inferencia. Empresas de modelos como Claude y modelos de generación de código más nuevos se han vuelto bastante capaces en el trabajo de optimización, comoditizando gran parte de la pila de software. El verdadero bloqueo proviene del hecho de que, si usted es un proveedor de API de inferencia o una empresa de aprendizaje por refuerzo que intenta personalizar modelos abiertos para casos de uso empresarial, usted depende de un ecosistema que utiliza predominantemente Nvidia. Las dimensiones de los expertos y las dimensiones ocultas están estructuradas para GPU, por lo que necesita GPU para ejecutarlos de manera eficiente, incluso si personalmente no le interesa escribir kernels de CUDA.
InferenceX rastrea mejoras de costos anuales de 60x
SemiAnalysis lanzó InferenceX, un benchmark dinámico que ejecuta los últimos modelos en más de $50 millones en hardware donado todos los días. La iniciativa fue posible porque Patel había construido suficiente credibilidad en el ecosistema para asegurar contribuciones de CoreWeave, Crusoe, Nebius, Oracle, Microsoft, Amazon, Google y OpenAI. El benchmark colabora con SG Lang, vLLM y ahora Radix Arc e Infract, que lideran los esfuerzos de optimización de inferencia de código abierto. Una vez que se agreguen los TPU y Trainium, el valor total del hardware donado debería superar los $100 millones.
El benchmark ejecuta aproximadamente 15 tipos de chips diferentes en todos los modelos más recientes cada día, incluidos los mejores modelos de laboratorios chinos como Moonshot, Alibaba, DeepSeek y Qwen, así como los mejores modelos de código abierto de EE. UU. El sistema realiza un barrido a través de muchas configuraciones y tipos de optimización diferentes, y luego publica todos los resultados y configuraciones de forma pública. Esto crea una curva de Pareto óptima, resolviendo un problema importante en el benchmarking de inferencia donde las personas comparan configuraciones subóptimas para hacer que su propio hardware parezca mejor. Cualquiera que desee la implementación óptima puede descargar contenedores de código abierto de InferenceX y ejecutar esa configuración, o incluso descargar automáticamente el punto más óptimo para cada modelo.
La curva de rendimiento frente a interactividad que mide InferenceX se ha convertido en la curva más importante para la industria, argumentó Patel. Diferentes cargas de trabajo caen en diferentes puntos de esta curva. Algunas aplicaciones necesitan una latencia muy baja y una respuesta muy rápida para usuarios individuales, donde el tamaño del lote es pequeño y técnicas como la decodificación especulativa son valiosas. Otras cargas de trabajo implican el procesamiento por lotes de muchos documentos durante la noche, donde el costo por token importa mucho más que la velocidad. La infraestructura actualmente trata a la IA como una solución única para todos, pero con el tiempo el mercado se segmentará a lo largo de esta curva. El modo rápido de Claude de Anthropic cuesta sustancialmente más que el modo regular. OpenAI tiene colas de prioridad. Los datos muestran que el costo del modelo para una calidad equivalente ha caído aproximadamente 60x anualmente, un ritmo increíble impulsado por la optimización de software, las mejoras de hardware y su codiseño.
El ancho de banda de memoria y la densidad de potencia son cuellos de botella clave
Cuando se le preguntó sobre los mayores cuellos de botella que está rastreando en cualquier nivel de la arquitectura, Patel destacó la capacidad y el ancho de banda de la memoria. La celda NAND se inventó hace aproximadamente 25 años. La celda DRAM se inventó hace unos 40 años. No ha habido ningún avance importante en la estructura fundamental de la celda durante todo ese período. El progreso ha venido de apilar más HBM y ejecutarlo más rápido, pero están surgiendo nuevas innovaciones donde, en lugar de apilar HBM por separado del chip, la memoria se apila directamente sobre el chip. Eso hace que el ancho de banda explote, y varias empresas están trabajando en este enfoque.
La densidad de potencia representa otra restricción crítica. Durante las últimas dos décadas, los chips de centros de datos y de escritorio han alcanzado un máximo de aproximadamente un vatio por milímetro cuadrado de silicio. Si observa un chip de 100 milímetros cuadrados, el consumo de energía generalmente ronda los 100 vatios o un poco menos. El silicio más nuevo de Nvidia y el silicio de TPU más nuevo todavía caen en ese rango de un vatio por milímetro cuadrado. Los chips ahora están alcanzando los 1.400 vatios, con la próxima generación Rubin de Nvidia apuntando a 2.000 vatios y Rubin Ultra potencialmente alcanzando los 4.000 vatios. Pero estos aumentos provienen de agregar más área de silicio, no de aumentar la densidad de potencia.
El desarrollo emocionante es el trabajo actualmente en progreso para bombear sustancialmente más de un vatio por milímetro cuadrado al silicio. Esto significaría necesitar menos área de silicio para lograr el mismo cómputo, aunque funcionando a mayor potencia. Obviamente, crea desafíos térmicos y problemas de interferencia eléctrica, razón por la cual sigue siendo un problema de ingeniería difícil y por la cual la industria se ha estancado en aproximadamente un vatio por milímetro cuadrado. Pero resolver esta restricción podría desbloquear ganancias significativas.
La escasez de cómputo persistirá a medida que los modelos expandan el TAM más rápido de lo que crece la oferta
Cada trimestre se despliega sustancialmente más cómputo que el anterior, con más centros de datos construidos. Este año se verán 20 gigavatios desplegados incluso contabilizando retrasos, y el próximo año más de 30 gigavatios. Sin embargo, Patel espera que la escasez de cómputo continúe en el futuro previsible. La razón se reduce a una dinámica fundamental donde el mercado total direccionable (TAM) para el trabajo útil de IA se expande más rápido de lo que aumenta la capacidad de cómputo.
El TAM para modelos como Mythos 5 y Fable no es solo 2x el de Opus, explicó. El modelo es mucho mejor y puede manejar muchas más tareas, por lo que el mercado direccionable ha crecido mucho más de 2x. Sin embargo, el cómputo del mundo no se duplicó en los seis a ocho meses entre el lanzamiento de Opus 4.5 y la llegada de Fable y Mythos. Los modelos están mejorando en capacidad más rápido de lo que el cómputo está escalando. Los márgenes de Anthropic en los tokens de Opus 4.8 superan el 80 por ciento a precios de API, aunque los márgenes brutos corporativos totales se ven algo reducidos por los acuerdos a través de Bedrock y Vertex. Con márgenes tan altos, Anthropic tiene la capacidad financiera para pagar tasas superiores al mercado por cada GPU que adquiere. La misma lógica se aplica a otros laboratorios líderes con una fuerte economía unitaria.
La pregunta es qué sucede si el progreso de los modelos se estanca. Las conversaciones de Patel con ingenieros de Anthropic y OpenAI sugieren que siguen muy confiados en que el progreso continuará a un ritmo rápido, quizás incluso acelerándose porque los modelos mismos ahora ayudan a escribir la infraestructura y optimizar el código para lanzar la próxima generación antes. Esto crea una especie de bucle de automejora pseudorecursivo. Si esa evaluación es correcta, la escasez de cómputo persiste. Si las capacidades de los modelos se estancan, entonces la marea podría cambiar a medida que la oferta alcance a la demanda.
Las "neoclouds" existen porque la experiencia de los hiperescaladores no se transfirió a las cargas de trabajo de IA
La aparición de "neoclouds" como CoreWeave y Crusoe podría parecer sorprendente dadas las ventajas de los hiperescaladores en escala e infraestructura. Patel escribió un informe en 2023 que molestó a Amazon, llamado Amazon Cloud Crisis, explicando por qué Amazon había sido el mejor proveedor de nube para cargas de trabajo tradicionales. Sus tarjetas de red Nitro ofrecían aislamiento de inquilinos al ejecutar el hipervisor en la tarjeta y vender todos los núcleos a los clientes. Compraban NAND cruda y construían SSD personalizados para menores costos de almacenamiento. Sus CPU Graviton personalizadas redujeron los costos por núcleo. Todas estas innovaciones funcionaron brillantemente para el mundo de la nube tradicional basado en CPU.
Pero en la nube de IA, gran parte de esta experiencia se volvió irrelevante o incluso perjudicial. Las tarjetas de red Nitro perjudicaron el rendimiento y todavía ofrecen un rendimiento peor hoy en día, aunque han mejorado con las iteraciones. Las características de seguridad diseñadas para el "timeslicing" multiinquilino no importan cuando los clientes alquilan racks completos de 72 GPU bajo contratos a largo plazo en lugar de una sola GPU por unas pocas horas. Las redes personalizadas optimizadas para cargas de trabajo tradicionales en Google y Amazon en realidad trabajaron en contra del rendimiento de la IA. Los ahorros de costos de Microsoft al construir sus propios centros de datos fracasaron cuando sus equipos de centros de datos no pudieron manejar la necesidad de duplicar rápidamente los pronósticos, obligándolos a arrendar capacidad de neoclouds.
Las ventajas de rendimiento y el tiempo de comercialización explican gran parte de la oportunidad de las neoclouds. Las personas que construyen estas empresas son propietarios de capital altamente apalancados que se enriquecen entregando cómputo más rápido. Provienen de entornos como la minería de Bitcoin que les enseñó a operar en mercados de alta fluctuación. Mientras tanto, las organizaciones masivas de hiperescaladores no ofrecen ningún incentivo de creación de riqueza individual para construir un centro de datos seis meses más rápido. El CEO de Nvidia, Jensen Huang, apoya activamente el ecosistema de neoclouds porque desea desesperadamente un mundo multipolar. Un mundo donde solo los hiperescaladores construyan cómputo y solo OpenAI, Anthropic y Google tengan modelos líderes dejaría a Nvidia con un poder de negociación drásticamente reducido. Dentro de cinco años, la existencia de Crusoe y CoreWeave significará que el TPU de Google será más débil y el Trainium de Amazon será más débil, preservando la cuota de mercado de las GPU.
La utilización de los centros de datos varía enormemente según la sofisticación operativa
No todos los gigavatios son creados iguales. Trainium se vende a una tasa de alquiler inferior a $10 mil millones por gigavatio a Anthropic y OpenAI. Las GPU, antes de la reciente escasez de cómputo, normalmente se vendían por entre $12 mil millones y $13 mil millones por gigavatio de parte de neoclouds y Amazon. El acuerdo de SpaceX con Google supuestamente alcanzó alrededor de $25 mil millones por gigavatio anualmente, una prima masiva. Los precios de colocación en centros de datos solían ser de $60 por kilovatio al mes y ahora se negocian entre $120 y $160, con algunos acuerdos alcanzando los $200 para clientes con calificaciones crediticias más débiles en instalaciones premium, o tan bajos como $80 en India, donde la confiabilidad de la red y la conectividad son inferiores.
La sofisticación operativa crea enormes diferencias de valor. Google desplegará 1,5 gigavatios de hardware en un centro de datos de un gigavatio porque entienden las cargas de trabajo tan profundamente que pueden mover la energía de un lado a otro. En lugar de que el hardware funcione al 60 o 70 por ciento del consumo de energía, utilizan el gigavatio completo continuamente. Algunos operadores hacen acuerdos con empresas de servicios públicos donde la red puede proporcionar de manera sostenible un gigavatio, pero durante todos los días excepto tres al año puede entregar dos gigavatios. Despliegan dos gigavatios de capacidad y utilizan generadores de respaldo y baterías para manejar esos días de restricción máxima. Esto requiere una gestión suprema de la carga de trabajo, la energía de respaldo y la capacidad de generación in situ. Las empresas que ejecutan estas estrategias pueden vender efectivamente el doble de gigavatios desde la misma conexión a la red, o vender capacidad en ubicaciones donde otros no pueden construir en absoluto.
Un gigavatio entregado a Anthropic genera objetivamente más ingresos que un gigavatio entregado a OpenAI según la monetización actual, aunque ambas empresas podrían vender cada gigavatio que tienen actualmente dados los límites de tasa y los máximos de tokens. CoreWeave ofrece un rendimiento de cómputo de GPU objetivamente mejor que Amazon, Google o Microsoft según las pruebas de rendimiento y confiabilidad de InferenceX. Pero CoreWeave debe vender capacidad seis meses antes de que entre en línea y usar esos contratos para asegurar financiamiento de deuda para las órdenes de compra que ya han emitido. SpaceX, por el contrario, dice a los clientes que la capacidad está funcionando ahora y que pueden comprarla de inmediato, obteniendo precios premium debido a la fortaleza del balance para mantener el inventario.
Es poco probable que los centros de datos espaciales importen dentro de cinco años
Cuando se le preguntó qué porcentaje del cómputo de inferencia ocurrirá en el espacio en un marco de tiempo de 10 a 15 años, Patel ofreció una visión matizada que va en contra de parte del entusiasmo. No cree que los centros de datos espaciales importen mucho en los próximos tres a cinco años. El factor real se reduce al costo de construir energía en tierra firme y cuánta energía se puede desplegar allí. Pero para 2040, espera que la gran mayoría del cómputo opere en el espacio. Para 2030, solo OpenAI y Anthropic combinados probablemente controlarán más de 100 gigavatios. Agregar a Meta, Google y otros actores eleva el total a un despliegue gigantesco dedicado a la inferencia. Para 2040, la industria operará a escala de teravatios.
La curva de ganancias de productividad de la IA impulsará el despliegue de inferencia para convertirse en uno de los mercados más grandes del mundo, mucho más grande que el petróleo en la evaluación de Patel. Si ese pronóstico resulta correcto, las restricciones de energía terrestre eventualmente forzarán la migración al espacio. Pero en 2030, espera que menos del 1 por ciento del cómputo incremental se destine a instalaciones orbitales. La tecnología y la economía necesitan otra década para madurar antes de que el espacio se convierta en el entorno de despliegue principal.