SemiAnalysis publica las primeras pruebas AgentX de contexto largo y múltiples turnos para el TPUv7 en cuatro modelos, 5 de noviembre de 2026

SemiAnalysis señaló que Google ha asumido el desafío planteado por el CEO de Nvidia, Jensen Huang, en el Dwarkesh Podcast, cuando indicó que ningún otro fabricante de chips mostraba resultados en la prueba de rendimiento InferenceX. La firma publicó los que denomina los primeros resultados oficiales, realistas y de contexto largo en múltiples turnos para la inferencia agéntica del TPUv7 (Ironwood). Los resultados abarcan cuatro modelos. El TPUv7 es competitivo en términos de rendimiento por dólar para clientes externos o, en algunas configuraciones, presenta el mejor resultado presentado. SemiAnalysis enmarca esto como la parte de software de la historia de los TPU. Históricamente, el foso defensivo (moat) de Nvidia se ha apoyado tanto en su ecosistema de desarrolladores como en el silicio.

Los resultados de Qwen3.5 motivaron una contrapropuesta de Nvidia

El resultado más trascendental es el de Qwen3.5 397B en vLLM, la primera presentación de Google para AgentX realizada hace dos semanas. SemiAnalysis afirma que el TPUv7 ejecutando FP8 ofreció un rendimiento por dólar 1,67 veces superior al del GB300 NVL72 con FP4, un formato de menor precisión que normalmente conlleva una gran ventaja en capacidad de procesamiento (throughput). Con el servicio desaggregado llm-d, el TPUv7 en FP8 superó al GB300 en FP8 en cada nivel de interactividad, registrando más del doble a alto rendimiento. Asimismo, superó los 1.000 tok/s/usuario en la región ultrarrápida.

Según SemiAnalysis, Nvidia reaccionó de forma agresiva. "Asignó un equipo de choque formado engranajes humanos y enjambres de agentes para trabajar 24/7 [N. del T.: 997 en el original], hasta altas horas de la noche (2 a. m. hora local) y los fines de semana, tanto en EE. UU. como en China continental". La primera contrapropuesta de Nvidia con GB300 FP4 supera al TPUv7 FP8 en rendimiento de decodificación. El informe detalla que se sintonizó en exceso para la decodificación a expensas de la fase previa (prefill), lo que perjudicó los resultados de extremo a extremo. A nivel de extremo a extremo, el TPUv7 FP8 sigue liderando, y la contrapropuesta se mantiene 1,64 veces peor por dólar que el TPUv7 FP8 en la mayor parte de la curva. SemiAnalysis considera que Nvidia podría recuperar una ligera ventaja con el GB300 FP4 frente al TPUv7 FP8 si realiza la optimización suficiente, aunque no cree que pueda recuperar el liderazgo en las comparaciones de FP8 contra FP8 en determinados modelos.

Es posible que Nvidia argumente que Qwen3.5 no es relevante para sus intereses. SemiAnalysis rechaza esta postura al citar sus métricas de envíos. Nvidia ha dedicado más del 20% de las horas de computación en GPU para pruebas en este modelo en ciertas referencias (SKUs) y ha asignado a algunos de sus ingenieros de inferencia más destacados. La firma añade que ciertos hiperescaladores y laboratorios de inteligencia artificial utilizan Qwen3.5 397B, junto con derivados de su arquitectura de billones de parámetros, como modelos de referencia (proxy models) para la compra de hardware y la planificación de capacidad.

GLM-5.2 y Kimi K3: los más baratos en FP8, pero las GPU con FP4 siguen ganando de forma absoluta

En el caso de GLM-5.2, un modelo de mezcla de expertos (mixture-of-experts) de 744 mil millones de parámetros con aproximadamente 39 mil millones de parámetros activos, el TPUv7 se posiciona como la opción más económica en FP8. Entre los 60 y los 300 tok/s/usuario, ofrece entre 1,2 y 2,7 veces los tokens por dólar en comparación con las GPU B200, B300 y MI355X, y multiplica por 4,4 el rendimiento del H200 a 150 tok/s/usuario. El informe es tajante sobre el límite de dicha afirmación: las GPU con FP4 de Nvidia siguen liderando en costos a la mayoría de las velocidades. A 100 tok/s/usuario, el GB300 y el GB200 con FP4 entregan 3,6 y 3,5 veces los tokens por dólar del TPUv7, respectivamente. El TPUv7 no cuenta con soporte nativo para FP4, y SemiAnalysis no prevé que esto cambie hasta la llegada del TPUv8 en el primer trimestre de 2027. El uso de FP4 conlleva una ligera penalización en la precisión para este modelo, ya que GLM-5.3 no fue entrenado de forma nativa con consciencia de cuantización para FP4 con bloques escalados. Esto atenúa, pero no borra, la ventaja de Nvidia.

El resultado de Kimi K3, enviado con el desarrollador de vLLM Inferact utilizando pesos MXFP4, demuestra la rapidez con la que evoluciona el panorama competitivo. En su lanzamiento, el 17 de octubre, el TPUv7 entregó entre 0,77 y 0,91 veces los tokens por dólar del GB300 en un rango de 50 a 200 tok/s/usuario. Asimismo, fue 1,6 veces más rápido para un solo usuario, con 391 tok/s/usuario frente a los 251 del competidor. Bajo la base de costos internos de Google, superó al GB300 en las marcas de 100 y 200 tok/s/usuario. Tras cuatro actualizaciones de software por parte de Nvidia, el GB300 FP4 lidera ahora con un factor de entre 1,5 y 2,6. No obstante, el TPUv7 sigue entregando entre 1,15 y 2,5 veces los tokens por dólar del GB200, B200, B300 y MI355X. Las presentaciones preliminares del Rubin VR200 muestran cifras de 4,3 a 5,6 veces superiores a las del TPUv7, llegando hasta 6 veces en ciertas comparaciones. SemiAnalysis califica esto como un enfrentamiento injusto, dado que el chip Rubin debe compararse con el TPUv8i, que planea evaluar próximamente. También subraya que las cifras de Rubin corresponden a presentaciones preliminares que aún no ha podido reproducir de forma independiente.

Muse Spark Open de Meta demuestra la competitividad del TPU en un modelo diseñado para GPU

El resultado técnicamente más interesante podría ser el de Muse Spark Open de Meta, un modelo de 816 mil millones de parámetros ejecutado en SGLang con TorchTPU y presentado por RadixArk, uno de los principales mantenedores de SGLang. SemiAnalysis señala que Meta ya está implementando el TPUv7 en entornos de producción mediante esta infraestructura. Utiliza SGLang para la inferencia en producción y vLLM para las iteraciones de aprendizaje por refuerzo (reinforcement learning).

El modelo fue concebido pensando en las GPU. Su dimensión de 64 cabezales (head dimension) provoca que, para la atención de contexto largo, el 25% de la matriz sistólica del TPU quede en blanco (padded). Los núcleos matriciales de las GPU consumen bloques más pequeños, por lo que una dimensión de cabezal de 64 en lugar de 128 casi no representa un costo adicional en una H100 o B200, al tiempo que abarata la capa de atención. SemiAnalysis observa que los laboratorios con grandes flotas de TPU, como Anthropic, Google DeepMind y próximamente OpenAI, suelen codiseñar los modelos para que las formas de atención se adapten al hardware. El TPUv7 mantuvo un rendimiento de decodificación por dólar competitivo, incluso bajo la base de costos de Meta para la adquisición de TPU. La latencia de extremo a extremo aún no es competitiva, y el informe señala que los núcleos de prefill requieren una optimización adicional.

De dónde provienen las ganancias

SemiAnalysis atribuye gran parte de los avances al trabajo de software realizado por Google y los mantenedores de código abierto. Los denominados *megakernels* de decodificación ejecutan un paso completo de decodificación en un solo núcleo y precargan los pesos de la capa siguiente mientras se procesa la capa actual. Esto elimina los tiempos muertos entre los cientos o miles de lanzamientos de núcleos propios de un paso convencional. AMD informa que su propia versión reduce los lanzamientos en un paso de decodificación de GLM-5.2 de aproximadamente 2.459 a 210, logrando una ejecución 2,31 veces más rápida con un tamaño de lote (batch) de 1.

En la infraestructura de Qwen3.5, Google también abrió el código fuente de TPU Sync, un marco de trabajo que traslada la caché KV y el estado de atención lineal a la memoria DRAM del host. El enrutamiento consciente de la caché en llm-d, que dirige cada turno al host que almacena su prefijo, elevó las tasas de acierto de la caché de decodificación del 56% al 76%, según datos de Google. Para GLM-5.3, las optimizaciones incluyen paralelismo de contexto en la decodificación, el uso de los SparseCores del TPUv7 para recopilar las 2.048 entradas de caché seleccionadas, un diseño de indexación reempaquetado que reduce el desperdicio de bytes y configuraciones adicionales de núcleos para lotes pequeños. El enfoque desaggregado conlleva costos: en el punto de mayor velocidad, el tiempo p90 hasta el primer token es de 8,6 segundos frente a los 11,1 segundos del GB300 FP4. El enrutamiento basado en turnos deja todavía a los TPU por detrás del GB300 TRT-LLM FP4 en el cómputo de extremo a extremo, aunque supera holgadamente al GB300 SGLang tanto en FP8 como en FP4.

El problema burocrático de Nvidia

SemiAnalysis dedica una parte considerable de su nota a criticar la cultura interna de Nvidia, calificando la burocracia como "uno de los mayores riesgos para el foso defensivo de NVIDIA que Jensen debe abordar". La firma señala que mantenedores de código abierto y clientes informan que funciones de controladores sencillas necesarias para la captura de gráficos CUDA en PyTorch han permanecido bloqueadas en la "revisión legal interna de NVIDIA" durante tres meses. Las solicitudes para mejorar la telemetría de energía DCGM en placas ConnectX, NVSwitch y HGX han sufrido demoras similares. Según su experiencia, Nvidia responde ahora a las sugerencias externas, contribuciones y comentarios de manera más lenta que AMD, Google y Amazon.

El acceso a los clústeres forma parte de los reclamos. SemiAnalysis afirma que las aportaciones de capacidad de cómputo de Nvidia a los mantenedores de la comunidad se han visto "envueltas en una burocracia al estilo del DMV [departamento de vehículos motorizados] y con una actitud mezquina en el mejor de los casos", algo que considera difícil de conciliar con una empresa valorada en 5 billones de dólares [5 trillion]. Google, por el contrario, aplica el manual de estrategias de Nvidia al suministrar abundantes chips a los desarrolladores. Ya se ha entregado soporte de Día 0 para TPU en Muse Spark Open y Kimi K3.1 Pro. AMD también se ha mostrado más generosa con los mantenedores de código principal (upstream). El informe reconoce el mérito de ciertos equipos de Nvidia, en particular el grupo ex-CentML de vLLM, que replicó el trabajo de los *megakernels* de AMD y TPU en el transcurso de una semana.

Advertencias sobre la evidencia

Los inversionistas deben sopesar varios factores. La prueba de rendimiento InferenceX pertenece a la propia SemiAnalysis, aunque cuenta con el respaldo de un amplio grupo de compradores, laboratorios y proyectos de código abierto. El informe distingue entre la base de costos internos de Google y los precios que pagarían los clientes externos, y la ventaja del TPU se reduce o se invierte en algunas de estas comparaciones. Los resultados del chip Rubin son anticipos no verificados, y Nvidia ha demostrado hasta ahora su capacidad para mejorar rápidamente sus métricas. El informe admite que el TPUv7 carece de soporte para FP4 y se queda atrás en la latencia de extremo a extremo bajo ciertas configuraciones. A pesar de esto, SemiAnalysis argumenta que la credibilidad en la relación precio-rendimiento del TPU para cargas de trabajo agénticas —ofrecida a través de vLLM, SGLang, llm-d y PyTorch— debilita el argumento de que CUDA es la única vía viable en entornos de producción. Asimismo, destaca que Oracle, OpenAI, Anthropic y Meta se han convertido en clientes de TPU, tal como proyectaba su modelo de aceleradores. Se esperan próximamente más presentaciones en AgentX por parte de RadixArk y las primeras pruebas de rendimiento del TPUv8i.