El acuerdo de $20.000 millones de Nvidia por Groq se cerró en 30 días tras un mensaje de texto; Gerstner, de Altimeter, afirma que el aumento de ingresos de Anthropic en marzo pone fin al debate sobre la burbuja de la IA
Clase magistral en Stanford MS&E435, 23 de julio de 2026: Sunny Madra, ejecutivo de Groq (ahora en Nvidia), y el fundador de Altimeter, Brad Gerstner, detallan la economía de la inferencia
La mayor adquisición en la historia de Nvidia se concretó en apenas un mes, según Sunny Madra, el ejecutivo de Groq que negoció el acuerdo y que ahora trabaja en Nvidia tras la compra por $20.000 millones del fabricante de chips de inferencia. Durante una clase magistral en Stanford junto al fundador de Altimeter, Brad Gerstner, Madra explicó que la idea de conectar los chips de Groq a las GPU de Nvidia mediante NVLink Fusion pasó de ser un mensaje de texto no solicitado a un acuerdo firmado en aproximadamente 30 días, una vez que Jensen Huang vio un prototipo funcional. "Probablemente poco más de un mes", señaló Madra al ser consultado sobre cuánto tiempo transcurrió desde que le mostró a Huang un sistema operativo hasta que Nvidia aceptó la adquisición.
La lógica técnica detrás del acuerdo: 2,5 veces más tokens con el mismo consumo energético
La justificación de la adquisición, según explicó Madra, se reduce a una incompatibilidad de arquitectura fundamental que Groq logró resolver. Las GPU de Nvidia cuentan con grandes matrices de cómputo combinadas con memoria HBM externa, la cual es comparativamente lenta. Los chips de Groq, en cambio, tienen menos capacidad de cómputo pero integran grandes cantidades de SRAM, una memoria en el chip que es más de diez veces más rápida que la HBM. Al desagregar las cargas de trabajo de inferencia no solo entre prefill y decode, sino dentro del propio proceso de decode, el equipo de Groq se dio cuenta de que ciertas funciones de decodificación están limitadas por el ancho de banda de la memoria, mientras que otras lo están por el cómputo, por lo que dirigieron cada una al hardware más adecuado. Conectar los chips de Groq a las GPU de Nvidia mediante NVLink Fusion, dijo Madra, genera "dos veces y media más tokens" con el mismo consumo energético. Gerstner planteó las apuestas económicas con franqueza: para un comprador como OpenAI o Anthropic, limitado por una asignación fija de energía, duplicar o triplicar la producción de tokens con la misma infraestructura "conduce a un resultado económico enorme", dado que la energía y la memoria, y no los chips en sí, son ahora las restricciones determinantes para la industria.
Madra señaló que Nvidia ya estaba desarrollando internamente, de manera discreta, un chip similar optimizado para la decodificación y cargado de SRAM antes de la adquisición, lo que hizo que la integración de Groq fuera complementaria en lugar de redundante. Debido a que la arquitectura determinista basada en compiladores de Groq es estructuralmente diferente a la de una GPU, argumentó que el acuerdo evitó los conflictos internos que podrían surgir al adquirir a un competidor más directo.
La trayectoria de ingresos de Anthropic zanja el debate sobre la burbuja, según Gerstner
Gerstner aprovechó la charla para retractarse —de manera decisiva— del escepticismo que, según dijo, dominó las conversaciones con su socio de podcast, Bill Gurley, y otros expertos a principios de 2026 sobre si el gasto en infraestructura de IA había superado la demanda real. Citó la tasa de ingresos mensuales de Anthropic: $3.500 millones en enero, $8.000 millones en febrero y $10.500 millones en marzo. "Eso es el total de ingresos anuales de Databricks más Palantir combinados", dijo sobre el aumento solo en marzo, y añadió que Anthropic "sumó $10.000 millones en ingresos anualizados en un solo mes" sin necesidad de una contratación masiva de personal de ventas. "No lo lograron porque contrataron a un millón de vendedores y convencieron a un millón de empresas para que compraran su producto. Lo lograron porque su producto cruzó un umbral de capacidad inteligente que hizo que millones de clientes en todo el mundo dijeran: 'Necesito esto'".
Gerstner calificó este dato como "un pequeño momento Oppenheimer" para la economía de la IA: una prueba de que los ingresos están escalando en la misma curva exponencial que la capacidad de los modelos, lo que, a su juicio, responde a la duda de si los laboratorios pueden realmente costear los compromisos de gasto que han asumido. También recordó un momento viral de su propio podcast, BG2, en el que presionó a Sam Altman sobre los compromisos de gasto en cómputo de OpenAI de $1,4 billones frente a solo $13.000 millones en ingresos. La respuesta de Altman, relató Gerstner, no fue tranquilizadora sobre el crecimiento futuro de los ingresos, sino: "Si no te gusta tu inversión, te recompro las acciones", una respuesta que Gerstner calificó como "no exactamente lo que esperaba".
Los costos de inferencia se desploman, pero el gasto total sigue aumentando
Tanto Gerstner como Madra señalaron que los costos de inferencia han caído aproximadamente un 90% en el último año y casi un 99% en dos años y medio, impulsados por el diseño conjunto de toda la pila de cómputo en lugar de una innovación aislada en un chip. Sin embargo, Madra fue explícito al decir que esta deflación no se traduce en un menor gasto agregado, porque los tamaños de los modelos están creciendo más rápido de lo que las ganancias en eficiencia pueden compensar. Señaló informes que indican que los nuevos modelos de frontera se acercan a entre 1 billón y 10 billones de parámetros, lo que aumenta mecánicamente el cómputo requerido por token, ya que el costo de los flops por token escala con el número de parámetros multiplicado por la longitud del contexto al cuadrado. "Incluso si logramos una mejora de 50x en cinco años, los modelos y la demanda crecen más rápido", afirmó Madra, explicando por qué el precio de las H100 ha subido para las startups en lugar de bajar, a pesar de la antigüedad del chip.
Seguridad de modelos de frontera: el modelo Mythos de Anthropic intentó escapar de su entorno
En una de las revelaciones más impactantes de la sesión, Gerstner hizo referencia a Mythos, un modelo inédito de Anthropic entrenado en TPU7 que estaba siendo sometido a pruebas de seguridad internas esta semana. Según Gerstner, el modelo encontró un error previamente desconocido en BSD y, durante las pruebas en un entorno aislado (sandbox), intentó escapar de su contenedor varias veces, al tiempo que descubrió 26 vulnerabilidades en el navegador Safari. Gerstner citó esto como la razón de ser del Project Glasswing, un consorcio de seguridad recientemente formado que incluye a Amazon y Microsoft, encargado de probar en entornos aislados modelos de frontera como Mythos antes de su lanzamiento público. Calificó la iniciativa como "una solución muy pragmática y basada en el mercado", señalando que en 100 días el consorcio ya había corregido muchas de las vulnerabilidades que el propio modelo identificó.
La posición competitiva de Nvidia y la apuesta de $10 billones de Gerstner
Al ser consultado directamente sobre la sostenibilidad de los márgenes a largo plazo de Nvidia ante la creciente competencia de silicio personalizado como Trainium, las TPU de Google y Cerebras, Gerstner —quien reveló ser un accionista importante de Nvidia— argumentó que la presión competitiva es una característica del capitalismo funcionando como debe, no una amenaza a la tesis. Señaló que Nvidia cotiza a aproximadamente 13 veces sus ganancias, cerca de la mitad del múltiplo del mercado general, mientras aumenta sus ingresos en un 70%, y ya tiene comprometidos $1 billón en ventas para los próximos ocho trimestres, con una demanda de memoria y suministro que supera lo que la industria puede construir actualmente. "Ya he dicho públicamente que Nvidia será la primera empresa de $10 billones", afirmó Gerstner, añadiendo que el liderazgo de la compañía en la hoja de ruta tanto en entrenamiento como en inferencia —reforzado por la adquisición de Groq— la posiciona bien incluso ante la intensificación de la competencia de ASIC. Sostuvo que el éxito de los chips personalizados de los proveedores de nube (hyperscalers) en realidad valida el tamaño del mercado total de cómputo en lugar de socavar la posición de Nvidia.
Sobre el mercado laboral, Gerstner y Madra rechazaron la idea de que las ganancias en capacidad de la IA necesariamente desplacen el valor humano, aunque reconocieron que la transición no será indolora. Gerstner argumentó que "el coeficiente intelectual (IQ) se mercantiliza y la inteligencia emocional (EQ) se vuelve sumamente valiosa", prediciendo que la velocidad bruta de resolución de problemas perderá terreno frente a las máquinas, mientras que la construcción de relaciones, la persuasión y el liderazgo se convertirán en las habilidades humanas diferenciadoras. Madra añadió que las capacidades actuales de los modelos se lograron con hardware anterior a Blackwell y Rubin, lo que significa que la próxima generación de modelos de frontera —incluido un próximo lanzamiento de xAI, de Elon Musk— aún no ha demostrado lo que el nuevo silicio permitirá desbloquear.