Yao Shunyu, de DeepMind: El preentrenamiento no ha terminado, el heroísmo quedó atrás y la próxima frontera son las tareas de largo horizonte
Entrevista en el podcast de Zhang Xiaojun grabada en marzo de 2026
Yao Shunyu, científico investigador en Google DeepMind y quien anteriormente trabajó en Anthropic en el entrenamiento de Claude 3.7 y 4.5, ofrece una evaluación brutalmente honesta sobre la situación actual de la IA: la era del heroísmo individual ha terminado, el preentrenamiento aún tiene un margen de recorrido significativo y, contrariamente a la creencia popular, los modelos no han alcanzado ningún muro fundamental. Desde su posición trabajando en Gemini 3, Yao ofrece una de las perspectivas internas más sinceras sobre lo que realmente ocurre dentro de los laboratorios de IA líderes del mundo.
El preentrenamiento está lejos de morir
Quizás la opinión más contraria de Yao desafía la narrativa predominante de que el preentrenamiento se ha estancado. "Mi experiencia es que no lo ha hecho", afirma de forma tajante cuando se le pregunta sobre si las Scaling Laws han llegado a sus límites. "Y mi sensación es que en los próximos cuatro meses tampoco veo señales de que termine". Esto contradice directamente lo que muchos observadores creían tras la euforia inicial en torno a los modelos de razonamiento y las mejoras tras el entrenamiento.
Yao sostiene que la mayoría de las personas que afirman haber chocado contra un muro en realidad están encontrando errores, no límites fundamentales. "Según mi observación, creo que probablemente la gran mayoría de quienes chocan contra un muro es por la tercera razón: hay un error en algún lugar de su trabajo que no han notado. Por eso piensan que ha llegado a su límite". Señala que las suposiciones científicas incorrectas sobre los horizontes de tokens, la selección de datos o simples errores de implementación son los verdaderos culpables.
El matiz técnico es importante. Al ser presionado sobre qué es lo que realmente está mejorando, Yao explica que "la capacidad del modelo para aprender cosas es cada vez más fuerte. Solía requerir mucho esfuerzo lograr que el modelo aprendiera a hacer algo. Pero ahora probablemente no requiera tanto. Lo más importante es definir claramente el problema y descubrir cómo construir los datos correctos".
Por qué la programación fue la primera en explotar
Sobre la pregunta de por qué la programación mediante agentes se convirtió en la aplicación revelación, Yao ofrece una claridad inusual sobre lo que realmente sucedió en Anthropic. La ventaja que tenía la programación era estructural, no arbitraria. "El escenario de programación tiene dos grandes ventajas. La primera es que su señal de recompensa —su señal de retroalimentación— está muy bien definida", explica. Al implementar una función, las entradas y salidas son comprobables. El éxito o el fracaso es binario e inmediato.
La segunda ventaja fue la infraestructura de datos. "GitHub ha agregado durante las últimas décadas una gran cantidad de código de alta calidad escrito por muchos programadores excelentes. Y a partir de ese código se puede construir una cantidad tremenda de entornos". Esta combinación de retroalimentación clara y abundantes datos de alta calidad convirtió a la programación en el dominio ideal para el aprendizaje por refuerzo a gran escala.
Pero también hubo aleatoriedad. Yao revela que la capacidad de programación de Claude 3.5 surgió de forma algo accidental a partir de decisiones técnicas que favorecieron la calidad del código en los datos de preentrenamiento. "Si simplemente recopilas datos de la web al azar sin ningún filtrado, naturalmente la calidad de los datos de código será un poco más alta que otros, porque si miras las páginas web, verás que la calidad de GitHub es significativamente superior a la de otras páginas web normales". Una vez que Anthropic notó esta ventaja en el campo a través de la retroalimentación de los usuarios, la empresa apostó todo a ello, una decisión facilitada por su estructura organizativa única.
La ventaja estructural de Anthropic y sus límites
Yao describe a Anthropic como una empresa con una "ejecución muy fuerte" habilitada por una toma de decisiones de arriba hacia abajo que la mayoría de las empresas no pueden replicar. ¿El secreto? La credibilidad técnica concentrada en el equipo fundador. "Su líder técnico es, de hecho, cofundador de la empresa", señala específicamente a Jared Kaplan y Sam McCandlish. "Ellos mismos toman esta decisión. Es su empresa. Por lo tanto, tienen la autoridad para hacerlo de arriba hacia abajo".
Esta estructura permitió a Anthropic hacer apuestas agresivas en programación cuando surgió la oportunidad. "Creo que cuando me uní, todos ya habían visto definitivamente que esto se podía hacer y que era importante. Pero no sabían muy bien cómo hacerlo. Y cuando entré, estaba investigando con todos cómo lograrlo". La empresa pudo movilizar rápidamente recursos en torno al aprendizaje por refuerzo a gran escala de formas que las organizaciones con un liderazgo técnico y empresarial separado no pueden.
Sin embargo, Yao dejó Anthropic después de aproximadamente un año, citando tanto cambios culturales a medida que la empresa crecía rápidamente como su desacuerdo con la "postura anti-China" del CEO Dario Amodei, la cual describe como responsable de aproximadamente el 40% de su decisión de irse. "En realidad, no estaba de acuerdo con la postura anti-China de Dario. Creo que, como CEO de una empresa, cualesquiera que sean las opiniones que él tenga personalmente, me parece bien. Pero como CEO, creo que llevar esta visión a un extremo así fue una reacción muy emocional".
El manual de juego diferente de Google
En Google DeepMind, Yao encontró un modelo organizativo completamente diferente que, sin embargo, funciona. A diferencia de las apuestas de arriba hacia abajo de Anthropic, Google opera con un enfoque de cartera. "Las grandes empresas y las startups tienen manuales de juego fundamentalmente diferentes. Porque para las startups, lo importante es hacer apuestas. Tengo que apostar por algo. Si quiero apostar, significa que hay riesgo".
La ventaja de Google es distinta: "La mentalidad de una gran empresa podría ser no solo minimizar el aspecto de juego, sino también tener reservas en cada área. Y luego, si algo tiene éxito, puedo ponerme al día. Y si yo mismo tengo éxito en algo, incluso podría tomar la delantera". Esto significa que Google no necesita el mismo tipo de liderazgo técnico concentrado que requiere Anthropic.
El preentrenamiento en Google se ha convertido en "algo muy, muy controlable, algo predecible. Puedes saber que la próxima generación no será mala". La organización ha aclarado quién es dueño de qué, convirtiendo el desarrollo de modelos en un proyecto de ingeniería que aprovecha las fortalezas tradicionales de Google. "La capacidad de gestión de ingeniería de Google es muy fuerte. Así que puede hacerlo bien poco a poco".
El punto de inflexión para Gemini no fue solo Gemini 3, según Yao: fue el impacto combinado de que Nano Banana se volviera viral y generara volumen de usuarios, seguido inmediatamente por Gemini 3, que retuvo a esos usuarios gracias a una calidad de modelo superior. "Creo que si solo hubiera existido Gemini 3, probablemente no habría tenido resultados tan buenos. Porque cuando tu cuota de mercado es inferior al 10%, si tu modelo es ligeramente mejor o peor, simplemente se propaga demasiado lento".
El próximo paradigma: tareas de largo horizonte
Cuando se le pregunta sobre el próximo gran avance, Yao señala las tareas de largo horizonte como la frontera crítica, no la generación multimodal ni el aprendizaje continuo. Su visión se resume en un eslogan que utiliza internamente: "entrenar con contexto finito, usar como contexto infinito". El objetivo es permitir que los modelos manejen tareas muy largas dentro de ventanas de contexto limitadas mediante una gestión inteligente del contexto; esencialmente, enseñar a los modelos a recordar y olvidar selectivamente, tal como lo hacen los humanos.
"El contexto humano es en realidad muy, muy corto. Si me preguntas ahora qué comí anoche, no puedo recordarlo en absoluto", dice Yao. "Porque no es crítico para mi escenario actual. Así que elijo olvidarlo. Por lo tanto, el contexto humano es esencialmente muy corto. Pero pueden olvidar selectivamente y recuperar selectivamente para traer de vuelta esa información importante relevante para el escenario actual".
Esta dirección está íntimamente conectada con la programación mediante ML: usar la IA para automatizar la investigación de IA en sí misma. Yao cree que dentro de seis a doce meses, "la IA hará experimentos por sí misma" en el sentido de completar proyectos de investigación completos de principio a fin: diseñar experimentos, ejecutarlos, analizar resultados, proponer nuevas hipótesis e iterar. "La cadena aún no está completa. Pero creo que esta cadena podría ser lo próximo que gradualmente se complete".
Destilación, benchmarks y lo que realmente importa
Sobre el tema de los laboratorios chinos que destilan modelos de frontera, Yao hace una distinción sutil pero importante entre "destilación dura" y "destilación blanda". La destilación dura —tomar tokens generados por Claude y entrenar directamente con ellos— es tanto poco ética como "intelectualmente bastante tonta", porque demuestra que las empresas "ni siquiera saben qué quieren hacer". Pero la destilación blanda, usar otros modelos como asistentes en tu canal de datos o como evaluadores, "es en realidad, creo, comercialmente un poco una zona gris. Pero desde una perspectiva técnica, es bastante interesante".
Sostiene que los laboratorios chinos que utilizan este enfoque "pueden haberse convertido en pioneros en el entrenamiento multiagente. Y es un verdadero multiagente. Porque si utilizan modelos de diferentes empresas con estos enfoques más inteligentes y los integran en un único sistema de entrenamiento, la distribución de cada modelo podría ser muy diferente".
En cuanto a la actual carrera de benchmarks, Yao se muestra desdeñoso. "Creo que, en cierto sentido, ninguno merece tanta atención". Los benchmarks públicos en los que todos compiten se han saturado esencialmente. "Todos competían por el primer lugar en varios benchmarks para demostrar que la capacidad básica de su modelo es fuerte. Esto, a estas alturas, ya ha llegado a la atención pública: esos benchmarks están algo agotados".
La muerte del heroísmo individual
Quizás la tesis más sorprendente de Yao es que la investigación en IA ha pasado fundamentalmente de la brillantez individual a la ejecución colectiva. "Creo que todos en este momento son básicamente surfistas. Fundamentalmente es una ola, no el surfista", dice. "La era del heroísmo individual para los modelos de lenguaje probablemente ha pasado".
¿Cuándo terminó el heroísmo? "Fue el momento del Transformer. En ese punto, cuando la tecnología aún no había alcanzado la etapa de escalado, la persona que descubrió esa tecnología podía ser un héroe. Después de que se encontró esa tecnología, durante mucho tiempo en el lado del modelo, todo ha sido más sobre el colectivismo".
Esto no es falsa modestia: Yao cree genuinamente que el campo se ha vuelto lo suficientemente simple como para que las contribuciones individuales importen mucho menos que la ejecución sistemática. "La IA como campo es fundamentalmente simple. No creo que haya nada —excepto quizás ese momento de salto donde la idea podría requerir algunas ideas realmente profundas— en el proceso posterior, muchas ideas son en realidad muy triviales. Muy estúpidas, básicamente. Cualquiera podría pensarlas. Cualquiera podría hacerlas. Es solo que tuviste suerte y por casualidad aprovechaste la oportunidad para hacerlo".
Lo que importa ahora no es la brillantez, sino la fiabilidad. "Creo que en esta industria, el rasgo más importante es ser fiable, hacer las cosas con cuidado y ser responsable de lo que haces. Este es el rasgo más importante". Y va más allá: "Simplemente parece que esta cosa de la IA realmente no requiere mucho cerebro. No requiere mucho cerebro. Realmente no requiere mucho cerebro".
El problema de los "wrappers" y las fosas defensivas de producto
Sobre por qué las empresas de aplicaciones como OpenClaw y Manus se vendieron a laboratorios de modelos a pesar de una fuerte tracción inicial, Yao identifica el problema fundamental: una velocidad de escape insuficiente ante la gravedad de las empresas de modelos. "Creo que para que los wrappers sobrevivan en el entorno actual hay dos enfoques. Un enfoque es escapar lo suficientemente rápido: mi crecimiento es lo suficientemente rápido como para que, cuando las empresas de modelos se den cuenta, yo ya haya capturado una parte significativa de la mente del usuario".
Incluso Cursor, "prácticamente la startup de más rápido crecimiento que puedo imaginar" en el espacio de programación nativa de IA, ahora se encuentra en "una relación bastante competitiva" con Anthropic después del lanzamiento de Claude Code. El problema central es la dinámica de "el ganador se lo lleva todo" en las herramientas de productividad. "Cuando se trata de programación, en esencia es una necesidad profesional que sirve a usuarios profesionales. Es una herramienta de productividad. Un escenario común con las herramientas de productividad es que el ganador se lo lleva todo".
El otro camino de supervivencia es mantenerse lo suficientemente pequeño como para que a las empresas de modelos no les importe competir, algo que Yao sugiere que Midjourney ha logrado con éxito. "El mercado es tan pequeño que quizás, aunque se podría decir que Gemini podría hacer un esfuerzo por replicar lo que hace Midjourney, podría llevar algo de esfuerzo, algo de dinero, algunos datos lograrlo, pero es lo suficientemente pequeño como para que Gemini probablemente no quiera dedicar mucho tiempo a eso".
Por qué los programadores deberían preocuparse
Yao no edulcora el futuro para los ingenieros de software. Cuando se le pregunta cuándo serán reemplazados por completo los programadores, responde: "Creo que ese día llegará. Pero no llegará todo a la vez". Estima que eventualmente "ahora 1/1000 de las personas hará el trabajo de todos en el pasado, ganando 100 veces el salario actual".
Su evaluación de su propia productividad al programar es cruda. Conservadoramente, "el modelo escribió más del 90%. Si no soy conservador, tal vez el 99% o el 100%". La parte restante que él mismo escribe "es cada vez menor". Como investigador, su velocidad experimental ha aumentado "20 o incluso 50 veces más rápido" en comparación con hace un año y medio.
¿El consejo para los programadores que quieren sobrevivir? "Acepten las cosas nuevas. Creo que eso es muy importante". Los futuros programadores deberán ser técnicamente fuertes, comprender cómo su trabajo encaja en organizaciones más grandes y tener una gran capacidad de planificación para dividir tareas complejas en partes que la IA pueda manejar. Pero Yao advierte que estos requisitos pueden reducirse aún más: "Quizás en seis meses vuelvas a preguntarme y descubra que lo último que hace la IA ya puede hacerlo. Entonces solo quedarán dos cosas".
Lo que realmente no está funcionando
Cuando se le pregunta sobre su trabajo de doctorado en física teórica de altas energías, Yao revela la experiencia que dio forma a sus puntos de vista sobre lo que constituye una buena investigación. "Creo que para mí personalmente, aprendí mucho, crecí mucho. Pero para este mundo, no produjo ninguna contribución". El problema no era la calidad del trabajo —"Nadie diría que mis artículos de doctorado eran malos"— sino la estructura fundamental del campo.
La teoría de altas energías ha progresado más allá de lo que los experimentos pueden verificar, dejando solo la autoconsistencia matemática y los juicios subjetivos de los investigadores senior como criterios de evaluación. "Cuando a este campo le faltan por completo experimentos y estándares objetivos, definitivamente no aparecerá un solo marco. En este momento, quién lo hace bien y quién no, depende en realidad de los juicios subjetivos de algunos veteranos del campo".
Esta experiencia le enseñó a Yao a "hacer cosas con criterios de evaluación relativamente objetivos, o desde otra perspectiva, hacer cosas que puedan tener un impacto en este mundo". Es por eso que es tan alérgico a las afirmaciones vagas en IA que no pueden ser falsadas, como las de ciertas figuras prominentes cuyas declaraciones "ni siquiera son erróneas porque no están bien definidas".
La divergencia China-EE. UU.
Yao ve que la competencia de IA entre China y EE. UU. se dirige hacia direcciones fundamentalmente diferentes, moldeadas por las fortalezas históricas de cada región. El enfoque estadounidense en el software empresarial y de productividad refleja márgenes de beneficio fáciles y modelos de negocio directos: "Te ayudo a escribir código, mi costo es 150 al mes, te lo vendo por 200, gano 50".
El enfoque de China centrado en el consumidor se basa en una década de experiencia con una monetización indirecta sofisticada. "En lo que China es realmente fuerte es en el lado del consumidor. Puede idear características o estructuras de producto realmente complejas y de una manera que te parece muy indirecta, de una forma muy antinatural, para hacer crecer esa ganancia". El ejemplo que da es Douyin, que no cobra por video, sino que monetiza silenciosamente a través de anuncios, transmisión en vivo y comercio electrónico.
Esta divergencia significa que la narrativa de la "super-app" que domina las discusiones chinas sobre IA tiene poco sentido para el mercado estadounidense. "Si me preguntas cuál de OpenAI y Anthropic moriría primero —por supuesto que no morirán realmente, solo cuál se volvería menos importante primero— en ese momento pensaría que quizás Anthropic se volvería menos importante primero. Pero luego OpenAI fue golpeado por Google, y después la propia Anthropic se puso en marcha. Así que ahora parece que Anthropic tiene más ventaja".
Sobre si las empresas estadounidenses entienden a ByteDance, Yao es directo: "Mi sensación es que no. Todavía no". Aunque todos reconocen a ByteDance como una empresa gravemente infravalorada y dominante en los mercados de consumo, la verdadera comprensión de cómo opera la empresa sigue siendo esquiva.
El verdadero cuello de botella
A pesar de todo el progreso técnico, Yao identifica la definición del producto como el factor limitante actual. "Creo que ahora es lo segundo: las cosas que quieres hacer han llegado a una meseta. Ahora mismo sabemos que hay un chatbot, puedes enseñarle a hacer esto. Y luego está la programación, puedes enseñarle a hacer esto. Y luego no sabemos qué más enseñarle".
Esto no es un problema de capacidad del modelo. "Este modelo sigue siendo un niño muy inteligente. Realmente puedes enseñarle muchas cosas. Pero nosotros, los humanos como maestros, ahora no sabemos cuál es la siguiente cosa que enseñar, o cómo enseñarla razonablemente usando los paradigmas actuales". La implicación es que los gerentes de producto que pueden identificar los problemas correctos y definir objetivos de entrenamiento claros se han vuelto más valiosos que los investigadores que pueden implementar soluciones.
Al observar la posición actual de OpenAI, Yao señala la ironía de que, al no reemplazar completamente la búsqueda antes de que Google se pusiera al día con los chatbots, "OpenAI le salvó la vida a Google". Si OpenAI hubiera llevado la búsqueda hasta el final antes de que Google respondiera, "entonces habría sido muy difícil. Pero afortunadamente, OpenAI hizo esto primero, luego hizo que Google se diera cuenta de que esto es importante. Pero no llevó esto hasta el final".
La evaluación final es pragmática: "Creo que la posición de nadie es segura en este momento. La forma de la IA todavía tiene un largo camino por recorrer. No estamos en ningún final todavía". Para un campo que supuestamente corre hacia la AGI, ese es un recordatorio aleccionador de que los desafíos reales pueden ser menos sobre escalar la computación y más sobre descubrir qué construir.