DruckFin

Transcripción de Google DeepMind: Yao Shunyu sobre el entrenamiento de Claude 3.7 y Gemini 3, el fin del heroísmo individual y por qué la IA es fundamentalmente simple

Entrevista del primer trimestre de 2026 con el investigador de Google DeepMind, Yao Shunyu, sobre la frontera en evolución de los modelos de lenguaje de gran escala

Introducción: Los dos Yao Shunyu de Silicon Valley

Xiaojun: Hola a todos, soy Xiaojun. Hoy, nuestro invitado es Yao Shunyu, investigador de Google DeepMind. En realidad, hay dos personas famosas llamadas Yao Shunyu en Silicon Valley. Uno trabajó anteriormente en OpenAI y más tarde se trasladó a Tencent para convertirse en su Chief AI Scientist, y ya ha estado en nuestro programa. Hoy he invitado al otro Yao Shunyu, quien estuvo anteriormente en Anthropic y ahora está en Google DeepMind. Comenzaremos hablando sobre la reciente serie de cambios masivos en el panorama de los modelos. Entremos de lleno en mi entrevista con Shunyu.

Yao Shunyu: Mi nombre es Yao Shunyu. Obviamente, hay otro investigador con un nombre casi idéntico que actualmente es el Chief AI Scientist en Tencent y ex investigador de OpenAI. Nuestras trayectorias profesionales tienen cierto solapamiento, por lo que podría parecer muy difícil distinguirnos. Originalmente estudié física, completando mi licenciatura en la Universidad de Tsinghua, donde trabajé en teoría de la materia condensada, y luego fui a la Universidad de Stanford para estudiar física teórica de altas energías, información cuántica y física de agujeros negros. Después de dejar Stanford, me quedé brevemente en Berkeley durante dos semanas como investigador posdoctoral antes de renunciar para unirme a Anthropic, donde estuve un año. Alrededor de finales de septiembre a principios de octubre del año pasado, me uní al equipo de Gemini en Google DeepMind. Si la gente quiere distinguirnos, la mayor diferencia es que el otro Shunyu ha hecho ciencias de la computación desde el principio, mientras que yo entré en este campo a mitad de camino después de hacer física teórica.

Xiaojun: ¿Son buenos amigos? Parece que se conocen desde la universidad y fueron de la misma generación, ¿correcto? ¿Cómo se evaluarían el uno al otro y a sí mismos?

Yao Shunyu: Sí, nos conocemos desde nuestros días de licenciatura en Tsinghua. Él estudió ciencias de la computación desde el principio en la Clase Yao, que es la clase experimental de ciencias de la computación, mientras que yo estudié física en la Clase Ji. Más tarde, él fue a Princeton y yo a Stanford. Este podría ser otro punto confuso, porque la gente suele pensar que Stanford es donde van los estudiantes de ciencias de la computación y Princeton donde van los de física, pero hicimos lo contrario. Realmente somos bastante diferentes. Creo que él es una persona mucho más interesante que yo, y he aprendido mucho de él. Pasa mucho tiempo pensando en la interacción humano-IA y en conceptos relacionados con el producto. Cuando estábamos en Silicon Valley, nos reuníamos con bastante frecuencia, tal vez cada pocas semanas, principalmente para pasar el rato, caminar, charlar sobre cosas al azar, comer y jugar a las cartas. Incluso después de que él regresara a China, todavía nos llamamos cada pocos meses para ponernos al día y compartir novedades.

Xiaojun: ¿Ha intentado reclutarte para unirte a su equipo en Tencent?

Yao Shunyu: Probablemente lo ha hecho, pero no creo que importe. Personalmente, aún no he definido mis próximos pasos a largo plazo. No me uní a ninguna empresa china porque, cuando dejé Anthropic alrededor de septiembre del año pasado, mi mayor motivación era simplemente aprender algo diferente. No estaba enfocado en liderar un proyecto masivo; quería priorizar el aprendizaje de nuevos dominios técnicos, razón por la cual elegí unirme al equipo de Gemini.

El cambio en la competencia de IA: Igualando el terreno de juego

Xiaojun: El otro Yao Shunyu declaró famosamente el año pasado que la IA ha entrado en la segunda mitad de su ciclo de desarrollo. ¿En qué etapa crees que está la IA hoy?

Yao Shunyu: Para mí, la definición de una primera y segunda mitad nunca ha sido particularmente clara. Sin embargo, la IA ciertamente ha entrado en una etapa en la que los actores de la industria se preocupan menos por si un modelo puede alcanzar cierta capacidad y más por si el problema objetivo en sí está bien definido. Hace un año, cuando estaba en Anthropic, todos estaban ansiosos por saber si teníamos la oportunidad de alcanzar o superar las capacidades de razonamiento de OpenAI. Hoy, entre los principales laboratorios como Google Gemini, OpenAI y Anthropic, nadie está seriamente preocupado por quedarse atrás. La parte más difícil ahora es averiguar qué queremos realmente que hagan los modelos. Esto requiere una visión humana significativa e implica hacer grandes apuestas estratégicas.

Xiaojun: ¿Significa eso que las capacidades de los modelos se han estabilizado y homogeneizado, dejando poco margen para la diferenciación sobre el papel?

Yao Shunyu: Sobre el papel, es decir, en benchmarks públicos estandarizados, todos están extremadamente cerca. Marcos de medición estandarizados como SWE-bench, AIME o IMO solían distinguir claramente los modelos, mostrando cuál era más fuerte en razonamiento o codificación. Ahora, los mejores modelos están todos agrupados en el mismo nivel alto, a menudo alrededor del ochenta por ciento en benchmarks complejos, donde una diferencia de uno o dos puntos porcentuales es mayormente ruido en lugar de una señal de verdadera superioridad. A pesar de esto, los usuarios aún pueden sentir las diferencias en la experiencia real del día a día. Claude sigue siendo el modelo de propósito general más capaz para agentes que utilizan herramientas. En codificación pura, otros competidores han cerrado la brecha, y Gemini sobresale en razonamiento puro y escenarios de conversación cotidiana.

Xiaojun: ¿Son estas capacidades el resultado de una priorización deliberada por parte de las empresas, o es una cuestión de limitaciones de ingeniería?

Yao Shunyu: La priorización es un factor masivo. En el pasado, cuando las diferencias entre modelos eran visibles sobre el papel, la voluntad de priorizar una dirección específica permitía a los equipos dedicar el esfuerzo necesario para construir los pipelines de datos y la infraestructura adecuados. La curación de datos requiere una cantidad inmensa de tiempo y esfuerzo. Actualmente, tanto la priorización como los problemas de definición fundamental están en juego. Cuando un problema no está claramente definido, las diferencias reales en el rendimiento del modelo a menudo provienen de factores que ni siquiera imaginaríamos inicialmente. Por ejemplo, hace años, los investigadores notaron que los modelos entrenados con datos web eran sorprendentemente buenos escribiendo código. Resultó que, debido a que los datos de GitHub están naturalmente estructurados y formateados con un estándar más alto que las páginas web típicas, la calidad general de los datos de pre-entrenamiento se elevó inadvertidamente.

Fosos de producto y la evolución de los asistentes de IA

Xiaojun: Como investigador de primera línea, ¿qué opinas de la reciente emoción que rodea a los agentes de uso de computadora de IA de código abierto como OpenClaw? ¿Qué discusiones están ocurriendo dentro de la comunidad investigadora?

Yao Shunyu: Curiosamente, la discusión fuera de la industria parece más intensa que dentro. Para los expertos de la industria, esta forma de producto no es particularmente sorprendente. Dentro de las principales empresas, los investigadores ya habían construido demos y experimentos internos similares; simplemente no los habían empaquetado, pulido y comercializado como productos de consumo público. La versión inicial del código de OpenClaw en GitHub no era excepcionalmente limpia, pero fue importante porque demostró la viabilidad del concepto al público. Poco después de mostrar esta posibilidad, el creador de OpenClaw se unió a OpenAI. Los principales laboratorios de IA se pondrán al día rápidamente, puliendo estas capacidades en productos robustos listos para el consumidor. Incluso antes de que se lanzara OpenClaw, Google estaba trabajando activamente en agentes similares, pero las grandes corporaciones naturalmente tienen procesos de desarrollo y lanzamiento más largos. Técnicamente, estas capacidades agénticas ya eran viables cuando se lanzó Claude 3.5 Opus, ya que poseía capacidades superiores de uso de herramientas en comparación con sus contemporáneos.

Xiaojun: ¿Cuál es la diferencia cualitativa entre los marcos de trabajo de agentes anteriores como Manus y los más nuevos como OpenClaw? ¿Por qué ambos eligieron vender su tecnología a jugadores más grandes como Meta y OpenAI?

Yao Shunyu: Para ser honesto, todavía no estoy completamente seguro de cuál es la diferencia cualitativa o por qué los marcos más antiguos no pudieron lograr el mismo éxito viral; tal vez se redujo a la ejecución y el momento. En cuanto a por qué eligieron vender, ilustra que para que una startup de IA sobreviva a largo plazo, necesita un foso, y actualmente, el foso principal reside en el lado del modelo. Todavía no hemos visto ninguna aplicación nativa de IA orientada al consumidor establecer con éxito un verdadero volante de datos (data flywheel). Aparte de las herramientas de codificación agéntica enfocadas en desarrolladores, hay muy pocas aplicaciones puramente nativas de IA que hayan logrado un éxito masivo. Los chatbots en sí mismos son en gran medida una extensión interactiva de los motores de búsqueda tradicionales. Satisfacen una necesidad informativa similar pero ofrecen una experiencia altamente interactiva e iterativa que resume y destila respuestas.

Xiaojun: ¿La adquisición de estos "wrappers" de aplicaciones por parte de las empresas de modelos demuestra que las startups no pueden escapar fácilmente de la atracción gravitacional de los proveedores de modelos fundacionales?

Yao Shunyu: Actualmente, hay dos caminos distintos para que las startups de tipo "wrapper" sobrevivan. El primero es alcanzar la velocidad de escape a través del hipercrecimiento. Si creces lo suficientemente rápido, para cuando las empresas de modelos alcancen tu forma de producto, ya habrás capturado la atención del usuario y podrás comenzar a entrenar tus propios modelos especializados. Cursor es un excelente ejemplo de esta estrategia. Comenzaron como un socio perfecto de Anthropic, pero a medida que Anthropic desarrolló sus propias herramientas para desarrolladores como Claude Code, Cursor comenzó a entrenar su propio modelo Composer, lo que los llevó a una relación altamente competitiva. En productividad y herramientas para desarrolladores, el mercado suele ser una dinámica de "el ganador se lo lleva todo", lo que crea un fuerte sentido de urgencia tanto para las startups como para los proveedores de modelos. El segundo camino es operar en un mercado que sea lo suficientemente pequeño como para que las principales empresas de modelos no se molesten en competir directamente. Midjourney es un gran ejemplo de esto. Si bien una empresa como Google podría asignar fácilmente recursos para replicar lo que hace Midjourney, el tamaño del mercado no es lo suficientemente grande como para justificar desviar el enfoque de los modelos centrales de propósito general.

Xiaojun: Si fueras tú, ¿qué camino elegirías?

Yao Shunyu: Personalmente, me encantaría apuntar alto y perseguir la oportunidad masiva, una entre diez mil. Sin embargo, siendo realistas, no puedes llegar allí de la noche a la mañana, por lo que asegurar primero un nicho más pequeño y de alto potencial suele ser la estrategia más práctica. Con respecto a las adquisiciones, cuando las grandes empresas compran equipos de producto externos, un beneficio significativo es adquirir talento de producto e ingeniería de primer nivel, particularmente en regiones como Asia. Si bien Estados Unidos sigue liderando la investigación de modelos fundacionales de vanguardia, China tiene un profundo grupo de talento excepcional en producto e ingeniería. Las startups pueden moverse rápido, escribir código desordenado y lanzar funciones experimentales. Las grandes empresas enfrentan restricciones legales, de marca y de recursos masivas, lo que les impide enviar productos altamente experimentales que soliciten permisos profundos del sistema en la computadora de un usuario.

Leyes de escala y el mito de las limitaciones del pre-entrenamiento

Xiaojun: Estando en el primer trimestre de 2026, ¿cuáles son tus expectativas personales para el panorama de los modelos durante el próximo año?

Yao Shunyu: Hay tantas posibilidades emocionantes. En el lado técnico, soy un firme defensor de la filosofía de entrenar con contexto finito pero usarlo como si fuera infinito. Esto significa entrenar modelos con longitudes de contexto limitadas pero permitiéndoles manejar ventanas de contexto casi infinitas durante la inferencia. Si logramos esto, desbloquearemos aplicaciones completamente nuevas, como un asistente personal continuo que interactúa constantemente contigo, evalúa dinámicamente la conversación, descarta información sin importancia y retiene contexto crucial durante largos períodos. Creo que definitivamente lograremos esto técnicamente este año. La industria aún no ha llegado a un consenso sobre el camino técnico exacto, pero tenemos múltiples ideas prometedoras que estamos probando activamente en escenarios de usuario del mundo real para encontrar el enfoque más eficiente.

Xiaojun: ¿Sientes que el ritmo de mejora de los modelos se está desacelerando?

Yao Shunyu: En absoluto. Es difícil cuantificar la curva de velocidad porque si solo miras los benchmarks estándar, el progreso parecerá naturalmente desacelerarse a medida que las puntuaciones se acercan al cien por ciento. Sin embargo, la diferencia cualitativa sentida por el usuario no escala linealmente con las ganancias en los benchmarks. Pasar del setenta al setenta y cinco por ciento en una tarea compleja puede sentirse como un salto mucho mayor en usabilidad que pasar del cincuenta al sesenta por ciento. Como investigador, mi observación personal es que la capacidad fundamental de aprendizaje de los modelos es cada vez más fuerte. Las tareas que antes requerían un esfuerzo de ingeniería masivo para enseñar a un modelo ahora se pueden lograr con mucha menos fricción. El cuello de botella ya no es la capacidad del modelo para aprender, sino nuestra capacidad para definir claramente el problema y construir entornos de datos de alta calidad.

Xiaojun: ¿Por qué la capacidad de aprendizaje es cada vez más fuerte? Algunos han argumentado que la Ley de Escala (Scaling Law) para el pre-entrenamiento está chocando contra un muro.

Yao Shunyu: Mi experiencia es que el escalado del pre-entrenamiento no ha chocado contra un muro, y no veo señales de que se esté estancando. Cuando la gente afirma que la Ley de Escala está llegando a su límite, generalmente se debe a una de tres cosas. O creen que se han alcanzado los límites físicos del paradigma, o creen que nos hemos quedado sin datos utilizables para escalar más, o simplemente tienen un error inadvertido en su propia implementación. En la gran mayoría de los casos donde los equipos chocan contra un muro, se debe a la tercera razón. En esta industria, corregir un solo error sutil en tu ciencia de escalado o pipeline de datos puede generar un progreso que supera con creces cualquier truco algorítmico sofisticado. Cuando te encuentras con un error, si crees que el paradigma es limitado, declaras que has chocado contra un muro. Si crees que se puede arreglar, sigues cavando. Es por eso que la resolución sistemática de problemas, que tanto Gemini como Anthropic hacen excepcionalmente bien, es tan crítica. Debes diseñar experimentos de ablación limpios para aislar y probar cada variable.

Xiaojun: ¿Cuál es el principal impulsor de este progreso continuo: cómputo, datos o algoritmos?

Yao Shunyu: Todos contribuyen, pero los datos y el cómputo están fuertemente correlacionados; a medida que el cómputo escala, naturalmente requieres y atraes más datos, y viceversa. Los avances algorítmicos tienden a ocurrir en fases. Cuando estás atascado en un cuello de botella conceptual, un avance algorítmico es absolutamente crítico porque de repente hace posible lo imposible, tal como lo hizo la invención de la arquitectura Transformer. Una vez establecido el marco, el progreso algorítmico se vuelve más gradual, enfocado en mejorar la eficiencia computacional y de datos. Dentro de nuestros marcos actuales y claros de pre-entrenamiento y post-entrenamiento, el cómputo y los datos siguen siendo los principales impulsores. Sin embargo, en dominios científicos no resueltos como la generación multimodal, el paradigma aún no está fijado, lo que hace que la innovación algorítmica sea el factor dominante allí. Para el lenguaje natural, el marco científico es relativamente claro, y el desafío reside en la ejecución masiva de ingeniería.

La explosión de las herramientas de codificación de IA

Xiaojun: ¿Por qué la codificación ha sido el área de aplicación de desarrollo más rápido para los modelos de IA en los últimos meses?

Yao Shunyu: La codificación tiene dos ventajas masivas que la hacen perfecta para la IA. Primero, tiene una señal de recompensa altamente objetiva y bien definida. Si le pides a un modelo que escriba código para implementar una característica específica, puedes ejecutar pruebas fácilmente para ver si la entrada coincide con la salida esperada. El ciclo de retroalimentación es inmediato e inequívoco. Segundo, la codificación tiene una base de datos increíble de décadas en GitHub, que proporciona un repositorio masivo de código de alta calidad escrito por excelentes programadores. Esto permite a los investigadores construir entornos de simulación altamente robustos. Desde una perspectiva de producto, los requisitos del usuario para la codificación son relativamente singulares y estandarizados. A diferencia de las redes sociales o los juegos, donde los gustos de los usuarios son altamente subjetivos y diversos, los excelentes programadores generalmente están de acuerdo en lo que constituye un código limpio, conciso, estructuralmente claro y bien abstraído. Este consenso hace que desarrollar productos de codificación sea mucho más sencillo.

Xiaojun: En tu trabajo diario como investigador, ¿qué porcentaje de tu código es generado por IA?

Yao Shunyu: Una estimación conservadora es que más del noventa por ciento del código bruto que uso es generado por el modelo. Si soy menos conservador, es más cercano al noventa y nueve o cien por ciento. Sin embargo, todavía paso una cantidad significativa de tiempo revisando, editando y verificando la lógica para asegurarme de que se alinee con mi diseño exacto. El núcleo de la ingeniería de software ha pasado de escribir sintaxis a diseñar la arquitectura del sistema, definir la lógica y proporcionar al modelo el contexto y los archivos de referencia correctos. La porción de código que el modelo no puede escribir se está reduciendo rápidamente. En comparación con hace dieciocho meses, la eficiencia de implementar ideas y ejecutar experimentos de investigación ha aumentado entre veinte y cincuenta veces. Puedes ejecutar múltiples ideas experimentales en paralelo y dejar que el modelo monitoree las ejecuciones y analice los resultados. Esto en realidad ha hecho que mis horas de trabajo sean más largas e intensas; debido a que el ciclo de iteración es tan rápido, constantemente hay más ideas que quiero probar de inmediato. En el campo de la IA generativa, nadie se está relajando. Si eres autodidacta y te apasiona la tecnología, el ritmo es increíblemente exigente.

Xiaojun: ¿Serán los programadores completamente reemplazados por la IA?

Yao Shunyu: Creo que ese día llegará, pero será un proceso gradual y por fases en lugar de un despido masivo de todos los desarrolladores de la noche a la mañana. Ya podemos ver que esto comienza a suceder. La IA es una tecnología altamente centralizada; empodera a un pequeño grupo de individuos altamente capaces para que sean increíblemente productivos, pero puede disminuir el valor único de los desarrolladores promedio o de nivel de entrada. El resultado final para la ingeniería de software tradicional podría ser que una milésima parte de las personas haga el trabajo de toda la fuerza laboral anterior, ganando una compensación significativamente mayor. Mi consejo para los programadores es que adopten estas nuevas herramientas y se concentren en aprender a colaborar eficazmente con la IA. Enfóquense en el diseño de sistemas de alto nivel, la planificación estratégica y la comprensión de cómo su trabajo técnico se integra en una gran organización. La IA puede escribir bloques de código específicos increíblemente bien, pero desglosar un proyecto masivo y ambiguo en pasos modulares y procesables sigue siendo una habilidad dominada por humanos, al menos por ahora.

Evaluando la brecha entre los modelos de IA chinos y occidentales

Xiaojun: ¿Qué opinas de los recientes éxitos de ByteDance en el espacio de la generación multimodal, como su modelo Seed? ¿Presiona esto al equipo de Google DeepMind?

Yao Shunyu: Ciertamente trae algo de presión, especialmente para los equipos directamente responsables de la generación multimodal. Sin embargo, no creo que refleje un cambio de paradigma fundamental. ByteDance ha poseído históricamente fuertes ventajas en datos de usuario e ingeniería de producto, y ejecutan estos detalles increíblemente bien. La generación multimodal sigue siendo un problema científico altamente activo donde los paradigmas de entrenamiento aún no están completamente estandarizados en toda la industria. Si tuviera que adivinar, el fuerte rendimiento de ByteDance proviene de una curación de datos superior y una atención meticulosa a los detalles de ingeniería. Con respecto a que Wu Yonghui lidere el equipo de grandes modelos de ByteDance, no he trabajado con él directamente, pero mirando sus contribuciones pasadas y los commits de código en Google, es uno de los líderes altamente senior y raros que aún mantiene habilidades técnicas prácticas increíblemente agudas.

Xiaojun: Si tomamos una instantánea de la industria en el primer trimestre de 2026, ¿la brecha de capacidad entre los modelos de IA chinos y occidentales se está ampliando o reduciendo?

Yao Shunyu: La brecha de capacidad absoluta se está reduciendo, y los desarrolladores de modelos chinos se han vuelto increíblemente buenos construyendo modelos competitivos a pesar de enfrentar severas limitaciones de hardware y cómputo. Sin embargo, si pueden cerrar completamente la brecha o superar a los modelos occidentales sigue siendo una pregunta abierta. La desventaja de cómputo ha obligado a los laboratorios chinos a volverse altamente innovadores en otras áreas, como la destilación de modelos y los sistemas de entrenamiento multi-agente.

La dinámica entre la destilación dura y blanda

Xiaojun: El CEO de Anthropic criticó recientemente a varios competidores por destilar datos de sus modelos. ¿Cómo ves la práctica de la destilación de modelos?

Yao Shunyu: La destilación de modelos es un secreto a voces en la industria, pero hay una gran diferencia entre la destilación por fuerza bruta y la destilación inteligente o "blanda". La fuerza bruta, o destilación dura, implica simplemente tomar un lote masivo de salidas generadas por un modelo como Claude y entrenar tu propio modelo directamente con esos tokens. Comercialmente, esto es cuestionable, e intelectualmente, es algo tonto porque demuestra que un equipo no sabe lo que quiere construir; simplemente están copiando la distribución de otra persona para obtener puntuaciones más altas en los benchmarks estándar. Por otro lado, la destilación blanda implica usar otros modelos como asistentes o evaluadores dentro de tu propio pipeline de generación de datos propietario. Este es un enfoque científico fascinante. Ha convertido efectivamente a algunos laboratorios chinos en pioneros de los sistemas de entrenamiento multi-agente, ya que están integrando diversas distribuciones de modelos en un ecosistema de entrenamiento cohesivo y único. Doubao de ByteDance es bastante distintivo; si bien puede no igualar la inteligencia de razonamiento cruda de Gemini o Claude, su generación de voz en tiempo real es posiblemente la mejor del mundo. Han optimizado fuertemente para su base de usuarios de consumo específica, priorizando la baja latencia y una experiencia de usuario atractiva sobre el rendimiento bruto en benchmarks.

Xiaojun: ¿Por qué las empresas estadounidenses no han priorizado esas funciones de consumo en tiempo real en la misma medida?

Yao Shunyu: El enfoque principal para los desarrolladores de modelos estadounidenses ha sido maximizar la eficiencia laboral y la inteligencia cognitiva bruta. En China, hay un enfoque mucho más fuerte en el lado del consumidor, creando productos que son atractivos y encajan en la vida diaria. Por ejemplo, el teléfono Doubao es un excelente concepto de producto que ejecuta tareas en tiempo real, aunque la sobrecarga técnica subyacente debe optimizarse cuidadosamente para garantizar que el costo de ejecutar el modelo no exceda el valor del servicio que proporciona. Apple también está tratando de abordar este espacio de asistente de consumo a través de su asociación con Gemini, reconociendo que, si bien se preocupan profundamente por Siri y su estrategia de IA, su desarrollo interno de modelos se ha quedado atrás respecto a la frontera.

El futuro de la robótica y los modelos del mundo

Xiaojun: Hay mucha emoción en torno a los robots humanoides. ¿Tienes alguna observación sobre el espacio de la robótica y cómo se compara con la línea de tiempo de desarrollo de los modelos de lenguaje de gran escala?

Yao Shunyu: He visto algunos de los robots humanoides y sus precios; la cadena de suministro de hardware en China es increíblemente madura, lo que hace que estas plataformas físicas sean sorprendentemente baratas. Sin embargo, en el lado del software, la robótica todavía está muy en su era de ingeniería de características. Los robots pueden optimizarse para desempeñarse increíblemente bien en entornos altamente específicos y deterministas, pero carecen de generalizabilidad. Si entrenas a un robot para doblar ropa o servir agua, esa capacidad no se abstrae y generaliza naturalmente a otras tareas. Los modelos de lenguaje han cruzado ese umbral crítico donde escalar el modelo base eleva todas las capacidades posteriores simultáneamente. La robótica aún no ha llegado a su momento GPT-1; no hemos descubierto cómo escalar verdaderamente el entrenamiento de modelos de acción física. Muchos laboratorios de robótica están experimentando ahora con el uso de modelos de lenguaje multimodales como base, entrenando modelos de visión-lenguaje-acción para cerrar esta brecha. Visitar estos laboratorios es increíblemente divertido: son mucho más dinámicos que las oficinas de modelos de lenguaje, con investigadores recolectando constantemente datos físicos y controlando máquinas.

Xiaojun: ¿Cuál es tu definición de un modelo del mundo? Parece haber un desacuerdo significativo en la industria sobre este término.

Yao Shunyu: De hecho, pregúntale a diez mil personas y obtendrás diez mil definiciones diferentes. Los modelos del mundo que están construyendo los laboratorios académicos son muy diferentes de los modelos de extremo a extremo en los que nos enfocamos. Para Gemini, un modelo del mundo se entrena de extremo a extremo para que no solo genere un video estático a partir de una descripción, sino que realmente modele un escenario físico. El modelo genera un estado, toma una entrada de acción y predice el estado subsiguiente como una función directa del estado y la acción anteriores. Todavía está en una fase altamente exploratoria, y aún no tenemos un consenso único en toda la industria sobre la forma definitiva de un modelo del mundo.

El viaje de Yao Shunyu de la física teórica a la inteligencia artificial

Xiaojun: Hablemos de tu formación personal. Estudiaste física teórica en Tsinghua y Stanford antes de hacer la transición a la IA. ¿Cómo hiciste esa transición?

Yao Shunyu: Nací en Dawukou, una pequeña ciudad minera de carbón en Ningxia, pero me mudé a Shanghái con mis padres durante la escuela primaria. Asistí a una escuela secundaria y preparatoria relativamente ordinaria, y era bastante mediocre cuando era joven. No entré en Tsinghua a través del camino de élite de la competencia de olimpiadas. En la preparatoria, tuve la opción entre asistir a una clase regular en una de las cuatro mejores escuelas secundarias de Shanghái o unirme a la clase competitiva de física en Gezhi High School, que se consideraba una "underdog". Elegí la clase "underdog" porque me encanta desafiarme a mí mismo con cosas en las que no soy naturalmente bueno. Esa decisión finalmente me llevó al departamento de física de Tsinghua. Durante mi último año de preparatoria, le envié un mensaje audaz a la oficina de admisiones de Tsinghua preguntando por qué solo abrían las pruebas de inscripción independientes a los estudiantes de Pekín. Accedieron a dejarnos tomar el examen, y entré. Eso me enseñó una lección de vida masiva: sé audaz y lucha por las oportunidades, porque si no preguntas, la respuesta siempre es no.

Xiaojun: En Tsinghua y Stanford, trabajaste en teoría de la materia condensada y sistemas no hermitianos. ¿Puedes explicar esa investigación en términos simples?

Yao Shunyu: Intentaré hablar en términos humanos. En la mecánica cuántica básica, asumimos que los sistemas aislados experimentan una evolución unitaria descrita por una matriz hermitiana, lo que significa que los estados de energía son matemáticamente autoconsistentes. Sin embargo, los sistemas del mundo real nunca están perfectamente aislados; intercambian constantemente información y materia con su entorno. Estos son sistemas cuánticos abiertos, descritos por hamiltonianos no hermitianos. Durante mi investigación de licenciatura, notamos que nuestros cálculos analíticos para estos sistemas no coincidían con nuestras simulaciones numéricas. Finalmente descubrimos que en los sistemas no hermitianos, los autoestados de energía pueden acumularse físicamente en los límites del material, un fenómeno que modelamos sistemáticamente y establecimos un marco matemático para describir. Esa investigación me enseñó una lección crucial que se aplica directamente a la IA: no confíes demasiado en la teoría pura, y usa simulaciones numéricas para verificar y refinar constantemente tu comprensión de los sistemas complejos.

Xiaojun: ¿Por qué elegiste dejar la física de altas energías durante tu doctorado en Stanford?

Yao Shunyu: La física de altas energías es increíblemente hermosa e intelectualmente desafiante, pero se ha desarrollado hasta un punto en el que las teorías no pueden verificarse experimentalmente en nuestra vida. Sin datos empíricos, el campo depende en gran medida de la autoconsistencia matemática y las opiniones subjetivas de los académicos senior. Me di cuenta de que no quería pasar mi vida sirviendo al establecimiento académico de un campo que carecía de retroalimentación objetiva del mundo real. Quería trabajar en cosas que pudieran impactar activamente al mundo y tuvieran criterios claros y objetivos para el éxito. Durante los últimos años de mi doctorado, exploré la computación cuántica y la IA. Me di cuenta de que el cuello de botella principal en la computación cuántica es la ingeniería de hardware experimental, que no es mi fuerte. La IA, sin embargo, es un entorno digital donde puedes concebir una idea e inmediatamente ejecutar experimentos numéricos para verificarla. Se sentía mucho como la edad de oro de la física del siglo XIX, donde la especulación teórica y la experimentación activa iban de la mano.

Trabajando en Claude 3.7 y 4.5 en Anthropic

Xiaojun: ¿Cómo comenzó tu viaje en Anthropic y cómo era la cultura durante el desarrollo de Claude 3.7 y 4.5?

Yao Shunyu: Tenía antiguos colegas académicos en Anthropic, que históricamente ha contratado a muchos investigadores con antecedentes en física teórica. Cuando hice la entrevista a finales de 2024, el equipo de aprendizaje por refuerzo era muy pequeño, unas diez u once personas en el equipo central. En ese momento, el RL para modelos de lenguaje de gran escala era altamente inmaduro; el o1 de OpenAI no se había lanzado públicamente, y la mayoría de los laboratorios todavía estaban tratando de averiguar cómo hacer que el RL a gran escala fuera estable. El gerente del equipo, que también tenía antecedentes en física, me invitó a trabajar en estos desafíos de escalado. Preparé mis propios sistemas GPT básicos usando proyectos de código abierto como nanoGPT de Andrej Karpathy para prepararme para las entrevistas técnicas, y me uní al equipo poco después.

Xiaojun: ¿Qué hizo que Anthropic fuera única como organización de investigación durante ese período?

Yao Shunyu: Anthropic tiene una estructura de toma de decisiones de arriba hacia abajo altamente efectiva. Debido a que los líderes técnicos principales como Jared Kaplan y Sam McCandlish también son cofundadores de la empresa, poseen una inmensa credibilidad técnica y autoridad corporativa. Cuando reciben una señal técnica clara, pueden alinear instantáneamente a toda la empresa para apostar todo en una apuesta específica, como priorizar las capacidades de codificación. Esto es muy difícil de replicar para otras empresas. En OpenAI, las luchas políticas internas interrumpieron esta alineación, y en Google, la organización es históricamente mucho más de abajo hacia arriba y distribuida. El equipo cofundador de Anthropic tiene un profundo nivel de confianza mutua construido tras luchar batallas juntos desde sus días en OpenAI, lo que mantiene a la organización increíblemente reactiva y enfocada.

Xiaojun: ¿Cómo se desarrolló Claude 3.7 y qué papel jugaste en ese proyecto?

Yao Shunyu: Antes de Claude 3.7, el post-entrenamiento era en gran medida un proceso de parchear modelos pre-entrenados en lugar de un paradigma escalable por derecho propio. El avance llegó cuando la industria descubrió cómo escalar el aprendizaje por refuerzo utilizando entornos limpios y objetivos con señales de retroalimentación claras, específicamente entornos de ingeniería de software. El desarrollo central de Claude 3.7 tomó alrededor de cuatro a cinco meses. Mi trabajo se centró en la estabilidad algorítmica del RL a gran escala y la construcción de los entornos de entrenamiento modulares. Sin embargo, el desarrollo de la IA a esta escala es un esfuerzo masivo y altamente colaborativo de ingeniería de sistemas. La era del heroísmo individual en la IA ha terminado; la tecnología es una ola imparable, y los investigadores son simplemente surfistas tratando de atrapar la cresta. Si un individuo no hace un descubrimiento específico, otro equipo en un laboratorio bien financiado inevitablemente lo hará unas semanas después.

Contrastando las culturas de OpenAI, Anthropic y Google DeepMind

Xiaojun: ¿Por qué decidiste dejar Anthropic para unirte al equipo de Gemini en Google DeepMind?

Yao Shunyu: Hubo varios factores. Primero, Anthropic creció muy rápidamente, más que duplicando su plantilla a casi dos mil personas mientras estuve allí. Este rápido crecimiento introdujo una dilución cultural significativa y fricción interna. Personalmente, me disgustan las culturas donde la gente pasa sus días en Slack hablando de principios abstractos y grandilocuentes en lugar de hacer el trabajo de ingeniería meticuloso y duro requerido para implementar ideas. Segundo, no estaba de acuerdo con la postura política anti-China cada vez más extrema y emocional impulsada por el liderazgo de Anthropic. Finalmente, Anthropic está altamente enfocado en un conjunto de productos estrecho, lo que significa que no invierten en investigación de infraestructura de bajo nivel o generación multimodal. Quería aprender de un conjunto más amplio de mentes humanas y tener la libertad de explorar diversas direcciones de investigación, y Google DeepMind ofrece un entorno inigualable para esa escala de libertad de investigación.

Xiaojun: Muchos investigadores dejan Google porque sienten que la estructura corporativa es demasiado lenta o restrictiva. ¿Por qué tienes la opinión opuesta?

Yao Shunyu: Depende completamente de lo que quieras. Si tu objetivo es forzar inmediatamente tu idea específica en un producto de consumo, el tamaño masivo de Google y sus complejos procesos de lanzamiento pueden ser altamente frustrantes. Pero si tu objetivo es la libertad de investigación y acceder a talento de ingeniería de clase mundial en un espectro masivo de tecnologías, no hay mejor lugar. Las reservas técnicas de Google no tienen comparación. Además, el éxito inicial de OpenAI en realidad salvó a Google al despertar al gigante. Obligó a Google a reorganizarse y optimizar su toma de decisiones, transformando el pre-entrenamiento en un proceso de ingeniería altamente disciplinado y predecible que opera completamente dentro de la zona de confort de Google.

Por qué la investigación en IA es fundamentalmente simple

Xiaojun: Has hecho la controvertida declaración de que la IA es fundamentalmente simple y no requiere una inteligencia excepcional. ¿Puedes explicar qué quieres decir con eso?

Yao Shunyu: En física, si no tienes datos experimentales a una escala de energía específica, simplemente no puedes proceder. La IA no enfrenta esta restricción fundamental. Es un campo altamente empírico donde no estamos bloqueados por la falta de ideas, sino más bien por el tiempo y el cómputo necesarios para probar las miles de ideas que ya tenemos. Es fundamentalmente simple porque no necesitas ideas brillantes y transformadoras de paradigmas para progresar; necesitas ser excepcionalmente confiable, orientado a los detalles y sistemático en tu ejecución. Debes escribir código limpio, eliminar errores sutiles y analizar cuidadosamente tus datos empíricos. La mayoría de los avances son el resultado de una ingeniería colectiva y disciplinada en lugar de un genio individual.

Xiaojun: ¿Cómo diseñas tu proceso de entrevista para identificar investigadores de IA confiables y de alta calidad?

Yao Shunyu: Diseñé una tarea de entrevista donde el candidato tiene veinticuatro horas para construir y entrenar un proyecto completo de aprendizaje por refuerzo desde cero. Deben elegir el modelo, los datos y el algoritmo, y luego discutir su implementación conmigo durante una hora. En la era moderna de la IA, escribir el código bruto es fácil porque el candidato puede usar la IA para hacerlo. La verdadera prueba es si realmente entienden el sistema que construyeron. Si dejan ciegamente que la IA genere todo sin una comprensión profunda y sistemática, fallarán inmediatamente durante nuestra discusión técnica. También prueba su dedicación y hambre: si están dispuestos a pasar una noche en vela para entregar un resultado excepcional bajo restricciones estrictas.

Liderazgo en ingeniería y gestión de proyectos de IA a gran escala

Xiaojun: ¿Cómo organizan los diferentes laboratorios sus equipos de investigación para gestionar las compensaciones entre el pre-entrenamiento y el post-entrenamiento?

Yao Shunyu: Tanto Anthropic como Google mantienen equipos separados y dedicados para el pre-entrenamiento y el post-entrenamiento. La estructura de OpenAI ha sido históricamente más fluida y a veces caótica, con sus equipos de post-entrenamiento, aprendizaje por refuerzo y producto ocasionalmente superponiéndose en sus responsabilidades. La estructura organizativa efectiva depende en última instancia de tener un líder técnico con una inmensa credibilidad. Este líder debe tener la capacidad práctica de intervenir en la primera línea y resolver incendios técnicos críticos cuando las cosas salen mal, pero también tener la tolerancia para comprender y apoyar ideas diversas y exploratorias que tal vez ellos mismos no hayan concebido. Google ha encontrado un fuerte equilibrio en este sentido, con líderes como Koray Kavukcuoglu gestionando los proyectos centrales de escalado de Gemini mientras Demis Hassabis se enfoca en aplicaciones científicas más amplias como el descubrimiento de fármacos.

Xiaojun: ¿Cuál es la ventaja competitiva de Google cuando se trata de hardware personalizado como las TPU frente a las GPU NVIDIA estándar de la industria?

Yao Shunyu: Desde una perspectiva de hardware puro, ninguna es inherentemente superior para despliegues a gran escala. La ventaja principal de las GPU es su ecosistema de software maduro y de código abierto, mientras que las TPU requieren que Google invierta fuertemente en construir sus propios compiladores e infraestructura personalizados. Sin embargo, a la escala de cientos de miles de chips, esta inversión en software está totalmente justificada. Las filosofías de diseño arquitectónico son bastante diferentes. Los pods de GPU de NVIDIA se centran en interconexiones NVLink de velocidad increíblemente alta dentro de un nodo relativamente pequeño de tarjetas. Las TPU de Google utilizan una topología de red 3D Torus, sacrificando algo de velocidad de interconexión por pares para vincular números masivos de tarjetas directamente dentro de un solo clúster. Si tus compiladores y estrategias de fragmentación de datos están lo suficientemente bien escritos para aprovechar esta topología, puedes lograr una capacidad de memoria masiva y reducir significativamente los cuellos de botella de comunicación durante el entrenamiento a gran escala.

Perspectivas futuras para los paradigmas de LLM y consejos profesionales para programadores

Xiaojun: Para los jóvenes que ingresan al campo de la IA hoy, ¿sigue siendo un océano azul de oportunidades?

Yao Shunyu: El procesamiento de lenguaje natural puro y el escalado estándar de LLM ya no son océanos azules; el último tren ya partió, y el panorama está dominado por equipos de ingeniería masivos y consolidados. Sin embargo, la IA es un dominio increíblemente vasto. Hay oportunidades masivas en la generación multimodal, la robótica física y el uso de la IA para resolver problemas científicos y matemáticos fundamentales. La mejor opción para los jóvenes investigadores no es perseguir la tendencia más ruidosa de hoy, sino enfocarse en los desafíos no resueltos y descuidados del mañana.

Xiaojun: ¿Cuáles son tus propios planes personales para el futuro?

Yao Shunyu: Probablemente no me quedaré en una corporación tecnológica masiva para siempre. Quiero seguir desafiándome a mí mismo, encontrando problemas difíciles de resolver y aprendiendo nuevos dominios técnicos. En este momento, mi mayor prioridad es llevar nuestros sistemas de codificación ML y entrenamiento de largo horizonte a un estado altamente estable y listo para producción. Una vez que eso se logre, buscaré el siguiente desafío difícil que abordar.

Xiaojun: Cada invitado en nuestro programa recomienda un libro que los ha influenciado profundamente. ¿Qué le recomendarías a nuestra audiencia?

Yao Shunyu: Honestamente, no leo mucho y no disfruto leer libros tradicionales. La mayor parte de lo que leo son artículos de investigación profesional. Sin embargo, recientemente leí la autobiografía de Hideki Yukawa, el premio Nobel de física, titulada Tabibito, que se traduce como El viajero. Es una mirada muy auténtica y reconfortante a un científico altamente exitoso que lucha con la duda y los desafíos durante su juventud. Si quieres una gran recomendación de ficción, recomiendo encarecidamente la novela japonesa Desde el nuevo mundo.

Xiaojun: Gracias, Shunyu, por compartir tus ideas increíblemente directas y valiosas con nosotros hoy.

Yao Shunyu: Gracias. Fue un placer charlar contigo.