Yao Shunyu: El pre-entrenamiento no ha tocado techo, la investigación en IA es fundamentalmente sencilla y la era del heroísmo individual ha terminado
El exinvestigador de Anthropic y Google DeepMind habla sobre el entrenamiento de Claude 3.7, 4.5 y Gemini 3 — Entrevista grabada en marzo de 2026
Yao Shunyu llegó a la entrevista usando gafas de cristales ámbar que cambian de tono según la luz. Existen dos Yao Shunyu en los círculos de IA de Silicon Valley, ambos graduados de la misma generación en Tsinghua. El primero saltó de OpenAI a Tencent en 2025. El segundo, nuestro invitado de hoy, pasó de Anthropic a Google DeepMind ese mismo año. En los últimos dos años, ha contribuido a modelos clave como Claude 3.7, 4.5 y Gemini 3. Su trayectoria profesional narra una historia más amplia sobre cómo la investigación en IA ha evolucionado desde una era de brillantez individual hacia una de ejecución colectiva.
La postura más polémica: el progreso del pre-entrenamiento no se ha ralentizado
Situado en el primer trimestre de 2026 como investigador de primera línea, Yao ofrece una perspectiva que contradice la narrativa predominante. "Creo que en absoluto", responde tajante cuando se le pregunta si la mejora de los modelos se está desacelerando. "Mi experiencia es que no ha sido así. Y tengo la sensación de que en los próximos cuatro meses tampoco veo señales de que vaya a terminar".
Esta visión es algo controvertida. Hace unos meses, muchos debatían si la Ley de Escalamiento (Scaling Law) había alcanzado su límite. La postura de Yao es inequívoca: no es así. "Mi suposición es que cuando alguien piensa que un patrón ha llegado a su límite, básicamente se debe a una de estas dos situaciones. Una es que sienten que el rango de aplicación de ese patrón ha llegado a su tope. Otra posibilidad es que esa persona considere que una de sus condiciones ya no puede cumplirse, como que los datos hayan chocado contra un muro. Pero, en realidad, hay una tercera posibilidad: hay un error (bug) en algún lugar de su trabajo que ellos mismos no han notado".
Según la observación de Yao, la gran mayoría de quienes chocan contra un muro lo hacen por la tercera razón. "Por ejemplo, una posibilidad es que, al trabajar en las leyes de escalamiento, algunas suposiciones científicas no fueran del todo correctas. O simplemente hay un error. No creo que esto sea sorprendente en la industria. Muchas veces, corregir un solo error aporta un progreso mucho mayor que algunos trucos sofisticados".
El pre-entrenamiento se ha vuelto más sólido en los últimos meses, revela Yao. "El pre-entrenamiento de modelos se ha fortalecido realmente en los últimos meses. Mi sensación es que en los próximos cuatro meses tampoco veo señales de que esto vaya a terminar". Cuando se le pregunta por qué la gente cree que está llegando a su límite, responde: "Obviamente no sé por qué la gente piensa que ha llegado a su límite, porque yo mismo no siento que lo haya alcanzado".
Qué impulsa el progreso: datos, cómputo o algoritmos
Sobre la cuestión de qué impulsa las capacidades de los modelos, Yao cree que los tres factores contribuyen, pero que los datos y el cómputo están fuertemente correlacionados. "Cuando tu cómputo aumenta, naturalmente atraerás más datos. Cuando los datos aumentan, naturalmente necesitarás más cómputo". En cuanto a los algoritmos, sostiene que el progreso algorítmico a menudo tiene transiciones de fase: hay una etapa en la que no sabes qué hacer y los algoritmos son extremadamente críticos. Pero tras descubrir la visión algorítmica más importante, las mejoras se vuelven graduales.
"Por ejemplo, desde la perspectiva del pre-entrenamiento de modelos de lenguaje, ese salto algorítmico fue el desarrollo del Transformer. Pero después de que se descubrió el Transformer, todo ha sido mayormente gradual y fluido", explica. Dentro de marcos relativamente claros como el pre-entrenamiento y el post-entrenamiento, los principales motores son, efectivamente, el cómputo y los datos. Pero en otras direcciones, como la generación multimodal, sigue siendo un problema científico que aún no se ha descifrado por completo.
Yao rechaza la noción de que la IA esté alcanzando límites fundamentales. "Siento que la IA no da la sensación de estar chocando contra un muro porque, primero, puedes intentar muchas cosas. Segundo, no es que a todos se les hayan acabado las ideas y no quede nada por probar. Más bien, suele ocurrir que hay demasiadas ideas y necesitas probarlas una por una". Predice que muy pronto, en un plazo de seis a doce meses, la IA comenzará a realizar experimentos por sí misma; no solo escribiendo código y ejecutando experimentos, sino también analizando resultados, proponiendo nuevas hipótesis, diseñando nuevo código y ejecutando nuevos experimentos en un ciclo completo.
Cómo Anthropic hizo su apuesta por la programación
Yao se unió a Anthropic en septiembre de 2024, justo cuando la empresa se preparaba para su pivote más importante. En ese momento, el objetivo era claro: aprendizaje por refuerzo a gran escala aplicado a la programación. "Creo que cuando me uní, todo el mundo ya había visto definitivamente que esto se podía hacer y que era importante. Pero no sabían muy bien cómo. Y cuando entré, estaba investigando con todos cómo lograrlo".
El origen de esta apuesta se remonta a Claude 3. Tras el lanzamiento de ese modelo, muchas personas en Twitter comentaron que Claude 3 parecía escribir código mejor que GPT-4. "Así que ser capaz de hacer una cosa importante mejor que GPT-4 fue bastante impresionante", recuerda Yao. Esa fue una retroalimentación del mercado que Anthropic tomó muy en serio.
¿Pero por qué específicamente la programación? Yao señala dos ventajas principales. "La primera es que su señal de recompensa —es decir, su señal de retroalimentación— está muy bien definida. Una tarea de ingeniería de software suele ser: necesito escribir código para implementar una función. Esto es algo muy fácil de probar. Si tu entrada y tu salida coinciden, significa que tu implementación es exitosa". La segunda ventaja son los datos: GitHub ha acumulado décadas de código de alta calidad de programadores excelentes, proporcionando una base tremenda para construir entornos.
El modelo resultante, Claude 3.7, se convirtió en un punto de inflexión para el post-entrenamiento de Anthropic. "Antes de la versión 3.7, el post-entrenamiento estaba en una escala relativamente pequeña, más como poner parches, ese tipo de estado para el modelo", explica Yao. Durante esa era, nadie había descubierto realmente cómo escalar el post-entrenamiento. Pero en ese periodo, ya fuera OpenAI, Anthropic o incluso DeepSeek en China, se dieron cuenta de cómo escalarlo: "Tienes que encontrar el entorno adecuado donde la señal de retroalimentación sea lo suficientemente clara y el entorno mismo sea una fuente de datos sólida. Y luego, sobre eso, puedes hacer que el entrenamiento sea muy estable. Entonces, puede funcionar".
El desarrollo desde la 3.7 hasta la 4.5 involucró tanto el pre-entrenamiento como el post-entrenamiento a una escala mucho mayor, aunque Yao señala que, en cuanto al paradigma, no hubo cambios fundamentales. La clave fue la ejecución sistemática a escala.
La ventaja organizativa única de Anthropic
¿Qué permitió a Anthropic ejecutar con tanta decisión en el área de programación? Yao señala la inusual estructura organizativa de la empresa. "Anthropic como empresa puede implementar este mecanismo relativamente de arriba hacia abajo (top-down), es algo muy único". El factor crucial es que la persona que toma las decisiones técnicas debe ser también quien toma las decisiones de la empresa. "Tienes que ser convincente técnicamente, entonces puedes convencer a los investigadores de abajo para que hagan esto. Por otro lado, tienes que ser quien toma las decisiones en la empresa, tienes que ser capaz de asumir la responsabilidad por ella".
Anthropic tiene esto a su favor: sus líderes técnicos, Jared Kaplan y Sam McCandlish, son ambos cofundadores de la empresa. "Ellos mismos toman esta decisión, es su empresa. Así que tienen la autoridad para hacerlo de forma vertical". Yao contrasta esto con OpenAI: "Cuando Ilya estaba allí, podría haber sido posible. Pero Ilya más tarde, por una razón que desconozco, parecía haber perdido la capacidad de tomar decisiones. Y luego se fue".
Cuando Yao se unió a Anthropic, la empresa tenía alrededor de setecientas u ochocientas personas en total. Su primera impresión fue de una ejecución muy fuerte y una estructura relativamente vertical. "Es simplemente que es una empresa bastante vertical. Así que, después de que muchas cosas se deciden, van con todo". El ambiente entre los empleados era excelente: todos se conocían y no había ocultamiento de información.
El equipo cofundador de la empresa se ha mantenido intacto, lo cual Yao considera crucial. "Ni una sola persona ha dejado la empresa. Si miras su pasado, son un grupo de personas que realmente han librado batallas juntos. De donde provenían, todos eran antiguos empleados de OpenAI". Muchos fueron coautores de artículos clave como Scaling Law y GPT-3. "Son personas que han estado en las trincheras juntos. Creo que la confianza mutua sigue siendo clave".
Por qué la programación despegó y qué sigue
El escenario de la programación ha estado en rápido desarrollo desde que se lanzó Claude 3.5 (o 3.6, como algunos llamaron a la versión actualizada). Según la estimación conservadora de Yao, el 90% del código que escribe hoy es generado por modelos. "Si no soy conservador, quizás el 99% o 100%. El 10% restante es lo que no puede escribir o por qué no dejé que lo escribiera".
Lo que no puede escribir es cada vez menos. Hace aproximadamente un año y medio, solo Claude podía escribir código de ingeniería de software, e incluso entonces el modelo tenía muchos defectos. "A veces, cuando escribía código, solo se centraba en ese archivo y no prestaba mucha atención a las relaciones entre múltiples archivos. Y si una definición de clase estaba enterrada en muchas capas, el modelo probablemente no podía encontrarla. Ahora creo que esto sucede cada vez menos".
El aumento de eficiencia es dramático. En comparación con hace un año o incluso hace un año y medio, la eficiencia para ejecutar experimentos e implementar ideas podría ser de 20 a 50 veces mayor. "Puede ser una locura. Puedes abrir varios al mismo tiempo y tienes varias ideas y las pruebas simultáneamente. Y a veces incluso el modelo puede ayudarte a monitorear algunos experimentos, monitorear algunos resultados, etcétera".
Pero esto no ha acortado las horas de trabajo; las ha alargado. "Debido a que la velocidad de desarrollo ha aumentado, cuanto más pruebas, más quieres probar. Hay cada vez más ideas por intentar". Yao suele llegar a la oficina alrededor de las 10:00 a. m. y se queda hasta las 10:00 u 11:00 p. m. cuando está solo en Estados Unidos. "En el campo de la IA generativa, nadie puede simplemente relajarse".
Mirando hacia el futuro, Yao cree que la excelencia en programación requerirá más que fortaleza técnica. "Los buenos programadores en el futuro, primero, técnicamente hablando, definitivamente serán muy fuertes. Porque si eres técnicamente débil, no hay razón por la cual la IA no pueda reemplazarte. Pero ser técnicamente fuerte podría no ser lo único; no será una condición necesaria, podría ser una condición suficiente". Lo que importará es entender cómo tu trabajo encaja en una organización grande, tener una gran capacidad de planificación para dividir cosas complejas en tareas más pequeñas para la IA y, quizás lo más importante, la capacidad de adaptarse a medida que las capacidades de la IA sigan evolucionando.
De la física a la IA: el rechazo al heroísmo individual
El camino de Yao hacia la IA fue poco convencional. Estudió teoría de la materia condensada como estudiante de grado en Tsinghua, centrándose en sistemas no hermitianos y mecánica cuántica abierta. Su investigación sobre fenómenos topológicos en sistemas cuánticos abiertos condujo a un trabajo importante que estableció un nuevo marco para describir dichos sistemas. Pero a pesar de este éxito, cambió de dirección para su doctorado en Stanford para dedicarse a la física de altas energías.
"Esta es la debilidad de la naturaleza humana. Siento que siempre me encanta desafiarme con cosas que no conozco", explica. Mirando hacia atrás, ve su doctorado como un periodo en el que aprendió mucho personalmente, pero "para este mundo, no produjo ninguna contribución". La teoría de altas energías se había desarrollado hasta el punto en que los experimentos no podían seguirle el ritmo. El progreso dependía de la autoconsistencia matemática en lugar de la validación experimental, y "cuando a este campo le faltan por completo experimentos y estándares objetivos, definitivamente no aparecerá solo un marco autoconsistente. En este momento, quién lo hace bien y quién no, en realidad depende de los juicios subjetivos de algunos veteranos en el campo".
Esta realización lo llevó a buscar trabajo con "criterios de evaluación relativamente objetivos" o "cosas que puedan tener un impacto en este mundo". Entre la computación cuántica y la IA, eligió la IA porque el principal cuello de botella de la computación cuántica era la implementación experimental, no el diseño algorítmico. "La IA trata más de tener una idea y luego puedes usar algunos números para verificarla. Este aspecto numérico en la IA podría ser entrenar un modelo o algo así. Y esto es en realidad bastante similar a hacer física".
Lo que encontró en la IA fue algo fundamental: "Creo que la IA como campo es fundamentalmente simple". A diferencia de la física, donde no puedes entender la teoría a cierta escala de energía sin datos experimentales a esa escala, "la IA no está limitada por esta restricción. No importa si no lo entiendes, puede seguir avanzando. Y también, ahora mismo, el hecho es que puedo hacer cualquier experimento que se me ocurra. Es solo que posiblemente necesite algo de tiempo para escalar el cómputo o preparar la infraestructura, pero no hay ninguna dificultad fundamental".
Esta simplicidad tiene implicaciones profundas. "Creo que en esta era, el rasgo más importante es ser confiable, orientado a los detalles y asumir la responsabilidad de lo que haces. Estos son los rasgos más importantes". Cuando se le presiona sobre si la IA requiere inteligencia, Yao es directo: "No requiere mucha inteligencia. Realmente no requiere mucha inteligencia".
Esta visión del mundo da forma a su postura más controvertida: "Creo que la era del heroísmo individual para los modelos de lenguaje probablemente ha pasado". Sitúa esa era en el momento del Transformer. "Después de que se encontró esa tecnología, durante mucho tiempo, desde el lado del modelo, todo ha sido más sobre colectivismo: si este grupo puede trabajar unido, si pueden dedicar su tiempo y energía hacia un objetivo común. Eso es lo más importante".
Cuando se le pregunta sobre sus contribuciones personales a modelos como Claude 3.7 o Gemini 3, Yao se desvía constantemente. "Creo que mi contribución personal, yo personalmente, mi contribución a cualquier modelo, mi declaración siempre es que siento que no soy tan importante para eso. Creo que, más importante aún, tuve mucha suerte de tener la oportunidad de unirme a un proyecto importante en ese momento e hice algunas cosas". Y añade: "Creo que todos ahora son surfistas. Esencialmente es una ola, no tú el surfista. Es la IA, esto en sí mismo es esta ola. Seguirá avanzando tanto si surfeas esta ola como si no".
El regreso de Google: del caos a la excelencia en ingeniería
Yao dejó Anthropic en septiembre de 2025 por Google DeepMind, atraído no por el éxito público de Gemini 2.5, sino por la gente y la oportunidad de aprender cosas diferentes. "Realmente no estaba de acuerdo con la postura anti-China de Dario", señala como un factor, que representa quizás el 40% de su decisión. Pero más importante aún, quería trabajar en cosas que Anthropic no hacía: generación multimodal, infraestructura de ingeniería de bajo nivel y aprender de un conjunto más amplio de la humanidad.
Lo que encontró en Google fue una organización emergiendo del caos. En los primeros días, según las descripciones de sus colegas, el pre-entrenamiento era "muy caótico". Pero para cuando Yao llegó, las cosas habían cambiado. "La organización tiene más claridad ahora. Una vez que la organización es clara, especialmente el pre-entrenamiento se ha vuelto muy, muy claro ahora. Es decir, quién es responsable de qué, y en cada punto, quién es la persona responsable en cada nodo. Estas cosas están muy claras".
Esta claridad, combinada con el sólido trasfondo técnico y el enfoque sistemático de Google, hizo que el pre-entrenamiento fuera "algo muy, muy controlable, algo predecible. Puedes saber que la próxima generación no será mala". La fortaleza de Google radica en encontrar una forma de producto extremadamente simple donde todos parezcan iguales, y luego competir implacablemente en tecnología. "Eso es exactamente en lo que Google es bueno. Porque los motores de búsqueda son exactamente así. Todos tienen la misma caja de búsqueda, un botón, pero simplemente busca más rápido que tú y con mayor precisión que tú. No hay nada que puedas hacer al respecto".
El modelo organizativo difiere fundamentalmente del de Anthropic. Mientras que Anthropic opera de arriba hacia abajo para startups que apuestan por direcciones específicas, Google opera más de abajo hacia arriba con reservas en cada área. "Las grandes empresas dicen más, como que este tipo de cosas relativamente deterministas como el pre-entrenamiento ya son un paradigma relativamente determinista, entonces quizás Google sea más como convertirlo en un proyecto de ingeniería. La capacidad de gestión de ingeniería de Google es muy fuerte".
Dos eventos crearon el avance de mercado de Gemini: Nano Banana y Gemini 3, uno tras otro. "Si solo hubiera estado Gemini 3, probablemente no habría tenido resultados tan buenos. Porque cuando tu cuota de mercado es inferior incluso al 10%, si tu modelo es ligeramente mejor o peor, simplemente se propaga demasiado lento. Pero lo que hizo Nano Banana fue, primero, volverse viral en el mercado, fue un éxito enorme. Luego, una tonelada de gente descargó la aplicación Gemini. Y luego se lanzó Gemini 3 justo después, reteniendo a esos usuarios".
Yao ve esto como Google capitalizando un error estratégico de OpenAI. "OpenAI le salvó la vida a Google", argumenta. "Todo el mundo solía preocuparse de que este chatbot reemplazara por completo la búsqueda. Si esto realmente hubiera sucedido, Google habría estado en una situación difícil. Pero afortunadamente OpenAI hizo esto primero, luego hizo que Google se diera cuenta de que esto es importante, pero no llevó esto hasta el final, no acabó por completo con la búsqueda. Quizás solo se comió algo de cuota de mercado. Como resultado, permitió que Google mismo se pusiera al día con los chatbots también. Ahora el que está en una situación difícil son ellos".
La realidad técnica del contexto largo y el post-entrenamiento
Sobre las capacidades de contexto largo de Gemini, Yao ofrece un comentario revelador: "Hay algunos trucos". Cuando se le presiona, admite que "hay algunos trucos que realmente me sorprendieron" relacionados con el pre-entrenamiento, aunque no puede revelar detalles. El principio que articula es que hacer bien el contexto largo requiere enfoques tanto de pre-entrenamiento como de post-entrenamiento.
Mirando hacia adelante, Yao está trabajando en dos direcciones principales: programación por aprendizaje automático (ML coding) y horizonte largo. La programación por ML tiene como objetivo lograr el proceso completo de que la IA se entrene a sí misma, donde la IA pueda completar un proyecto de investigación completo de principio a fin; no solo escribiendo y ejecutando código, sino también viendo resultados, analizándolos, sabiendo dónde salió mal, proponiendo nuevas hipótesis, diseñando nuevo código y ejecutando nuevos experimentos. "Esta cadena aún no está completa. Pero creo que esta cadena podría ser lo próximo en completarse gradualmente".
El trabajo de horizonte largo persigue su mantra: "Entrena con contexto finito, usa como contexto infinito". La solución no es hacer que los segmentos de entrenamiento individuales sean más largos, sino enseñar a los modelos a olvidar y recuperar información selectivamente, tal como hacen los humanos. "El contexto humano es en realidad muy, muy corto. Si me preguntas ahora qué comí anoche, no puedo recordarlo en absoluto, porque no es crítico para mi escenario actual. Así que elijo olvidarlo". Los enfoques que se están explorando incluyen soluciones de pre-entrenamiento como la atención dispersa (sparse attention) y soluciones de post-entrenamiento que involucran la gestión del contexto.
Sobre la distinción entre pre-entrenamiento y post-entrenamiento, Yao ofrece matices que a menudo faltan en el discurso público. "Desde una perspectiva puramente técnica, es difícil decir la diferencia esencial entre SFT (ajuste fino supervisado) y RL (aprendizaje por refuerzo). El pre-entrenamiento y el SFT esencialmente no son tan diferentes: simplemente tomas los datos que obtienes como tu verdad fundamental (ground truth), tratas eso como tu salida experta y luego te alineas hacia esa distribución. El aprendizaje por refuerzo podría ser un nivel más amplio donde la salida original no es un experto dado, sino algo que produje yo mismo, y entre ellos hay buenos y malos resultados".
Para él, la mayor diferencia radica en los datos. "Para los datos de pre-entrenamiento, lo que más importa es tener una buena distribución; la distribución debe ser lo suficientemente amplia o estar lo suficientemente alineada con el alcance que deseas cubrir. Pero la calidad de los datos no necesita ser extremadamente alta. Pero para el post-entrenamiento es lo contrario. En términos de distribución, puede ser mucho más estrecha, pero para los datos que tiene, los requisitos de calidad son muy altos".
Por qué los "wrappers" no pueden escapar de las empresas de modelos
Sobre la cuestión de los productos de IA y los "wrappers" (capas sobre modelos existentes), Yao es característicamente directo. Tanto Manus como OpenClaw eligieron venderse a empresas de modelos (Meta y OpenAI respectivamente, aunque la adquisición de Manus por parte de Meta fue revocada más tarde). "Creo que para que los wrappers sobrevivan en el entorno actual hay dos enfoques. Un enfoque es escapar lo suficientemente rápido; es decir, mi crecimiento es lo suficientemente rápido como para que, cuando las empresas de modelos se den cuenta, ya haya capturado una parte significativa de la mente del usuario".
Cursor está intentando seguir este camino, pero incluso ellos sienten una fuerte presión de crisis. "Su relación con Anthropic ahora mismo ha entrado en una fase muy delicada. Solían ser socios cercanos y sin fisuras. Anthropic proporcionaba el modelo, Cursor proporcionaba el producto. Más tarde, Anthropic desarrolló Claude Code por sí mismo. Claude Code se ha vuelto muy exitoso. Y ahora Cursor está intentando construir su propio modelo. Así que ya están en una relación bastante competitiva".
El problema fundamental es que "cuando se trata de programación, en su esencia es básicamente una necesidad profesional que sirve a usuarios profesionales. Es una herramienta de productividad. Un escenario común con las herramientas de productividad es que el ganador se lleva todo". El otro camino de supervivencia es ser lo suficientemente pequeño como para que las empresas de modelos no se molesten; Midjourney podría ser un ejemplo, aunque Yao señala que el mercado es "tan pequeño que quizás, aunque Gemini pudiera hacer un esfuerzo por replicar lo que hace Midjourney, probablemente no querría dedicar mucho tiempo a eso".
Sobre la adquisición de OpenClaw por parte de OpenAI, Yao especula: "Creo que para ellos el mayor beneficio fue, dejando de lado cuánto gastaron, ganar un equipo de producto realmente fuerte en Asia. Obviamente, hay muchas personas talentosas en IA en China. Aunque quizás actualmente en términos de tecnología, puramente desde un punto de vista técnico, la IA china no ha alcanzado realmente a la de EE. UU. todavía. Pero obviamente hay muchas personas talentosas en IA en China, ya sea en tecnología pura o en producto. En términos de producto, creo que China esencialmente tiene mejor talento que Estados Unidos".
El debate de la destilación y los laboratorios chinos
Yao introduce una distinción útil al hablar de las empresas de modelos chinas: "destilación dura" frente a "destilación blanda". La destilación dura es "tomar un montón de tokens generados por Claude y entrenar forzosamente con ellos. Si haces algo así, siento que, primero, no es muy ético desde un punto de vista empresarial. E intelectualmente, es bastante tonto, porque las empresas que hacen esto esencialmente demuestran una cosa: ni siquiera saben lo que quieren hacer. Lo único que pueden hacer es copiar a los demás".
La destilación blanda implica enfoques más inteligentes, como usar otros modelos como asistentes para generar tu propia tubería de datos de entrenamiento o como evaluadores de respuestas generadas por tu propio modelo. "Esto es, de hecho, creo, comercialmente un área un poco gris. Pero desde una perspectiva técnica, es bastante interesante. Porque si lo piensas, en cierto sentido, los laboratorios chinos pueden haberse convertido en pioneros en el entrenamiento multi-agente".
Se niega a nombrar empresas específicas en el registro, pero sugiere que el patrón es claro en la industria. Lo que es distintivo de ByteDance, en su opinión, es que "Doubao definitivamente no es tan inteligente como Gemini o Claude, pero la generación de voz de Doubao es extremadamente buena. Y encuentro que para preguntas de la vida diaria solo quiero preguntarle a Doubao porque es muy rápido".
¿Por qué las empresas estadounidenses no optimizan esta característica del producto? "En Estados Unidos, creo que la gente está más enfocada en cómo mejorar la eficiencia laboral. El hecho es que si preguntas sobre estos temas diarios, en realidad encontrarás que Gemini, de generación en generación, lo hace cada vez mejor. Pero por ahora, estas empresas estadounidenses siguen todas en la etapa de trabajar duro para empujar los límites superiores de la inteligencia. Y ByteDance, por supuesto, también está empujando los límites superiores, pero creo que podría estar haciéndolo muy bien también en la optimización del usuario".
Qué hace a un buen investigador de IA
Yao ha desarrollado su propia metodología de contratación que refleja su filosofía sobre la investigación en IA. Da a los candidatos 24 horas para completar un proyecto de aprendizaje por refuerzo desde cero usando los recursos que quieran. "Esto no es tan difícil en la era de la IA. Sin la IA, esto sería imposible. Nadie podría hacerlo en 24 horas. Pero con la IA, en realidad es bastante fácil porque la IA puede hacer todo el trabajo por ti".
La prueba evalúa dos cosas. "En esta era, evaluar a alguien, como si escribe buen código, en realidad es inútil, porque la mayoría de la gente ya no necesita escribir código por sí misma. Lo que es más importante es si pueden aprovechar eficazmente la IA". Pero hay una trampa: "Si dejas que la IA haga todo pero realmente no intentas entender lo que la IA hizo por ti, quedarás expuesto durante esa hora de discusión".
También hay lo que Yao llama "cierta astucia oscura" en el diseño. "Por qué se diseñó como 24 horas es para ver cuánto valora esta persona esta oportunidad. ¿Pueden quedarse despiertos toda la noche? Si están dispuestos a trasnochar, pueden sobrevivir a estas 24 horas. Si no pueden lograrlo, simplemente significa que probablemente no valoran tanto esta oportunidad".
Para Yao, los rasgos más importantes en la investigación de IA son la confiabilidad, la atención al detalle y asumir la responsabilidad de lo que haces. "Creo que en esta era, el rasgo más importante es ser confiable, orientado a los detalles y asumir la responsabilidad de lo que haces. Estos son los rasgos más importantes". Explica que el entrenamiento moderno de IA es un gran sistema que requiere una comprensión holística. "En realidad, necesitas entender todos los aspectos de este sistema para tener una comprensión holística de por qué algo es útil, en lugar de decir que la cosa en sí es útil".
Esto requiere ir en contra de la naturaleza humana. "La naturaleza humana de cada individuo podría ser hacer que sus propias cosas luzcan mejor. Pero para una empresa u organización, lo más beneficioso es hacer que todo el sistema de la empresa sea muy sólido sistemáticamente. Esto es en realidad lo mejor para ti personalmente, porque una vez que este sistema es sólido, puedes aprovecharlo para producir más resultados. Pero lo malo es que este sistema hará que tu heroísmo individual no brille. Pero puedes estar seguro de que el heroísmo individual de los demás tampoco brillará".
El panorama futuro
Mirando el estado actual del campo, Yao ve los modelos cada vez más mercantilizados a nivel de capacidad. "Desde la experiencia real del usuario, puedes sentir las diferencias entre los modelos de estas tres empresas. Pero la parte difícil es que, en el pasado, podías ver esta diferencia también en el papel. Ahora, en el papel, todos están realmente bastante cerca. Y cuando miras los números en el papel, como al mirar SWE-bench, encontrarás que el mejor es solo quizás un punto porcentual o dos porcentual mejor que los no tan buenos, pero en realidad todos están alrededor del 80%".
La competencia se ha desplazado de las capacidades brutas a la ejecución del producto y el posicionamiento en el mercado. "Ahora se siente como si simplemente confiar en alcanzar estas capacidades de modelo reconocidas públicamente ya no tuviera mucho significado. Lanzar rápido también muestra que, en realidad, este problema se ha vuelto fácil para todos. Todos conocen el 'know-how' ahora. Ya no hay secretos".
Sobre la posición de OpenAI, Yao ofrece una evaluación medida. "Creo que las tendencias en China y Estados Unidos ya han divergido. En lo que China es realmente fuerte es en el lado del consumidor. Puede idear características o estructuras de producto realmente, realmente complejas. Pero eso no funciona para el software de productividad. El software de productividad es muy sencillo". Cree que la ventaja de OpenAI radica en la ejecución de su producto, aunque incluso eso está siendo desafiado a medida que Google se pone al día.
Para el futuro, Yao no ve ninguna posición como segura. "No creo que la posición de nadie sea segura ahora mismo. La forma de la IA todavía tiene un largo camino por recorrer. No estamos en ningún final todavía". Le desconcierta el sentimiento en China de que las empresas están luchando por una 'super app' como si fuera un juego de suma cero. "¿Es esta forma la forma de la super app? ¿Qué pasa si alguien más sale con una forma completamente diferente un día, y tu funcionalidad se convierte en un subconjunto de esa cosa? Eso es muy posible, ¿verdad?".
Los próximos cambios a nivel de paradigma podrían provenir de áreas que aún están en exploración temprana. La "programación por ML y el horizonte largo" son valiosos, pero no del todo transformadores de paradigmas. "A nivel de paradigma, podrían seguir siendo esas cosas más inciertas, como la generación multimodal. Creo que podría haber un héroe o un grupo de héroes". Pero es desdeñoso con conceptos vagos como los modelos mundiales, donde "diez mil personas tienen diez mil modelos mundiales" y las definiciones siguen sin estar claras.
Para los jóvenes que consideran la investigación en IA, su consejo es crudo. "Creo que trabajar puramente en modelos de lenguaje ya no es un océano azul. Creo que es demasiado tarde; el último tren ya ha partido". Se considera afortunado de haber tomado ese último tren. "Hay muchas otras cosas. Como la generación multimodal que acabamos de mencionar, todavía puede haber muchas oportunidades allí. La robótica probablemente tenga aún más oportunidades. E incluso más extremo, está el tema de si puedes usar la IA para ayudar con problemas científicos reales".
Una filosofía de trabajo
A lo largo de la conversación, Yao vuelve a temas que parecen estar en desacuerdo con el culto al genio que rodea a la IA. No tiene mentores en la industria, ni viejos amigos a los que necesite proteger, lo que le permite "criticar a quien quiera". Es abiertamente desdeñoso con los investigadores que pasan tiempo en Slack "hablando de grandes principios" en lugar de hacer trabajo real. Cree que "las ideas son baratas" y que la implementación lo es todo.
Su trayectoria personal refleja esta filosofía. Desde elegir la clase de competición de la Escuela Secundaria Gezhi sobre las cuatro mejores escuelas de Shanghái ("Sentí que esta clase de competición, en términos de hoy, es un desvalido. Sentí que los descalzos no le temen a los que usan zapatos. Vale la pena intentarlo"), hasta enviar un mensaje de texto a la oficina de admisiones de Tsinghua para exigir igualdad de trato para los estudiantes de Shanghái, pasando por cambiar una exitosa investigación de materia condensada por la física de altas energías porque "siempre me encanta desafiar cosas en las que no soy bueno", Yao ha elegido constantemente el camino más difícil y menos obvio.
Pero también ha aprendido de la decepción. Su doctorado en física de altas energías le enseñó el valor de los criterios de evaluación objetivos. "Creo que la mayor diferencia entre las leyes empíricas y las leyes científicas es bastante borrosa", reflexiona, pero en la IA "puedes ejecutar experimentos. No importa si no lo entiendes. Puede seguir avanzando".
En cuanto a su propio futuro, Yao es característicamente incierto. "Creo que probablemente no", responde cuando se le pregunta si se quedará en Google a largo plazo. "Seguiré intentando desafiarme a mí mismo. Necesito torturarme. Pero simplemente podría necesitar encontrar algo por lo que valga la pena torturarme". Lo que está claro es que el logro individual le importa menos que ser parte de sistemas que funcionan. "Creo que en esta era, el rasgo más importante es ser confiable, orientado a los detalles y asumir la responsabilidad de lo que haces. Estos son los rasgos más importantes".
Es una filosofía que encaja con el momento. A medida que la investigación en IA madura de un campo impulsado por la brillantez individual a uno que requiere una coordinación masiva, rigor sistemático y ejecución colectiva, investigadores como Yao representan un nuevo arquetipo. No héroes, sino operadores altamente capaces que entienden que, en la era de la IA, la ola importa más que el surfista, el sistema importa más que la estrella y la confiabilidad importa más que el genio. Si esto marca un progreso o una pérdida depende de tu perspectiva, pero Yao es claro sobre la suya: la era del heroísmo individual ha terminado, y menos mal.