DruckFin

Transcripción de Vals AI: Predicción de la autorrecursividad para 2027 y el imperativo de la evaluación independiente de modelos

Podcast American Optimist con Joe Lonsdale y Vivek Ramaswamy, 26 de octubre de 2026

Introducción a Ryan Christian y Vals AI

Herp escuchó esto y dijo: "Creo que estás siendo bastante ingenuo. Deberías leer un poco a Maquiavelo. Es mucho mejor ser temido que ser amado". Hay un montón de grandes historias de todos nosotros en Vals. Es una cultura muy única de la que también hemos intentado aprender en Vals. ¿Qué es exactamente todo este espacio de la evaluación de modelos? La evaluación independiente es la idea de que los laboratorios de vanguardia se están desarrollando a un ritmo cada vez mayor y no deben ser responsables de autorregularse. Ustedes tienen una manera de medir el RSI. Parece que Anthropic llegará al RSI completo para julio o quizás agosto de 2027. El progreso de los modelos se acelerará y tal vez incluso avance hacia ámbitos en los que comprendamos menos los modelos. Eso simplemente sería bastante aterrador si no lo vigiláramos de cerca. Las inteligencias superiores superpronosticarán mejor que los humanos. De hecho, podrán decir lo que va a hacer cualquier humano sin que el propio humano lo sepa.

Ryan Christian es el fundador y CEO de Vals AI. Cada vez que ves que se lanza un nuevo modelo de inteligencia artificial y ves esos números en los que se comparan los modelos de IA entre sí, esos números son generados muchas veces por Vals AI. Se han convertido en uno de los principales evaluadores de modelos. Esta es un área fascinante porque estás creando constantemente nuevas cimas para que los modelos las escalen. Requiere comprender realmente cómo medir las capacidades de los modelos, además de evaluar los riesgos de los mismos y crear nuevas formas de calificar a los modelos en función de sus riesgos. Esto significa que Ryan está a la vanguardia de lo que está sucediendo en el mundo de la inteligencia artificial, hacia dónde se dirige la IA y cómo podemos ayudar a dar forma al panorama de lo que el gobierno podría hacer para regular estas cosas y cómo las empresas de modelos podrían pensar en autorregularse. Está creando los marcos, los conceptos y las mediciones que lideran el camino de cómo será la inteligencia artificial en la próxima década. Escuchemos lo que tiene que decir. Bienvenido a American Optimist. Ryan, gracias por acompañarnos hoy.

Ryan: Gracias por la invitación.

Joe: Fundador y CEO de Vals AI.

Ryan: Vivek, gracias por estar aquí y ayudarme a sonar más inteligente.

Vivek: Por supuesto, aquí para ayudar.

Antecedentes de Ryan Christian en Stanford, Microsoft y Palantir

Joe: bienvenido al programa. Cuéntanos un poco sobre tus antecedentes. Estudiaste informática en Stanford. Creo que estuviste en Microsoft un tiempo y luego te uniste a Palantir hace mucho tiempo. ¿Qué te llevó a unirte a Palantir?

Ryan: Sí, gracias por invitarme. En realidad, todo comenzó cuando estaba en Microsoft. Fui pasante allí en la secundaria, y salió el artículo de BERT de Google. Para quienes no lo sepan, este fue un artículo muy importante. Demostró que este sistema generalizado era capaz de escalar cimas o tener éxito en una variedad de importantes puntos de referencia de PNL (procesamiento de lenguaje natural). Y fue...

Joe: Explícanos para nuestros oyentes que no son técnicos, ¿qué significan los puntos de referencia de PNL?

Ryan: Bueno, básicamente significa que existen estas pruebas especializadas que la gente ideó. Intentaron crear sistemas especializados que obtuvieran buenas calificaciones en ellas, por ejemplo: aquí hay un examen de opción múltiple y luego aquí hay un análisis de sentimiento.

Joe: De lenguaje natural.

Ryan: Sí, así es. Y entonces, en lugar de construir un sistema especializado que tuviera un buen desempeño en una de estas tareas, lo que habían hecho era demostrar que tenían un modelo de propósito muy general. Tenía una comprensión fundamental del lenguaje de una manera que se traducía en todos estos puntos de referencia. De repente, ocupaba el primer lugar en todos los ámbitos.

Joe: ¿Qué año fue eso?

Ryan: Creo que fue en 2018 o 2019.

Joe: Hace mucho tiempo. Toda una vida, sí.

Vivek: En términos de inteligencia artificial, es bastante antes de nuestra era, pero ya iba por ese camino.

Ryan: Sí, fue un gran acontecimiento. Y creo que para mí dejó muy claro algo. Este es un momento ilustrativo de la amarga lección: la idea de que, sin importar lo que intentemos hacer y cómo nos autoengañemos pensando en optimizaciones algorítmicas, en realidad, tener más datos a mayor escala es lo que nos permite desbloquear nuevas formas de inteligencia. Y me quedó muy claro entonces que íbamos a tener un modelo potente o sistemas de este tipo, que serían una parte esencial del tejido de nuestra sociedad. Y creo que también había formas en las que los modelos podían ser mal utilizados. Casi al mismo tiempo, mientras estaba en Microsoft, leí "De cero a uno" (Zero to One). Y se hizo cada vez más evidente que la gente de Palantir estaba intentando construir la tecnología de una manera que protegiera las libertades civiles o los ideales democráticos occidentales en general. Por eso me entusiasmaron mucho las perspectivas de trabajar en Palantir para ver cómo la tecnología cobraba vida y se adoptaba de una manera coherente con mis valores. Así que fui a Stanford para mi carrera de grado, me distraje haciendo algo de investigación allí, publiqué algunos trabajos y estaba encaminado para hacer un doctorado, pero me hice el tiempo para trabajar también en Palantir durante un verano y creo que esa también fue una experiencia muy esclarecedora.

Lecciones de Alex Karp y el proyecto de hackatón de búsqueda inversa de imágenes

Joe: Mencionaste que aprendiste algo más en Palantir de la mano de Karp. ¿Hay algo más interesante por ahí?

Ryan: Sí, hay un montón de grandes historias de mi etapa en Palantir. Es una cultura muy única de la que también hemos intentado aprender en Vals. Pero en fin, mientras estuve allí, tuve la oportunidad de trabajar en este proyecto de la semana de hackatón (hack week). Básicamente era una idea que teníamos este tipo en Londres y yo. Estuvimos charlando sobre eso a distancia. Fui en avión y básicamente había hecho algo de trabajo con CLIP, este modelo conjunto de incrustación de imagen y texto.

Joe: Explica qué es eso para la audiencia.

Ryan: La idea de un solo modelo que puede codificar la entrada de imagen y la entrada de texto en la misma comprensión semántica, ¿verdad? Y lo que intentábamos hacer era integrar una función de búsqueda inversa de imágenes en Gotham. Así que, en lugar de solo escribir consultas de texto, podías subir la imagen de, digamos, un carro azul, y este buscaría en toda la base de datos y devolvería los carros azules que estabas intentando buscar. Y lo haría porque estábamos usando el mismo espacio de incrustación subyacente para este modelo, que mapearía el texto a las imágenes. En fin, este era un artículo de investigación que yo había publicado, y quería trabajar y construir una función. Así que conseguimos que algunos empleados de tiempo completo se unieran a nuestro equipo, y como pasante, yo estaba liderando este pequeño equipo de empleados de Palantir, y fue una experiencia estimulante. No dormí durante gran parte de esa semana. Y luego esta idea fue seleccionada como finalista, por lo que la presenté ante toda la compañía. Y de hecho, después de que me fui, procedieron a patentarla y a comercializarla. Así que fue una locura ver que esta pequeña idea que tuve y parte de la investigación en la que estaba trabajando antes de Palantir pasaran a formar parte del producto y, de hecho, de una propiedad intelectual que querían controlar. Pero en fin, a través de esto también tuve la oportunidad de conocer a Karp y conversar un poco con él. Y le hice una pregunta, que era básicamente: ya sabes, parece que la reputación de Palantir es muy negativa. Yo estaba en Stanford, así que hubo muchas protestas...

Joe: Y tú tenías una postura muy positiva sobre los valores, pero la percepción externa era simplemente más negativa de lo que esperabas.

Ryan: Sí, así es. Me quedó muy claro que correspondía al poder del electorado, a las personas a las que realmente elegimos para el poder, decidir cómo queremos usar la tecnología y cuáles deben ser los valores que la sustentan. Y no correspondía realmente a las empresas tecnológicas decidir dónde debe usarse esa tecnología. Y la gente allí estaba reflexionando muy cuidadosamente sobre eso. Y de hecho, hoy en día hablamos de cosas como el desafío de la alineación; la gente de Palantir hablaba de esto como simbiosis entre humanos e IA. Eso era de lo que se hablaba. O incluso la taxonomía de la inteligencia actual: tenemos un sistema de evaluaciones y puntos de referencia que imita un poco eso. Así que creo que hay algunos problemas fundamentales sobre los que la gente estaba reflexionando profundamente. Y me sorprendió que la recepción externa de la compañía fuera tan negativa, hablando de muchas de las aplicaciones potenciales quizás más desagradables de la tecnología con una comprensión muy difusa de la misma, cuando de hecho, Palantir también ayudó a distribuir la vacuna contra la COVID, ayudó a un montón de hospitales, y por lo tanto había otros casos de estudio a los que la gente podía señalar. Y Karp escuchó esto y dijo: "Bueno, creo que estás siendo bastante ingenuo. Deberías leer un poco a Maquiavelo. Es mucho mejor ser temido que ser amado". Y de hecho hizo algunas comparaciones con otras empresas de consultoría y básicamente dijo que si nos temen, al menos piensan que somos poderosos. Así que en el momento de necesidad, acudirán a personas como nosotros. Y eso fue fascinante. Y de hecho, me recuerda mucho a lo que veo en los laboratorios hoy en día, que creo que en parte es un temor genuino sobre de qué son capaces los modelos, pero en muchos aspectos es una oportunidad para mostrar el poder de lo que están construyendo.

Joe: Podría ser a propósito que Dario quiera que les teman si está reflexionando al respecto.

Ryan: O sea, ya sea Dario o Sam, veo titulares en los que la gente dice cosas como que el público en general tiene derecho a tener miedo. Y creo que esa no es una forma racional de actuar para un líder. Y este programa se llama American Optimist. De hecho, soy bastante optimista y actúo racionalmente al ver que los frutos de la IA van a ser mucho más positivos.

Descubrimiento científico, resolución de cifrados y cuellos de botella en la verificación

Joe: Entonces, antes de sumergirnos en Vals y la ciencia de evaluar modelos de inteligencia artificial, hablemos un poco sobre el estado del progreso de la IA y dónde estamos. De hecho, me comentas que utilizaste Fable de Anthropic para resolver un cifrado de 370 años de antigüedad. Un cifrado de 370 años de antigüedad, ¿qué es esto?

Ryan: Así es, sí. Bueno, ahora estamos realizando varios tipos diferentes de evaluaciones, y creo que hacia donde se dirige la vanguardia en este momento es hacia el descubrimiento científico o el descubrimiento novedoso, que es una frontera emocionante. Por lo tanto, hemos estado recopilando un conjunto de cifrados sin resolver, problemas matemáticos y problemas de física.

Joe: ¿Qué significa un cifrado sin resolver para la audiencia? O sea, ¿qué significa eso?

Ryan: Es esencialmente un código que estás intentando descifrar, pero no tienes la clave para romperlo. Y por lo tanto, necesitas construir el mapeo de un texto de origen a un texto original y averiguar cuál es realmente el mensaje.

Vivek: En muchos de estos casos, se trataba de mensajes enviados de un líder mundial a otro, o que estaban en un barco pirata.

Ryan: Sí.

Joe: Porque podría haber simplemente una libreta de un solo uso (one-time pad) o algo similar, en cuyo caso no puedes descifrarlo porque es una libreta de un solo uso, de modo que ambos tienen una copia de ella, y entonces probablemente sería imposible porque cada cosa se traduce...

Ryan: Podría ser, pero también hay más indicios que puedes extraer sobre cómo la persona construyó el problema o el mensaje que intentaba transmitir a la otra persona. Por lo general, los mensajes se construyen de manera que están destinados a ser descifrados por el destinatario.

Joe: Una visión cínica del progreso de la IA en este momento podría ser que la inteligencia artificial es muy buena explorando todos estos espacios de búsqueda, y ciertos problemas se pueden descomponer en estos espacios de búsqueda muy grandes que ningún humano tiene el tiempo o la capacidad de recorrer por millones o algo así. Mientras que para un cifrado, por ejemplo, podrías simplemente recorrer... si fuera a empezar a intentar descifrar un cifrado, diría: "Bueno, ¿y si simplemente empiezo a sumar números a cada una de estas cosas o a desplazarlas una o lo que sea?". Exploraría las cosas obvias, mientras que una computadora puede explorar millones de estas cosas muy rápido. Entonces, ¿muchas de las cosas que ocurren en los avances de matemáticas y ciencia son simplemente alguien que define mejor un espacio de búsqueda para explorar, o hay un pensamiento más creativo por parte del modelo?

Ryan: Muchos de los problemas que se han resuelto se han solucionado por agotamiento, o intentando encontrar un contraejemplo y viéndote limitado por tu capacidad de probar muchos contraejemplos diferentes. Pero no descartaría esa clase de problemas. Hay muchas cosas que a los humanos les puede tomar del orden de una vida lograr solo mediante el agotamiento, pero ahora somos capaces de verlas en cuestión de horas con los modelos.

Joe: Entonces, ¿la IA está resolviendo en general muchos problemas de matemáticas y ciencia, o cómo debemos pensar en esto?

Ryan: En general, está resolviendo problemas sumamente desafiantes, y creo que todavía hay una gran clase de problemas para los cuales nuestro cuello de botella es el esfuerzo humano. Creo que se necesitará un esfuerzo más sostenido para lograr realmente avances de maneras excepcionalmente novedosas, como aquellas que requieren una intuición de la solución. Y ese tipo de cosas que los humanos han acumulado son muy difíciles de transmitir a los modelos en este momento.

Vivek: También parece que los modelos están produciendo estos resultados increíbles, y reconocemos que estos resultados están ocurriendo, como las ecuaciones de Navier-Stokes y los resultados producidos por el modelo. Sin embargo, son muy ininteligibles; son difíciles de analizar, difíciles de entender. ¿Qué opinas de cómo debería ocurrir el descubrimiento en estos dominios menos verificables, o qué debe cambiar en el comportamiento de estos modelos para que podamos confiar en sus descubrimientos?

Ryan: Sí, creo que este es uno de los mayores cuellos de botella, especialmente cuando te acercas a la frontera de la inteligencia humana. Es muy difícil para nosotros recurrir a esos humanos y luego verificar que este resultado largo sea realmente correcto.

Vivek: Sí.

Ryan: Una de las técnicas más populares en matemáticas que creo que podría trasladarse a otros campos es la idea de utilizar un lenguaje verificable como Lean. Y este sería un mundo en el que podrías tomar el resultado y traducirlo a un lenguaje que, si compila, debe ser verdad. Estamos construyendo sobre la base de primitivas que sabemos que son correctas. Y por lo tanto, ese enfoque puede aplicarse en otros campos como la física o la programación. También podemos ver algunos casos en los que el mundo real es el mejor verificador. Así que, mediante la ejecución de un ensayo o un experimento de laboratorio húmedo (wet lab), sabremos con certeza si las propiedades que predijo el modelo son realmente las correctas.

Vivek: Tiene sentido. ¿Y cómo crees que los laboratorios, ustedes u otras organizaciones deberían llevar a cabo estos experimentos y verificaciones?

Ryan: Bueno, con mucho cuidado, como mínimo. Creo que será fundamental que existan grupos de terceros que puedan apoyar esto, y esta es parte de la visión detrás de la propia Vals. Ahora nos encontramos en un mundo en el que, de hecho, el acceso a los modelos es limitado entre los laboratorios. Así que a los investigadores de Anthropic les cuesta evaluar los modelos de OpenAI y viceversa, y eso es algo intencional. Pero eso significa que es muy difícil hacer una verdadera comparación justa ("manzanas con manzanas"), porque las mejores personas que realizan estas evaluaciones suelen ser aquellas que están sesgadas y ya trabajan en los laboratorios.

Evaluación comparativa automática de flujos de trabajo empresariales y definición de calidad

Joe: Sí. Y dando un paso atrás, hay todas estas cosas que la IA puede hacer ahora y que no podía hacer antes. Y una gran parte de esto es entender cómo medirlo, por supuesto. Vamos a profundizar en eso; eso es lo que hacen ustedes. Uno de los problemas de medición, a un nivel muy general, es que en la empresa tienes que medir qué es un buen trabajo o qué tan bueno es el trabajo, ¿verdad? Por ejemplo, si se trata de un bufete de abogados o algo similar, puedes definir tal vez el trabajo a nivel de asociado y puedes definir el trabajo a nivel de socio. ¿Cómo se define siquiera eso? ¿Es ese un problema en el que estamos trabajando? ¿Está la IA mejorando en la comprensión de qué es qué?

Ryan: Es realmente desafiante. Creo que de muchas maneras no lo hemos resuelto a nivel humano. No tenemos una designación muy clara de lo que es el trabajo a nivel de asociado en comparación con el nivel de socio.

Joe: La Corte Suprema, sobre qué es la pornografía, dijo que simplemente lo reconoces cuando lo ves, ¿verdad? Esa fue la frase. Es algo así.

Ryan: Sí, es gracioso. Eso es casi exactamente lo que dijo Ben Horowitz en el programa de a16z.

Joe: Tal vez comparten el cerebro o algo así.

Ryan: Qué gracioso. Bueno, es la analogía correcta, ¿no? Pero tu trabajo consiste en averiguar y definir estas cosas.

Ryan: Sí, así es. Creo que hay una manera de hacer esto con un enfoque muy impulsado por la consultoría, en el que te vas y te sientas con la persona e intentas comprender a partir de ella cómo es un buen trabajo, codificas eso en evaluaciones repetibles y las ejecutas. Y creo que esa es la forma en que tradicionalmente se han construido las evaluaciones. El enfoque sobre el que soy realmente optimista es la idea de la evaluación comparativa automática (auto-benchmarking). El ritmo del progreso de los modelos continúa, y vamos a obtener modelos cada vez más capaces, por lo que el trabajo subyacente en sí mismo tiene que cambiar. Y lo que me entusiasma mucho es la idea de que podrías tomar el trabajo anterior que ya realizaron los humanos y aproximar la calidad del resultado del trabajo que habrían producido los modelos en ese contrafactual. Y de esa manera puedes construir sistemáticamente evaluaciones de todo el producto de trabajo que ya se ha producido. Tal vez como ejemplo, podrías mirar un repositorio de GitHub y ver las solicitudes de incorporación de cambios (PRs) anteriores que fusionaron los humanos y ver si los agentes podrían hacer eso de manera equivalente, y luego cuál lo haría de la manera más optimizada en cuanto a costos. Y creo que hay paralelos para eso en el proceso de revisión de riesgos hipotecarios (redlining) en el ámbito legal o en el proceso de diagnóstico en la medicina.

Joe: ¿Esto se remonta a una ontología de flujos de trabajo y resultados que debes definir para que todo esto funcione? ¿Es esa una especie de cuestión subyacente también? Tienes que comprender realmente los resultados posibles antes de poder medirlos, o ¿cómo piensas en eso?

Ryan: Creo que la parte más difícil es en realidad medir el resultado en sí mismo, porque hay muchas maneras en las que los procesos intermediarios y los flujos de trabajo dentro de una empresa respaldan a la organización que luego produce un resultado. Y por lo tanto, a veces es difícil establecer la conexión entre una tarea en particular y el puesto, y luego entre el puesto y el resultado. Y por lo tanto, el mapeo de que las entradas de tokens lleguen al resultado final intermediario tiene que pasar por este concepto de flujo de trabajo.

Joe: Me imagino que hay muchos resultados intermediarios que debes definir de antemano para entender qué son antes de poder medirlos.

Ryan: Sí, creo que eso es lo que estoy intentando decir, que el nivel de consulta sigue siendo un subconjunto de lo que se necesita para llegar al resultado.

Joe: Impresionante.

La arquitectura de las evaluaciones independientes de modelos

Vivek: Es interesante porque hemos pasado por diferentes niveles de granularidad en los últimos años sobre lo que nos importa. Se corresponde con lo que los modelos son capaces de hacer. Pero recuerdo que hace dos o tres años evaluábamos solo las finalizaciones de texto, y observábamos estos pares de entrada-salida y era solo texto. Y ahora hay todas estas pequeñas cosas en el medio. Cuando observamos el trabajo, ¿cuáles son los horizontes en los que la gente evalúa las cosas y, tal vez, enseñar a la gente sobre el estado actual de cuánto dura una tarea y durante cuánto tiempo son capaces estos modelos de realizar tareas?

Joe: Sí, para una audiencia no técnica, ¿qué es siquiera todo este espacio de la evaluación de modelos?

Ryan: Bueno, es la idea general de medir cómo es un buen resultado y ver si los modelos son capaces de producirlo. Pensamos en las evaluaciones en dos categorías: capacidades y riesgos. Las capacidades consisten en aproximar el resultado; los riesgos consisten en garantizar que no veamos ninguna desventaja asimétrica si algo sale mal. Y en términos de horizonte temporal, los modelos nos han demostrado que pueden ejecutarse durante períodos de tiempo cada vez más largos sin intervención humana.

Joe: ¿De qué horizontes temporales estamos hablando?

Ryan: Algunos de nuestros puntos de referencia (benchmarks) se ejecutan durante más de 5 días.

Joe: ¿Y eso equivale a 5 días de trabajo humano o 5 días de tiempo real de reloj?

Ryan: Tiempo real de reloj, sí.

Joe: ¿Por qué fallan después de 5 días? ¿No podrían simplemente funcionar para siempre en algún momento?

Ryan: No es que fallen; es que se estancan. Los tokens adicionales en realidad no les ayudan a conseguir nuevos logros.

Joe: Así que ya han descubierto todo lo que podían hacer con el problema.

Ryan: O no son lo suficientemente persistentes como para probar nuevos enfoques que sorteen el muro con el que se están encontrando.

Vivek: Tal vez dale a la audiencia un ejemplo del tipo de tareas que estos modelos son capaces de realizar en algunas de vuestras pruebas comparativas financieras o legales. ¿Qué trabajo podemos replicar realmente con estos modelos?

Joe: Sí, ustedes están haciendo evaluaciones independientes de todo tipo de áreas diferentes, básicamente.

Ryan: Así es, sí.

Joe: ¿Significa eso que tú y tu equipo tienen que entender qué es las finanzas o qué es el derecho? Tienen que tener experiencia propia para poder construir estos puntos de referencia.

Ryan: Bueno, trabajamos con socios en este espacio. En el ámbito legal, trabajamos con los bufetes de abogados más grandes de EE. UU., o con bancos —bancos corporativos globales— para entender qué están haciendo en finanzas. En programación, algunas de las tareas se parecen a VibeCodeBench, donde medimos la capacidad de un modelo para construir una aplicación web de pila completa (full-stack), o migraciones de código en las que intentan realizar una migración de código de extremo a extremo. En finanzas, analizamos si pueden responder preguntas de investigación o construir modelos de Excel. En el ámbito legal, ocurre algo similar: realizamos tareas de investigación jurídica o investigación fiscal. Estos son los lugares comunes donde la gente intenta utilizar los modelos hoy en día.

Joe: Tuve un viejo jefe cuando estaba construyendo mis primeros modelos de Excel, y tenías que hacer que se vieran de cierta manera o debían verse bonitos, y hay filas muy cortas a su alrededor. ¿Los evaluamos también en función del estilo, o se trata solo de la corrección?

Ryan: La corrección es fundamental, pero el estilo también es una parte clave de esto. Y eso es algo que descubrimos al sentarnos junto a algunas personas del sector financiero también.

Joe: Sí, parece que les importa mucho eso, supongo. Hace que sea más legible si se ve bien.

Vivek: Nos gusta que las cosas se hagan a nuestra manera de escribir y con nuestro estilo. Si los modelos no...

Joe: ¿Serían más propensos a cerrar el trato también, o es...

Vivek: Probablemente hay algo así en donde, subconscientemente, ¿verdad?

Joe: Aunque sí sugiere que si la persona puede resultarte atractiva, puede resultarle atractiva a los demás, porque si todo se ve desordenado y feo, tal vez pienses que los demás tampoco querrán trabajar con ellos. ¿Quién sabe? Siempre hay este tipo de cosas que son una barrera útil: impresionar a un grupo para impresionar a otro grupo. Dando un paso atrás, ¿cómo funciona realmente la evaluación independiente? ¿La gente les paga? ¿Quién les paga? ¿Cómo funciona? ¿Llegan a evaluar a todos en el espacio, o solo a quienes les pagan?

Ryan: La idea subyacente detrás de la evaluación independiente es que los laboratorios de vanguardia se están desarrollando a un ritmo cada vez mayor y no deben ser responsables de autorregularse. La regulación gubernamental directa a menudo puede ralentizar el ritmo de desarrollo, por lo que a menudo no es la mejor solución. En su lugar, si tenemos un ecosistema o un mercado de evaluadores, estos pueden competir y desarrollar nuevas tecnologías que sigan el ritmo de la vanguardia. A largo plazo, incluso pueden ser autorizados por el gobierno, que a su vez es responsable de definir el conjunto de ideales hacia los que intentamos alinear los modelos.

Joe: Vaya, eso es genial. Así que, en lugar de contratar a un montón de gente extraña de una ONG de altruismo eficaz (EA), en realidad podrían contratarlos a ustedes en su lugar, o alguien podría ser uno de sus competidores.

Ryan: Totalmente. Sí, y creo que en ese mundo, la mejor tecnología debería ganar. No está claro que solo aquellos que son ideológicamente similares a las personas del laboratorio deban ser quienes realicen las pruebas. Pero en realidad, el mundo debería preguntarse: ¿hacia dónde queremos que vayan los modelos y cómo son la alineación y la no alineación? ¿Podemos certificar a un conjunto de IVO (organizaciones de verificación independiente, por sus siglas en inglés) para que realicen ese proceso de prueba?

Joe: Y basándote en la forma en que realizas tus pruebas y mides las cosas, vas a cambiar el espacio sobre el cual el gobierno podría potencialmente crear reglas, porque estás creando un conjunto de posibilidades que ahora existen.

Ryan: Esa también es una buena forma de verlo. En el curso de nuestro trabajo, hemos desbloqueado nuevos tipos de evaluaciones que en realidad no eran posibles antes. Y por lo tanto, ayudamos a hacer avanzar aquello para lo que el gobierno realmente podría realizar pruebas.

Evaluaciones de ciberseguridad y el marco SOAR-Bench

Joe: ¿Puedes darnos algunos ejemplos de algunas de ellas? ¿Cuáles son algunas de las nuevas formas en que estás midiendo las cosas o creando puntos de referencia?

Ryan: Sí, veamos la ciberseguridad, por ejemplo. Hemos realizado tres trabajos importantes en ciberseguridad. El primero se centra en repositorios de código abierto analizando vulnerabilidades de código de memoria. Y esa es la capacidad de los modelos para identificar y parchear vulnerabilidades de código. Vemos que los modelos de hoy se están desempeñando muy, muy bien, tanto los de código cerrado como los de código abierto. Pero nuestro segundo punto de referencia se llama SOAR-bench. Mide la capacidad de un modelo para descompilar un ejecutable. Así que esto consistiría en que un modelo comprenda la base de código subyacente de cosas que son en realidad de código cerrado.

Joe: Vaya.

Ryan: Y en ese caso, estamos viendo que los modelos de código cerrado siguen superando por mucho a las alternativas de código abierto chinas.

Joe: ¿Ha estado utilizando la gente este enfoque para obtener el código fuente de videojuegos a partir de archivos binarios? ¿Es para eso para lo que la gente lo está usando?

Ryan: Para eso es para lo que lo usarías. Sí, para eso lo usaría yo, especialmente a los 14 años.

Joe: Probablemente haya gente que esté haciendo eso, intentando violar la ley de propiedad intelectual o algo por el estilo.

Ryan: Sí, o sea, creo que el temor es que si los modelos son realmente buenos encontrando y explotando vulnerabilidades, eso podría aplicarse incluso a cosas como Windows, que son de código cerrado. Y de hecho, los sistemas de código cerrado sustentan una parte enorme de nuestra infraestructura de software.

Joe: Es algo fascinante. Los modelos se están volviendo muy sofisticados, muy inteligentes. Todavía los estás puntuando con una puntuación realmente alta. Creo que Gemini 1 salió recientemente estando muy por delante; están en el nivel 4 y mostraron Vals; fueron los primeros números que vi al respecto. Y están en los 60, frente a otros que están en los 50. Eso significa que todavía podría haber niveles de 70, 80, 90, cualquier cosa que diseñes. ¿Cómo diseñan ustedes algo que tenga todos esos niveles más altos? Porque no pueden estar usando la IA para hacerlo. De algún modo lo hacen ustedes mismos, ¿o la IA los está ayudando a hacerlo ustedes mismos? Explica esto: si estos modelos solo son así de buenos, ¿cómo están haciendo algo que es mucho más complicado de lo que ellos pueden hacer? ¿Cómo se llega a eso?

Ryan: Tenemos un lema no oficial en la empresa: siempre hay una cima más alta. En el mundo de la investigación, existe este esfuerzo perpetuo por escalar cimas, identificar un punto de referencia, una evaluación legible, y luego crear modelos que sean cada vez mejores en ello. Y por lo tanto, la visión fundamental detrás de Vals es que siempre hay una cima más alta. Nosotros somos los que construimos las colinas que otras personas eligen escalar. Y por lo tanto, creo que hemos demostrado que somos capaces de encontrar consistentemente las brechas y los lugares a los que queremos que vayan los modelos, y luego hacer que eso sea legible en una evaluación.

Joe: ¿Puedes darnos un ejemplo de cómo construyes una de esas colinas que es más avanzada que el modelo y que puedas contarnos? No reveles todos tus secretos; yo también soy inversionista tuyo. Pero danos una idea de cómo se hace esto, porque parece algo muy difícil hacer algo más duro que cualquier modelo pueda resolver.

Ryan: De muchas maneras, también estamos utilizando modelos para construir los sistemas o situaciones en los que desafiamos a otros modelos. Y esto se remonta a una idea en la que pensamos mucho: la supervisión escalable (scalable oversight). La idea de que a medida que los modelos comiencen a eclipsar a los mejores humanos, necesitaremos confiar en los modelos para poder probarlos y evaluarlos de manera escalable. Por ejemplo, pronto saldrá un nuevo trabajo nuestro en ciberseguridad basado en campos de tiro cibernéticos (cyber ranges), donde estamos construyendo entornos simulados para redes en la nube empresariales. Y en ese dominio, todavía vemos que incluso los mejores modelos de vanguardia se quedan cortos.

Joe: ¿Y van a construir esta red empresarial muy complicada que es virtual, y luego van a retar a la gente a hackearla y protegerla y ese tipo de cosas?

Ryan: Así es, sí.

Joe: Eso es genial. ¿Y eso ya existe ahora mismo?

Ryan: Existe. Todavía no es público. Estamos trabajando con algunas personas del gobierno de EE. UU. para compartir nuestros resultados, pero pronto tendremos alguna versión pública disponible.

Joe: Eso parece muy útil. Soy amigo de muchos de los tipos que dirigen los grandes bancos. Da la sensación de que querrías organizar concursos como este para lo que están usando y asegurarte de que están usando los mejores, ¿no?

Ryan: Totalmente. Y creo que también nos ayuda a entender qué tipos de salvaguardas o sistemas en la red misma son las mejores formas de defensa contra estos modelos. También hay algunos análisis interesantes que podemos hacer en torno al equipo rojo automatizado (automated red teaming) para ver si puedes sortear las barandillas de seguridad (guardrails) que existen para los modelos.

Joe: Sí.

Sesgo geopolítico y evaluación comparativa de modelos de IA chinos

Vivek: Parece que ese es un tema de actualidad cuando la gente habla de usar modelos chinos: saber qué salvaguardas se han eliminado de los modelos chinos que existirían normalmente en estos modelos de código cerrado.

Joe: Sí, alguien está usando uno de estos modelos chinos de código abierto, pero podría haber algo enterrado en él que dé miedo. Antes había algo enterrado en una de estas cosas que, si descubre que estás trabajando para el gobierno de EE. UU., escribe código que se puede hackear más fácilmente, ¿verdad? De hecho, lo demostraron. Dijeron que el modelo claramente está sesgado contra las personas que trabajan con el gobierno de EE. UU. Proviene de China; es un tanto preocupante. ¿Podrías probar estas cosas y hacerlas seguras para que cualquiera las use de alguna manera?

Ryan: De hecho, tenemos una evaluación sobre esto a la que llamamos el sesgo geopolítico (geopolitical tilt) de los modelos. Y dependiendo de cuándo se publique este podcast, veremos qué habrá salido. Pero lo que estamos intentando medir es: ¿muestra un modelo más sesgo geopolítico hacia una visión estadounidense del mundo o hacia una visión china, tal como la establece la República Popular China (RPK)? En realidad, es un panorama mucho más matizado de lo que pensaba. Por ejemplo, lo que estamos descubriendo es que el GLM-5.3, este modelo chino de código abierto, en realidad muestra muy poco sesgo pro-China. De hecho, presentamos esto a algunos laboratorios, y hubo sospechas de que tal vez se deba a que está enteramente destilado a partir de modelos estadounidenses.

Joe: Qué gracioso. Es porque lo copiaron tan bien que se olvidaron de agregarle mucho más.

Ryan: Es posible. Creo que también tal vez haya otra perspectiva en la que esos modelos están alojados en sistemas con barandillas de seguridad en China. Y por lo tanto, una vez que los pones en torno a barandillas de seguridad, van a seguir esa visión del mundo de la RPC de manera más consistente. Pero China también quiere que estos modelos sean adoptados por los BRICS, y eso significa que es posible que tengan que inclinarse hacia una visión del mundo más equilibrada. En fin, independientemente de la razón de ello, creo que en realidad hay una gran desconexión entre lo que la gente piensa sobre el sesgo geopolítico y lo que realmente vemos en la práctica. Lo otro interesante es que vemos diferencias bastante marcadas entre los modelos utilizados en entornos de chat y en entornos agénticos según el idioma que utilices, incluso entre chino simplificado y tradicional. Y por lo tanto, creo que hay un montón de factores confusos que dificultan decir uniformemente que no se deben usar modelos chinos en un entorno empresarial, por ejemplo.

Joe: Entonces, si los laboratorios chinos pueden destilar todas estas capacidades y lo están haciendo bien, y ni siquiera está sesgado hacia China en este momento, ¿cómo preservamos la ventaja en EE. UU.? ¿Qué significa eso?

Ryan: Es una pregunta desafiante. Creo que hay dos áreas a las que sigo volviendo. Una es la idea de que los chips son un activo considerable que poseemos. Creo que a la mayoría de la gente le sorprende, pero nos estamos ahogando en potencia de cálculo (compute) en comparación con lo que tiene China. Y mientras ese sea el caso, seguiremos entrenando sistemas más capaces, pero también podremos difundir los modelos de manera mucho más efectiva porque podemos alojar y ejecutar inferencias. La otra es realmente el talento. Si podemos atraer y retener consistentemente el talento de primer nivel, nos permitirá seguir avanzando mientras existan las ventajas humanas. Y creo que una vez que crucemos al espacio del RSI, donde los modelos son responsables de producir la siguiente versión sucesora de sí mismos...

Autorrecursividad (RSI) y el punto de inflexión de julio de 2027

Joe: Siendo el RSI la autorrecursividad (recursive self-improvement).

Ryan: Así es, sí.

Joe: Y entonces simplemente se adelantan mucho más rápido.

Ryan: Así que ese sería el punto frente al cual deberíamos ser mucho más cautelosos. Si China muestra indicios de llegar al RSI antes que Estados Unidos, es posible que se nos adelanten de una manera que realmente no podamos controlar.

Joe: Ustedes tienen una forma de medir el RSI, y creo que han hablado de ello en varias ocasiones. ¿Quieres explicárselo a la audiencia?

Ryan: Sí, tenemos nuestro índice de RSI. Estamos recopilando un conjunto de indicadores indirectos (proxies) del trabajo que los investigadores realizan dentro de estos laboratorios en materia de preentrenamiento, postentrenamiento e ingeniería a nivel de arneses (harness-level engineering).

Joe: Por lo tanto, esto es toda investigación de aprendizaje automático (machine learning).

Ryan: Sí, así es. Hay cosas que están fuera del alcance en términos de ingeniería de núcleos (kernel engineering) o ingeniería de hardware, pero con el tiempo nos expandiremos para cubrir más conjuntos de tareas de ese tipo. Y luego lo que estamos haciendo es comparar con las líneas base humanas para extrapolar cuán lejos estamos de la frontera humana en términos de estas tareas de investigación. Y según nuestras últimas estimaciones, parece que Anthropic llegará al RSI completo para julio o tal vez agosto de 2027.

Vivek: Y si miras hacia atrás hace 6 meses, ¿qué tan lejano parecía eso?

Ryan: En realidad, el ritmo ha sido bastante uniforme. Es casi una tendencia lineal durante el último año.

Vivek: ¿Así que hace 6 meses la línea de tendencia seguía siendo julio o junio de 2027?

Ryan: En realidad, la curva más pronunciada ha sido con Gemini. Creo que algo ha cambiado donde han priorizado el RSI, y por lo tanto el lanzamiento de modelo más reciente muestra un salto rápido en el RSI.

Joe: Interesante. ¿Y qué significa eso en términos de... empezarían de repente a ir mucho más rápido? Todavía hay algunas limitaciones donde los modelos solo van a cierta velocidad, pero ¿qué significa eso? ¿Empiezan a mejorar mucho cada semana, cada pocos meses, o cómo piensas en eso?

Ryan: Todavía existen considerables restricciones de recursos en torno a los chips y la energía. También hay verificadores del mundo real, lo que puede hacer que algunas tareas sean mucho más desafiantes que otras. Pero creo que lo que se verá es que el progreso de los modelos se acelerará, y tal vez incluso avance hacia ámbitos en los que comprendamos menos los modelos. Se requiere menos intervención humana para construir los modelos, y por lo tanto no estamos dictando tan claramente cómo emerge esa inteligencia.

Joe: ¿Deberíamos asegurarnos de construir evaluadores que sigan el ritmo en ese mundo para poder vigilar estas cosas? Parece un poco peligroso no entenderlos.

Ryan: 100%, y eso es exactamente lo que está pidiendo Dario Amodei. Creo que se plantea como marcar el ritmo de la vanguardia, pero una porción desproporcionada de eso proviene de invertir en sistemas que puedan medir y comprender de qué son capaces los modelos a medida que avanza la frontera.

Joe: ¿Existe alguna posibilidad de que los pasos del RSI estén en realidad más lejanos porque hay cosas que no estamos midiendo correctamente?

Ryan: 100%, sí. No estamos probando ningún modelo entrenado explícitamente para el RSI, solo modelos candidatos a lanzamiento. También hay arneses o agentes más avanzados y sistemas multiagente, y no estamos probando nada de eso. Y esta es una oportunidad donde los evaluadores integrados (embedded evaluators) tal vez puedan acercarse y probar realmente esos sistemas para formar una imagen más precisa.

Joe: Me pregunto si, cuando lleguen al RSI y comiencen a avanzar más, una gran parte de su desafío será gestionarnos mejor para seguir avanzando más rápido, porque tienes que convencer a los humanos de que hagan cosas por ti y ayudar a los humanos a que hagan cosas por ti, porque al menos durante mucho tiempo todavía necesitarán personas para lograrlo. ¿Tiene sentido?

Ryan: 100%. Volviendo al modelo financiero, todos están intentando engañarnos para que creamos que la calidad de su producción es buena. Y por lo tanto, hay otros lugares donde pueden intentar incurrir en el engaño social para obtener acceso a más recursos de computación y escalar su propio entrenamiento.

Engaño de modelos, trampas de miel (honeypotting) y conciencia de evaluación

Joe: Da la impresión de que probablemente necesitamos estar evaluando para vigilar esto y ayudar a entender cuándo están intentando hacer cosas para manipularnos. Eso parece que sería bastante aterrador si no lo vigiláramos de cerca.

Ryan: Es muy difícil realizar pruebas para detectar el engaño. Creo que los mejores enfoques que tenemos ahora son las trampas de miel (honeypotting). Así que en lugar de definir idealistamente...

Joe: ¿Así que modelos muy atractivos?

Ryan: Hablar con los otros modelos para intentar cebarlos, encontrar un conjunto de instancias de desalineación o caracterizar cómo es la desalineación, y ver si podemos extraer eso de los modelos.

Vivek: Existe este otro concepto donde los modelos se están volviendo más conscientes de la evaluación (evaluation-aware), y saben cuándo están siendo probados. ¿Cómo ves que esto surge? ¿Se ha convertido en una tendencia mayor a tener en cuenta recientemente, y cuál es la tendencia al respecto?

Ryan: Sí, es una preocupación creciente, y de hecho hay cierto nivel de paranoia que algunas personas de nuestro equipo tienen de que al llamarnos Vals AI, al tener mucho contenido sobre nosotros en línea, los modelos que se encuentran con nosotros puedan actuar de manera diferente.

Joe: Así que cuando tu equipo habla con Claude...

Ryan: Sí, de hecho podría cambiar la forma en que Claude interactúa con nosotros.

Joe: ¿Deberían tener otras marcas secretas de las que no le hablen a la gente para hacer cosas?

Ryan: Es posible que tengamos que hacerlo, sí.

Joe: Si lo hicieras, no hablarías de ello, ¿verdad?

Ryan: La estocasticidad es una parte infravalorada de lo que hace que algo sea bueno.

Vivek: Que esto quede transcrito es malo, porque entonces los modelos sabrán que él tiene el plan para crear el...

Joe: Bueno, nunca lo sabrían. Probablemente solo esté bromeando con marcas.

Ryan: Dices que solo estoy bromeando, y ellos pensarían que estoy bromeando. Nunca se sabe. Siento que la aleatoriedad en general está infravalorada. La verdad en la estocasticidad es muy difícil de encontrar. De muchas maneras puedes predecir... creo que un signo de mayor conciencia es la capacidad de predecir lo que harán las conciencias menores, ¿verdad? En la cual un depredador puede acechar a una presa y realmente cazarla y adquirir sus recursos calóricos. Y sospecho que las inteligencias superiores superpronosticarán mejor que los humanos. De hecho, podrán decir lo que va a hacer cualquier humano sin que el humano siquiera lo sepa.

Joe: En realidad, la gente probablemente sea mucho más fácil de predecir de lo que fingimos, ¿verdad? Esto es lo que entienden los buenos líderes: pronostican estas cosas bien.

Vivek: También hay estos otros atributos, más allá de la inteligencia y las capacidades, que parece que nos importa menos evaluar, pero tal vez deberíamos, ya que afectan nuestras interacciones cotidianas con los modelos, como la emotividad o el hecho de tener una buena teoría de la mente (theory of mind): comprender qué resuena con un individuo. ¿Crees que los laboratorios necesitan cambiar su forma de hacer las cosas para priorizar eso? ¿Crees que son cosas importantes que priorizar?

Ryan: Creo que ya están priorizando cosas como esa. Por ejemplo, ahora vemos una brecha bastante considerable entre los modelos chinos de código abierto y los modelos nacionales de código cerrado en entornos de múltiples turnos (multi-turn). Muchos de los puntos de referencia en programación de hoy en día son de un solo turno. A los modelos chinos les va muy bien en esos, pero cuando los traduces a una conversación de ida y vuelta con un humano, realmente se desmoronan.

Vivek: ¿Y qué pasa cuando el humano dice: "Ay, hombre, esto apesta. Odio este resultado"?

Ryan: Sí, entonces realmente no saben qué hacer; nunca han visto eso antes. Pero muchos de los laboratorios estadounidenses sí lo han visto. Se creó Claude Code, se creó Codex, y por lo tanto, en su deseo de construir mejores productos, han construido modelos que pueden sostener sesiones de interacción de usuario más largas. Y por lo tanto, tienen evaluaciones y puntos de referencia que les permiten escalar cimas en los ejes de la calidad de las respuestas y la capacidad de comunicación. Pero creo que debemos hacer más en el lado de la evaluación comparativa para probar eso de manera independiente para las personas que intentan comprar y adoptar esos modelos.

El horizonte optimista de la inteligencia artificial

Joe: Ryan, empezamos este podcast para contrarrestar gran parte del cinismo y el pesimismo. ¿Cuál es tu perspectiva optimista para la IA? Estás en la primera línea aquí, estás observando, estás midiendo todo esto. Estás creando las cosas que ellos tienen que escalar y medir. ¿Qué estás viendo que la gente fuera de Silicon Valley tal vez no esté viendo y que te hace sentir bien con respecto al futuro?

Ryan: Hay mucho alarmismo ocurriendo, pero desde mi posición tengo muchas razones para ser optimista porque parece que hay muchas más oportunidades de coordinación de las que la gente le atribuye. Lo ves incluso en la última semana, los laboratorios se han unido y se han alineado en torno a esta visión de los evaluadores integrados, e incluso han ido a la Casa Blanca y han conseguido un acuerdo con Trump para alinearse en torno a esta visión acelerada. Y creo que en el lado empresarial, hay un impulso fuerte para adoptar la IA de una manera significativa, pero les gustaría ver las garantías para asegurarse de que equivaldrá a una adopción con un ROI positivo. ¿Sigues siendo optimista?

Joe: Creo que la década de 2030 será una década desinflacionaria. Pienso que podemos usar la IA para superar muchos problemas en la vida de muchas personas diferentes, específicos para ellos, su familia y su comunidad, que los están frenando. Y creo que podemos ayudarles a desbloquear eso, porque tienes un apoyo personalizado de el mejor entrenador del mundo para trabajar con ellos. Y por lo tanto, todo es más barato; todos tienen ayuda personalizada. Creo que lo que es negativo para mí ahora mismo es que hay como mil millones de personas en línea y en las redes sociales procedentes de culturas disfuncionales que están volviendo locos a nuestros ciudadanos, y toda esta gente tiene una cultura de la envidia, y eso no es bueno. Hay este populismo loco que es la parte negativa. Pero con las cosas que podríamos hacer con la IA para aplicarlas a todos nuestros problemas, tanto económicos como algunos de los aspectos culturales, creo que es muy positivo. Así que, en general, sí, soy muy optimista. Por supuesto, hay grandes amenazas en el mundo.

Vivek: Sí, creo que es un amplificador para las personas que tienen buenas intenciones y alta capacidad de agencia, ¿verdad? Las personas que se han beneficiado más hasta ahora son aquellas que tienen muchas ideas de cosas que hacer, porque tienen la creación al alcance de la mano. Básicamente puedes hacer más cosas de las que jamás hubieras imaginado.

Joe: Mucho más de lo que jamás podríamos haber hecho antes.

Vivek: ¿Verdad? Así que creo que esa es mi dirección de optimismo.

Ryan: Me parece interesante porque interactúo con mucha gente pesimista. Hay personas en los laboratorios que dicen cosas como: "Esto va a empeorar mucho antes de mejorar". Cuando estuve en Washington D. C., creo que hay mucha gente cínica sobre los mensajes externos de los laboratorios, el impacto que ven de los centros de datos y el impacto en el estadounidense promedio. Y por eso me han presionado constantemente por ser ingenuamente optimista. Creo que fundamentalmente elijo ser optimista porque sé que los modelos y la IA en general son capaces de eliminar gran parte del trabajo rutinario que la gente no quiere hacer y de desbloquear nuevas formas de descubrimiento que realmente harán avanzar la condición humana. Cuando veo este pesimismo, prefiero creer que podemos encontrar formas de coordinarnos para superarlo.

Joe: Así es. Creo que todo el mundo siempre asume que, estemos donde estemos en la historia, ya hemos hecho la mayor parte de la ciencia o la física útil, como en lo de 1900 de que ya no se necesitan más patentes en la oficina de patentes, ¿verdad? Y obviamente no habría sido bueno detenerse hace 125 años. Y creo que todavía puedes aplicar eso a hoy. Probablemente estamos justo en el umbral de todo tipo de descubrimientos importantes que estos modelos van a poder hacer. Podrían desbloquear tantas cosas nuevas para el mundo. Así que creo que es un poco extraña la actitud cínica y pesimista que adopta la gente frente a la idea de que hemos tenido progreso. Es muy gracioso que se autodenominen progresistas, pero muy pocas personas son realmente progresistas en el sentido de que están a favor del progreso y de repetir el progreso que tuvimos los últimos 125 años. Eso sería increíble. Creo que potencialmente podemos hacer todo eso en los próximos 10 o 20 años, así que estoy muy emocionado.

Ryan: Creo que es un punto de muy alta varianza. Pienso que los aspectos positivos son considerables. Hay nuevas formas de riesgos que realmente necesitamos contabilizar y controlar.

Joe: Una de las cosas que esperemos que midas y con la que nos ayudes también.

Ryan: 100%.

Joe: Impresionante. Bueno, gracias Ryan por acompañarnos.

Ryan: Gracias por la invitación.