DruckFin

Transcripción de Anthropic: Líderes técnicos pronostican inteligencia artificial general (AGI) en los próximos dos años y retornos exponenciales a la inteligencia

Agosto de 2026, Conversación en American Optimist en Napa con Nick Marwell y Schult Douglas

Introducción del episodio

Anfitrión: Es muy probable que los modelos con una capacidad igual o superior a la de todos los humanos surjan en los próximos dos años. Cada unidad marginal de inteligencia vale exponencialmente más que la unidad anterior. Es posible seguir incrementando, y potencialmente duplicando, la capacidad intelectual y física productiva de la humanidad de una manera que permita alcanzar verdaderamente un mundo de post-escasez.

Anfitrión: Ustedes están en la vanguardia de la frontera de la IA. ¿Cuáles son las cosas más emocionantes en las que están trabajando?

Nick Marwell: La IA va a ser la tecnología más importante en las ciencias de la vida, sin duda de nuestra generación y tal vez de la historia. Pero también conlleva riesgos masivos.

Schult Douglas: No deberíamos estar lanzando estas tecnologías al mundo antes de poder evitar que los actores malintencionados causen grandes estragos.

Anfitrión: Líderes tecnológicos que conozco y que son más escépticos dicen: "Ah, bueno, Dario está intentando asustar a todos para crear más reglas que frenen las cosas".

Schult Douglas: Hasta ahora nos hemos frenado a nosotros mismos mucho más que cualquier otro.

Anfitrión: ¿Existe algún escenario en el que frenarías a Estados Unidos y dejarías que China tome la delantera?

Schult Douglas: CEO y cofundador... ahora estoy aquí.

Anfitrión: Nick Marwell y Schult Douglas son líderes técnicos clave en Anthropic, la empresa de IA de crecimiento más rápido en el mundo. Ambos son muy optimistas sobre el futuro a pesar de algunas amenazas muy graves que enfrentamos como civilización. ¿Cuáles son estas amenazas? ¿Cómo debemos pensar en las dinámicas ofensivas frente a las defensivas en bio, ciberseguridad y otras áreas clave? Algunas personas están bastante enojadas con Anthropic por la captura regulatoria. ¿Cuál es su postura al respecto? ¿Qué intenta hacer Anthropic? ¿Qué opinan de las batallas con la destilación en China? Si todo el mundo es capaz de copiar sus modelos, ¿cómo seguirá valiendo billones de dólares Anthropic? Y por último, si eres una persona joven en la fuerza laboral, si estás intentando construir tu carrera pero no estás en el centro de la IA, ¿qué deberías estar haciendo durante los próximos 10 años? Una visión optimista desde adentro de una de las empresas de mayor dinamismo en el mundo en un momento fascinante. Me emociona mucho que los escuchen.

Aprendizaje automático autodidacta y caminos poco convencionales hacia Anthropic

Anfitrión: Bienvenidos a American Optimist. Me alegra mucho contar hoy con dos talentos extraordinarios de Anthropic. Nick, eres miembro clave del personal técnico y ayudas a liderar la ciencia de RL, es decir, el aprendizaje por refuerzo, y Schult Douglas, también líder técnico en aprendizaje por refuerzo. ¿Es correcto?

Schult Douglas: Sí, así es.

Anfitrión: ¿Y cuánto tiempo llevan en Anthropic?

Nick Marwell: Un poco más de 3 años en mi caso.

Anfitrión: ¿Y cuántos años tiene la empresa?

Schult Douglas: Tiene unos 5 años más o menos.

Anfitrión: Sí, es increíble. Es una de las empresas más importantes, más grandes y de mayor crecimiento en el mundo actual, y apenas lleva 5 años operando. Así que es un momento eufórico aquí en California. Estamos filmando hoy en Napa. Gracias por estar aquí, muchachos.

Nick Marwell: Bueno, gracias por invitarnos. Va a ser divertido.

Schult Douglas: Gracias por recibirnos.

Anfitrión: Comencemos con sus antecedentes. Schult, ¿dónde creciste? ¿De dónde eres?

Schult Douglas: Crecí en Sídney. Alrededor de 2020, al leer una combinación de blogs y artículos académicos, me convencí por completo de que el escalado y que en general íbamos por buen camino para alcanzar la AGI en la década de 2020. Trabajé muy duro por las noches y los fines de semana para demostrar que podía realizar trabajos con el estándar de calidad exigido por DeepMind, Anthropic, OpenAI y este tipo de empresas.

Anfitrión: ¿Habías estudiado informática?

Schult Douglas: Estudié robótica en la universidad. Me gradué en 2019 y luego estuve haciendo mi propia investigación, básicamente. Terminé trabajando para DeepMind durante 2 años y en Anthropic durante los últimos 18 meses.

Anfitrión: Fantástico. Y Nick, ¿de dónde eres?

Nick Marwell: Sí, en realidad soy originario de San Francisco, lo cual es poco común hoy en día, supongo, entre la gente que se dedica a la IA. Crecí en un hogar con un padre, en particular, que pasó la primera mitad de su carrera haciendo actividades empresariales muy tradicionales, y luego encontró un camino interesante en la segunda mitad de su vida y durante mis años formativos, decidiendo dedicar su tiempo a averiguar cómo retribuir a la sociedad. En concreto, descubriendo cómo aprovechar la tecnología para devolver algo al mundo.

Nick Marwell: Y creo que, al reflexionar sobre lo que quería hacer, buscaba cosas que me permitieran tener la experiencia de, al mismo tiempo, desarrollar las habilidades necesarias para convertirme en un capitalista eficaz —o como quieran llamarlo— y también utilizar eso para generar un beneficio social. Siento que Anthropic fue una coincidencia perfecta, justo cuando empezaba a preocuparme mucho por la seguridad de la IA. De hecho, era residente trabajando en una empresa muy diferente en Thrive Capital en ese momento, y fue una de esas cosas que surgieron de la nada y pensé: "Creo que esto es lo que debo hacer".

¿Cuáles son las cosas más emocionantes en las que están trabajando?

Anfitrión: Increíble. Bueno, desde que se unieron, Anthropic se ha convertido, creo, en la mayor de las empresas de IA. No publican cifras oficialmente, pero se filtran muchas cosas. Lo que se filtra, solo para la audiencia, indica que estamos aquí en agosto de 2026...

Nick Marwell: Mantengo mi rostro completamente inmóvil.

Schult Douglas: Muy inmóvil.

Nick Marwell: Inmóvil, sin reacciones.

Anfitrión: Supuestamente genera más de $80.000 millones en tasa de corrida de ingresos (run rate), creciendo muy rápido, por delante de OpenAI, por delante de todos. Ustedes están en la vanguardia de la frontera de la IA. ¿Cuáles son las cosas más emocionantes en las que están trabajando internamente en este momento y de las que nos pueden hablar? ¿Cómo es estar en esa punta de lanza?

Schult Douglas: Bueno, creo que de lo que más puedo hablar es de cómo ha cambiado la experiencia de programar, porque creo que esta es la forma más visceral en la que hemos sentido el progreso. Hace 18 meses, yo escribía todas mis líneas de código a mano, básicamente. Luego, unos meses después de entrar a Anthropic, guiaba a un modelo. Intervenía cada pocos minutos; le decía lo que quería que hiciera, que escribiera la siguiente función o algo similar, pero tenía que revisarlo cada pocos minutos porque cometía errores, se desvía del rumbo y ese tipo de cosas.

Schult Douglas: Y en dónde estamos ahora es que puedo pedirles a los modelos que hagan un día o dos días de trabajo de forma independiente e impulsen el progreso básicamente como un miembro junior del equipo. Y eso ha ocurrido solo en los últimos 18 meses. Hemos pasado de lo que era claramente una herramienta donde tienes que mantenerte involucrado activamente a algo que se siente muy parecido a un colaborador junior.

Anfitrión: Entonces, mientras estamos hablando ahora mismo, ¿son ellos los miembros junior del equipo, la IA está trabajando duro para ustedes?

Schult Douglas: Sí, así es. Hay un montón de ellos trabajando duro.

Anfitrión: ¿En qué tipo de cosas están trabajando, si se puede saber? ¿Hay algo a grandes rasgos que nos puedan contar?

Schult Douglas: Simplemente un montón de ciencia de RL con algunos de estos miembros del equipo.

Nick Marwell: Fantástico. Yo daré una respuesta ligeramente diferente. Creo que gran parte del desarrollo de modelos hasta este punto se ha centrado realmente en lograr que los modelos puedan realizar tareas en las que los humanos ya son bastante buenos y capaces. Y lo que realmente estamos intentando lograr son capacidades que aporten un gran apalancamiento adicional a cosas que los humanos ya eran capaces de lograr cognitivamente; es decir, construir un software que un equipo de desarrolladores humanos también podría haber construido en el mismo período de tiempo.

Nick Marwell: Pienso que lo que se empieza a ver ahora —y algunos de los resultados más recientes en matemáticas, por ejemplo, son un buen ejemplo de esto— es a la gente intentando averiguar cómo utilizar los modelos para superar la frontera de la inteligencia humana y del logro humano.

Anfitrión: ¿Te refieres a algunos de los avances recientes en matemáticas?

Nick Marwell: Sí, han surgido muchas demostraciones matemáticas nuevas que abordan cuestiones que han interesado a los humanos durante mucho tiempo y que de algún modo nunca habían podido resolverse.

Anfitrión: En algunos de esos casos, da la impresión de que un matemático muy inteligente se dio cuenta de que la computadora es lo suficientemente buena como para aplicar fuerza bruta a algo que una persona no habría podido resolver por la fuerza bruta. ¿Ves a qué me refiero? Algunos todavía parecen buenos en tareas específicas que los humanos utilizan, o se trata realmente de una teoría completamente nueva a la que están llegando? ¿Cómo lo ves?

Nick Marwell: Creo que no se trata —al menos todavía— de una idea en la que estén generando conceptos que los humanos hubieran sido incapaces de concebir. Pero en realidad pienso que muy pocos avances o logros intelectuales se ven así en muchos aspectos. Pienso que, por supuesto hay excepciones, pero la mayoría de las cosas que la sociedad ha logrado se reducen en realidad a conectar los puntos y construir sobre los logros intelectuales previos de quienes vinieron antes.

Nick Marwell: Y creo que lo que describes, como juntar dos ideas que tuvieron diferentes personas para encontrar algo nuevo, eso es la base de lo que hacen los humanos. Y lo importante que es diferente ahora es que realmente se están uniendo nuevas ideas, o se están formando nuevas ideas al combinar otros conceptos humanos que antes no se juntaban. Mientras que no creo que escribir otra aplicación web fuera en realidad un nuevo logro intelectual para la humanidad.

¿Hemos alcanzado la AGI y qué viene después?

Anfitrión: Nunca habíamos visto a las empresas escalar tan rápido en Silicon Valley. Reitero, no es multiplicar por 10, por 10, por 10, sino crecer muy rápido obviamente. Anoche tuvimos aquí en Napa a otra empresa en cuya junta directiva participo y me estoy hospedando, y es como si surgiera una nueva compañía cada 60 o 90 días. Están pasando tantas cosas, ¿verdad? Y creo que esta es la vivencia de muchos de nosotros. Ustedes están justo en el núcleo de la empresa de más rápido crecimiento. ¿Cómo se siente en comparación con su vida anterior? ¿Hacia dónde vamos desde aquí? ¿Va a seguir acelerándose? ¿Cómo debemos pensar en esto?

Schult Douglas: Pienso que algo muy positivo de Anthropic ha sido que nuestras ambiciones han podido escalar a la par de la aceleración de la empresa. Hace 18 meses se sentía como si tuviéramos que estar tan obsesivamente enfocados en el código, y en demostrar de verdad que podíamos ser los mejores del mundo en algo. Y ahora la misión de la empresa es mucho más grandiosa que simplemente fabricar modelos que sean buenos escribiendo código. A medida que la compañía ha escalado, a medida que los ingresos han crecido, nos ha permitido empezar a unir las piezas para presionar más en esa dirección.

Anfitrión: Hablemos más de esa misión. Estuve con otro amigo que ocupa un cargo directivo en IA a principios de esta semana, y comentaba que primero tienes que ser el mejor absoluto en código y matemáticas, pero que luego habrá nuevas áreas en las que serás el mejor. Habrá todas estas otras habilidades humanas en las que podrás alcanzar un nivel A++. ¿Esa es la idea, incorporar un montón de nuevas habilidades? ¿Cuál es la misión a partir de ahora?

Schult Douglas: Bueno, la misión a partir de ahora sigue siendo la misma: creemos que la AGI es verdaderamente alcanzable en los próximos dos años.

Anfitrión: Explícale a nuestra audiencia a qué te refieres con eso.

Schult Douglas: Creemos que los modelos con una capacidad igual o superior a la de todos los humanos tienen una probabilidad muy alta de aparecer en los próximos dos años. Es decir, algo que pueda hacer todas las cosas que un humano puede hacer en una computadora o, una vez que logremos una robótica lo suficientemente avanzada, todas las cosas que un humano puede hacer en el mundo físico.

Anfitrión: Entonces va a ser mucho mejor en este podcast. ¿Podría simplemente dejar que el robot intervenga?

Schult Douglas: Bueno, el podcast, ya sabes...

Anfitrión: Mejor vayamos al viñedo. Es más divertido.

Schult Douglas: Exactamente. Y pensamos que esto tiene enormes ventajas, ¿verdad? Esto te permitiría multiplicar el trabajo intelectual y el trabajo físico que se realiza hoy en día en el mundo. Permitiría obtener siglos de progreso, potencialmente mucho, mucho más pronto.

Cómo medir el progreso de la IA

Schult Douglas: Pero también conlleva riesgos masivos, por lo que el objetivo real de la empresa es guiar al mundo a través de esos riesgos para que podamos cosechar los beneficios al otro lado.

Anfitrión: Retrocedamos un poco sobre la ola de IA en general, en qué punto nos encontramos en esta ola. Obviamente, decías que en 2020 te diste cuenta de que la AGI iba a ser posible. Creo que eso coincide justo con el lanzamiento de GPT-3 por parte de OpenAI. Estaba revisando algunos correos electrónicos antiguos porque estamos preparando un libro conmemorativo de 10 años de ADC, y ya en 2020 bromeaba sobre cómo íbamos a reemplazar a todos los asociados. Así que ya estaba en el ambiente la sensación de que esto empezaba a volverse probable.

Anfitrión: Hablando con Dario a principios de este año, según algunas métricas, ciertas capacidades se duplicaban cada pocos meses. ¿Cómo debemos pensar en cuantificar el progreso? Hablabas del hecho de que puedes simplemente usar la IA en lugar de un empleado junior. ¿Hay alguna otra forma de evaluar cuánto mejorará en los próximos años en términos de métricas?

Schult Douglas: Sí, creo que hay muchas evaluaciones (evals), que son básicamente exámenes donde se pone a prueba a los modelos. En estas pruebas, el progreso es sumamente rápido. Un gran ejemplo —sin querer apoyarme demasiado en las matemáticas como ejemplo, aunque las matemáticas son quizás lo mejor en algunos aspectos— es que pasamos del 0% en un conjunto de problemas recopilados por profesores de diferentes campos a bastante más del 40%, 50%, 60% en el transcurso del año pasado. Y esa es una evaluación llamada FrontierMath.

Anfitrión: Necesitas algo que sea falsificable, ¿verdad? Necesitas algo sobre lo cual iterar. Entonces, ¿podrías hacer que la IA hable con una chica en Instagram y calcular un porcentaje determinado de probabilidad de que quiera salir contigo en una cita?

Schult Douglas: Claro. Digo, es lo suficientemente inocente como para preguntar, entrenar con eso, ¿no?

Anfitrión: Por cierto, estoy casado, esto no es para mí.

Schult Douglas: No hemos entrenado en eso. Pero es un ejemplo.

Anfitrión: Otro tipo de cosas por el estilo probablemente serían muy útiles, especialmente para algunos de nuestros amigos en San Francisco.

Schult Douglas: Hay dos formas en que los modelos mejoran, ¿verdad? Una de ellas es mediante el entrenamiento en vastos corpus de texto extraídos de internet. Y la segunda forma es el aprendizaje por refuerzo, en el que ambos trabajamos, que consiste en resolver estos problemas prácticos y comprobar si obtuviste o no la respuesta correcta. De eso es de lo que hablas, lo cual es muy fácil para las matemáticas y la informática, pero bastante difícil para el romance, los poemas u otras cosas, ¿cierto?

Anfitrión: Sí.

Schult Douglas: Y por eso has visto que las matemáticas y la informática avanzan mucho más rápido que todo lo demás. Pero en realidad creemos que no es tan difícil encuadrar otros problemas bajo este mismo esquema.

Nick Marwell: Sí. De hecho, pienso que hay, en cierto modo, una explicación técnica de por qué las matemáticas y la informática fueron primero. También creo que, hasta cierto punto, hay una explicación social de por qué ocurrió esto: tomaste a un grupo de personas provenientes principalmente de antecedentes en matemáticas e informática, y les pediste que crearan inteligencia; por supuesto, decidieron que las primeras cosas que querían hacer eran crear inteligencia en los dominios que entendían, tanto porque les interesaban más como porque era mucho más fácil.

Nick Marwell: Es increíble la cantidad de tiempo que, al intentar entrenar buenos modelos, dedicas en realidad a leer lo que está haciendo el modelo y a tratar de comprender, como resultado, cuán capaz se está volviendo, en qué tipo de cosas necesitas enfocarte y qué áreas requieren mejoras. Y es mucho más fácil hacer esto en dominios donde eres experto y entiendes lo que está pasando.

Anfitrión: ¿Los antropomorfizas cuando piensas en ellos?

Nick Marwell: Personalmente creo que no. Pienso que hay algunas personas que probablemente sí lo hacen, y estoy seguro de que algunas de ellas trabajan en Anthropic.

Anfitrión: Nuestros cerebros están programados de cierta manera; hay partes enteras de nuestro cerebro configuradas para pensar en la persona que estamos viendo y reflejar lo que creemos que son sus emociones para poder hablar con ella. Así que tenemos todas estas características integradas por la evolución para tratar a otra inteligencia como si fuera una inteligencia humana. Parece que sería difícil evitar hacer eso cuando trabajas en esto día a día.

Schult Douglas: Este es quizás uno de los debates más importantes en cuanto a cómo la gente intenta enmarcar estas tecnologías, ya sea como herramientas o como entidades. Y realmente creo que la categoría de "entidad" es un marco útil, porque con una herramienta, la estás utilizando tú todo el tiempo. Y con estos modelos, lo que estás haciendo en realidad es tomar algo que es muy inteligente y liberarlo al mundo en ciertos aspectos, donde va a tomar acciones en tu nombre. Y por esa razón, a menudo es más útil pensar en ellos como una entidad.

¿Es la biología la próxima gran frontera?

Anfitrión: ¿Hay categorías o áreas de cosas a las que deberíamos poner a trabajar esta inteligencia y que aún no estamos haciendo? ¿Hay cosas que les entusiasman o en las que están trabajando donde vayamos a utilizar esto mucho más en otros ámbitos? ¿Cuáles son esas áreas? Creo que la más grande es la biología, ¿verdad?

Nick Marwell: Sí. Pienso que depende de si estás haciendo una pregunta sobre qué cosas ya hacen muy bien los modelos que consideramos habilidades subutilizadas, frente a cuáles son las áreas que más nos entusiasman de cara al futuro. En cuanto a la última pregunta, podemos profundizar en por qué la biología es el campo que más me entusiasma para los próximos, digamos, 6 a 24 meses, en términos de dónde creo que los modelos realmente comenzarán a tener un impacto similar al que han tenido en la ingeniería de software, pero no solo en el sentido de que serán ampliamente adoptados, sino de que los aspectos positivos para la sociedad que surjan de esto serán verdaderamente difusos y muy, muy poderosos.

Anfitrión: Curar enfermedades, hacernos a todos más saludables y la longevidad. Parece que hay todo tipo de cuestiones extrañas sobre la epigenética vinculadas a la longevidad que apenas estamos descubriendo gracias a los premios Nobel que comenzaron hace 20 años, y todos nuestros amigos tienen empresas ahora en el Área de la Bahía. Hay miles de millones de dólares intentando descifrar cómo activar estos mecanismos y cómo rejuvenecer partes del cuerpo y cosas por el estilo. ¿Crees que la IA va a ser fundamental para impulsar eso?

Nick Marwell: Pienso que la IA va a ser la tecnología más importante en las ciencias de la vida, sin duda de nuestra vida y tal vez de la historia. De hecho, estoy tan seguro que me preocupa casi más si disponemos de la infraestructura física y de laboratorio necesaria para aprovechar esto, que el hecho de saber si la IA será o no una herramienta intelectual útil.

Anfitrión: Hace 3 años probablemente deberíamos haber estado construyendo mucha más capacidad de cómputo, por ejemplo. Hablamos demasiado de esto. ¿Debería alguien estar creando mucho más espacio de laboratorio para que lo usen o algo similar ahora mismo?

Nick Marwell: Yo creo que sí. Y pienso que hay un par de ejes en los que esto es importante. Uno de ellos es, literalmente, cuánto espacio de laboratorio tienes. Pero también creo que existen varias métricas en torno a la calidad de los laboratorios que tenemos en EE. UU. que claramente se están quedando atrás respecto a lugares como China. Pienso que resolver cómo recuperar la cadena de suministro y el complejo de laboratorios en Estados Unidos para que vuelvan a ser el estándar de oro mundial es uno de los grandes proyectos de infraestructura social en los que la gente debería estar pensando.

Schult Douglas: Esto será el factor limitante del progreso en biología.

Nick Marwell: Sí.

Anfitrión: Muy bien. Bueno, vayamos a resolver eso después del podcast. Suena como una buena idea. Consigamos algo de dinero del Departamento de Defensa para las cadenas de suministro y construyamos algunos laboratorios.

Consejos de carrera y la década de los generalistas

Anfitrión: Retomando un poco en qué punto de la ola nos encontramos, ¿qué harías si fueras un recién graduado universitario o alguien que ya está en la fuerza laboral? No estás en Anthropic, no estás en el centro de Silicon Valley. Podrías ser una persona inteligente y ambiciosa. ¿Cómo deberías pensar en tu carrera dado lo que está sucediendo con ustedes en los próximos años?

Nick Marwell: Creo que hay un par de escenarios diferentes en los que podríamos terminar. Anthropic tiene cierta responsabilidad de hablar sobre los riesgos que está introduciendo en el mundo, y uno de ellos es que nos preocupa bastante el desempleo. Pero sí creo que es posible que esta tecnología tarde lo suficiente en difundirse por el mundo como para que existan múltiples escenarios en los que dispongas de un período de 10 o 20 años donde en realidad hay un montón de oportunidades para formar parte de esa difusión tecnológica y hacer que eso defina tu carrera.

Nick Marwell: Y algo que le he comentado a algunas personas —tengo un hermano que está en la universidad ahora mismo y que de hecho está pensando en esta misma pregunta— es que creo que la próxima década, si nos encontramos en un escenario así, va a pertenecer en gran medida a los generalistas. Pienso que gran parte de cómo se construía una gran carrera durante los anteriores, no sé, 20 o 50 años consistía en tener un conjunto de habilidades muy valiosas y comercializables, y era muy fácil tener esas capacidades y depender de otras personas.

Nick Marwell: Ahora, cada persona tiene el poder de una empresa de 1.000 empleados a sus espaldas. Y lo que eso va a significar realmente es que las personas capaces de entender mejor cuáles son los problemas que hay que resolver, qué cosas harían mejor a mi comunidad, ya sea desde una perspectiva comercial, desde un punto de vista de beneficio social, etc., van a tener todas las herramientas necesarias para efectuar ese cambio. Por lo tanto, la selección de problemas y cosas por el estilo serán la habilidad definitoria.

Anfitrión: Dijiste: "¿Cuáles son los problemas por resolver? ¿Cómo hago mejor a mi comunidad?". Uno de los telones de fondo fundamentales de mi visión del mundo, al ser judío, es que se supone que debes reparar el mundo seis días a semana, y luego finges que has terminado en el Shabat, el día de descanso, algo que creo que muchas de nuestras religiones principales comparten de una u otra forma. Y mi optimismo radica en que siempre habrá cosas para que cada uno de nosotros repare, ayude y arregle con las personas que nos rodean, con nuestras comunidades. A menos que creas que vamos a vivir en una utopía, siempre habrá trabajo que hacer para las personas, ¿verdad? Creo que es un marco optimista.

Nick Marwell: Totalmente, sí.

Schult Douglas: Sí, hay mucho trabajo entre nosotros y la utopía.

Anfitrión: Exactamente. La implicación fundamental de la religión es que aquí nunca se trata de una utopía hasta que venga el Mesías o algo así, y por lo tanto tienes que seguir arreglando las cosas, ¿no? Y eso es algo positivo.

¿Qué podría salir mal? ¿Cuáles son los mayores riesgos de la IA?

Anfitrión: Sé que ustedes son optimistas y que hay muchas cosas positivas. Primero quiero adentrarme en algunas preocupaciones, porque aquí es donde mucha gente tiene muchísima curiosidad. Obviamente en la costa, creo que estamos viendo todas estas cosas realmente positivas a nuestro alrededor en nuestras comunidades. Todos tenemos amigos construyendo empresas más rápido que nunca. Se siente esta energía sumamente positiva, al menos para mí cuando vengo a San Francisco, cuando voy a Nueva York, e incluso en las cosas que hago en Austin, Texas.

Anfitrión: Pero creo que gran parte del resto del país siente que hay amenazas para sus negocios, amenazas para sus medios de vida. Da miedo. No saben si ustedes simplemente van a ser algún tipo de personas excéntricas que van a conquistarlo todo con esto o qué sé yo. ¿Qué es lo que la gente no está viendo? ¿Existe un camino negativo plausible que les preocupe? ¿Es incorrecto el camino negativo que a ellos les preocupa? ¿Cómo piensan sobre este problema?

Schult Douglas: Creo que las preocupaciones son sumamente razonables. Hay un par de grandes categorías que nos preocupan, pero en todas ellas pensamos que, si tomamos las medidas correctas en los próximos años, podemos terminar con un mundo radicalmente mejor en la década de 2030.

Schult Douglas: Esas categorías son: una muy importante que ya hemos mencionado es el desempleo, ¿verdad? Y deberíamos tener una discusión larga al respecto, sobre por qué consideramos que eso es un riesgo y cuáles pensamos que son las acciones correctas a tomar. También están las preocupaciones más inmediatas a corto plazo sobre riesgos biológicos y cibernéticos que están ocurriendo literalmente este mismo año.

Anfitrión: Hay todo tipo de cosas molestas ahí donde la gente se burlaba de Anthropic porque no se le podía preguntar sobre la mitocondria de una célula, que era un caso clásico. Y uno piensa: bueno, en realidad probablemente deberías poder hacer eso y simplemente tal vez no ayudar a fabricar un arma biológica o algo así.

Schult Douglas: Definitivamente deberías tener permitido hacer eso. Pero estamos poniendo en marcha la infraestructura para poder estar seguros de que nadie pueda fabricar un arma biológica a partir de ellos.

Nick Marwell: Sí. Lo que es increíblemente difícil con temas como la biotecnología y la ciberseguridad es que se trata inherentemente de lo que se conoce como capacidades de doble uso. Creo que la ciberseguridad es la más fácil de entender. Si le doy una instrucción a Claude y le digo: "Aquí tienes una base de código. Por favor, encuentra todas las vulnerabilidades", es exactamente igual de probable que yo sea el propietario de esa base de código intentando endurecer mis defensas a que sea un atacante intentando encontrar una forma de entrar.

Anfitrión: Sí.

Nick Marwell: Y esto es lo que fundamentalmente hace que áreas como la ciberseguridad, o la biología que comparte muchas de esas mismas características de doble uso, sean tan difíciles de regular y vigilar.

Anfitrión: Estás intentando atacar algo en una célula, y hay una probabilidad altísima, probablemente del 99,9%, de que estés intentando destruirla para eliminar el cáncer o algo así, pero existe una pequeñísima posibilidad de que estés intentando atacar algo terrible.

Nick Marwell: Correcto. Y por eso creo que estamos trabajando en varias cosas destinadas a permitirnos asegurar que los actores benévolos puedan usar estas tecnologías y que los actores malintencionados se queden fuera. Pero creo que nuestra sensación general es que no deberíamos estar lanzando estas tecnologías al mundo antes de poder evitar que los actores malintencionados realicen acciones dañinas.

Anfitrión: Definitivamente hay personas —y ni siquiera se trata de Anthropic— que están utilizando modelos abiertos procedentes de China con grupos terroristas, por ejemplo en África, para descubrir cómo fabricar más fácilmente ciertas bombas que antes no sabían cómo hacer, y el sistema es lo suficientemente inteligente como para ayudarles porque los usuarios no eran muy hábiles en eso. Hay usos aterradores. Pero al mismo tiempo, mi sesgo es que, en general, con más inteligencia, más gente puede comprender los usos aterradores y utilizarlos también para detenerlos, ¿no? Hay un equilibrio.

Schult Douglas: Y por lo tanto, una dinámica importante aquí de la que debemos hablar es si un área está dominada por la ofensiva o por la defensa.

Anfitrión: Sí.

Schult Douglas: En este momento, tanto la ciberseguridad como la biología están dominadas por la ofensiva, pero creo que en los próximos dos años la ciberseguridad pasará a estar dominada por la defensa.

Anfitrión: Especialmente si todo el mundo tiene acceso a la inteligencia para hackearse a sí mismo y construir defensas.

Schult Douglas: Exactamente. Porque puedes intentar hackearte de forma preventiva, construir las defensas, parchear todas las vulnerabilidades y, eventualmente, terminaremos en un mundo mucho más seguro cibernéticamente.

Anfitrión: Donde todo el mundo ya tiene acceso a la inteligencia y averigua cómo van a irrumpir. Eso es lo que estamos haciendo por adelantado. Creo que uno de mis amigos ayudó a infiltrarse en un sistema del Pentágono y de los bancos cuando se lo pidieron y se lo demostraron, pero están usando una nueva IA porque la IA es muy buena en eso, y ahora todo el mundo tiene que hacerlo rápidamente.

Ofensiva frente a defensa: cómo evoluciona la tecnología

Anfitrión: Retrocedamos un segundo. El dilema entre ofensiva y defensa es súper interesante, ¿verdad? Ha sido un concepto presente durante miles de años en la historia humana. Cambia mucho. Soy un gran admirador de las ciudades-estado muy libres que solían competir en Europa, y eso era algo muy bueno. Si una ciudad-estado hacía algo mal, podías irte a otra.

Anfitrión: Y luego, desafortunadamente, aparecieron estos tipos con cañones. Podían derribar las murallas con suma facilidad, y entonces construyeron estos grandes imperios y ya no podías simplemente abandonar tu ciudad-estado porque ahora estabas bajo su dominio de todos modos. Así que hay diferentes momentos en los que las cosas han oscilado entre la ofensiva y la defensa.

Anfitrión: Y estoy de acuerdo, creo que la ciberseguridad ahora mismo está súper dominada por la ofensiva hasta el punto de que la gente debería tener miedo. Cualquiera que esté escuchando, si no está en la vanguardia usando IA para poner a prueba sus sistemas, probablemente sufran intrusiones, y podría ser alguien muy malintencionado. Así que ahora mismo da miedo. Coincido en que, con el tiempo, la ciberseguridad podría volverse más dominada por la defensa si se utiliza correctamente.

Anfitrión: Hay una duda con la IA. Uno de mis temores es: ¿existen ciertas cosas ocultas en el mundo que están simplemente súper dominadas por la ofensiva? Por ejemplo —y no creo que este sea el caso—, si puedes fabricar un nanobot autorreplicante con la suficiente inteligencia que simplemente devore al mundo entero, y un genio lo crea y luego devora el mundo entero y todos morimos. Reitero, no creo que eso vaya a ocurrir, pero tenemos que asegurarnos de usar la inteligencia para descubrir lo que esté súper dominado por la ofensiva antes de tiempo.

Schult Douglas: Cierto. Y de hecho la biología está súper dominada por la ofensiva hasta que pongamos una cantidad enorme de trabajo en hacer que el mundo esté dominado por la defensa. Hay formas en que puedes hacer que el mundo esté dominado por la defensa frente a la biología, pero va a requerir cientos de miles de millones de dólares en infraestructura. No es descabellado hacerlo hasta que obtengas capacidades drásticamente avanzadas en robótica en la década de 2030 para ayudarte a construir todo esto.

Anfitrión: Este es un período muy aterrador en el sentido de que actualmente está dominado por la ofensiva. Queremos que pase a estar dominado por la defensa. Supongo que la solución es asegurarse de que estas cosas no sean demasiado secretas y, quizás, mostrarlas abiertamente. Mi punto de vista es que quieres a mucha gente usando la inteligencia para desafiarlo todo, en lugar de tener a un único grupo haciéndolo en secreto.

Schult Douglas: Estamos muy de acuerdo en ese punto.

Respondiendo a la crítica de la captura regulatoria

Anfitrión: Anthropic es generalmente muy admirada. También, como cualquier empresa, la comparo con Microsoft en los años 90: cuando te conviertes en el campeón, la gente se pone celosa y te ataca. A veces esos ataques ocurren porque están celosos y tienes mucha presencia y estás dominando, y a veces ciertas críticas también son legítimas. Muchos de mis amigos más inteligentes tienen la impresión de que Anthropic intenta aplicar algún tipo de estrategia de captura regulatoria que no es algo bueno. ¿Cómo reaccionan ante eso?

Nick Marwell: Creo que probablemente hay dos cosas de las que vale la pena hablar aquí. Una es el auge de la narrativa de captura regulatoria vinculada al debate sobre los pesos abiertos (open weights) que ha estado ocurriendo. Y la otra es probablemente que, si estuvieras intentando hacer una captura regulatoria de una manera muy egoísta, ¿lo habrías hecho de la forma en que lo ha hecho Anthropic?

Nick Marwell: Pienso que, respecto a lo primero, no es descabellado, si no estás metido en los detalles de lo que está pasando, interpretar algo en el sentido de que los pesos abiertos son una tecnología importante de bien público que queremos conservar. En cierto modo, es un oponente natural para partes del negocio de Anthropic, y Anthropic quiere usar cualquier regulación que pueda para presionar a quienes están desarrollando pesos abiertos, porque históricamente los pesos abiertos o el código abierto han sido comunidades más pequeñas, con menos financiación y que tienen dificultades para navegar por el sistema regulatorio.

Nick Marwell: Creo que eso no es lo que está pasando aquí con los pesos abiertos. Si miras quiénes son las personas que están impulsando, desarrollando y sirviendo modelos de pesos abiertos, son en gran medida las corporaciones más gigantescas del mundo. En EE. UU., son actores como Nvidia, Amazon y Microsoft quienes están empujando la frontera de los pesos abiertos hacia adelante. E incluso, por ejemplo, con los laboratorios chinos, se trata de laboratorios sumamente financiados, cada vez más a menudo públicos, que están impulsando esto. Por lo tanto, estas son empresas que, a pesar de tratarse de modelos de pesos abiertos, son muy capaces de navegar en un entorno regulatorio.

Nick Marwell: Así que no me preocupa particularmente que tener cierta regulación sobre los modelos, tanto abiertos como cerrados, se convierta en algo que frene a los desarrolladores de pesos abiertos de una manera desproporcionada en comparación con los desarrolladores de modelos cerrados.

Nick Marwell: Pienso que la otra parte de esto es de forma más directa: si estuvieras haciendo captura regulatoria de una manera destinada puramente a beneficiarte, no está nada claro para mí que Anthropic hubiera elegido el conjunto de acciones que ha tomado. Un muy buen ejemplo de esto —y probablemente haya otros, tal vez Schult tenga otras cosas en mente— es lo que ocurrió con Fable. Si piensas en Fable, o en Mythos antes de eso, desde un punto de vista puramente de motivación económica, Anthropic tenía este modelo que era, por mucho, el mejor modelo del mundo. Nadie tenía un modelo ni remotamente cercano en ese período de tiempo.

Nick Marwell: Y Anthropic básicamente decidió trabajar con el gobierno para lanzarlo de una manera con la que el gobierno se sintiera cómodo, cuando podría haber optado por mantener una ventaja de modelo de varios meses y probablemente disipar cualquier duda sobre si otros laboratorios podrían ser competitivos con la empresa. Y esta fue una decisión netamente mala en el plano económico para la empresa, pero una decisión alineada con nuestros valores sobre cómo pensamos que los modelos deben ser desplegados y regulados.

Nick Marwell: Por lo tanto, no se trata de una estrategia de captura regulatoria por intereses económicos. Es una estrategia basada en: creemos que el gobierno tiene un papel realmente importante que desempeñar en cómo se desarrollan y despliegan tecnologías críticas y posiblemente peligrosas. Y pensamos que es nuestra responsabilidad, como alguien en la vanguardia, asegurarnos de que estén informados y participen en ese proceso, porque de lo contrario, ¿quién va a representar a todos?

Anfitrión: También es interesante porque, obviamente, hay bastantes personas inteligentes en este gobierno, y también hay mucha gente que no tiene la menor idea de lo que está haciendo. Terminas en una circunstancia absurda donde, por ejemplo —tal vez tú no puedas decirlo pero yo sí lo diré—, Anthropic, según tengo entendido, habría tenido más capacidades cibernéticas que la gente podría haber usado para la defensa, pero luego fueron limitadas (nerfed) para que el gobierno permitiera su lanzamiento, lo cual me pareció un error.

Schult Douglas: Creo que se están apoyando en la clásica asociación público-privada estadounidense que ha sido una parte tan importante de nuestra historia. No estamos construidos de manera que el gobierno deba ser el organismo más conocedor y competente sobre cada tema en el mundo. Lo que queremos poder hacer es construir una gran asociación público-privada donde el gobierno sepa cómo interactuar con Anthropic, con OpenAI, con Meta, o quien sea, para comprender y luego decidir cómo regular.

Anfitrión: Y para los líderes tecnológicos que conozco y que son más escépticos, que dicen: "Ah, bueno, Dario está intentando asustar a todos para crear más reglas para frenar las cosas porque va a ser una de las personas dominantes que controle ese proceso", ¿cuál es la respuesta para ellos?

Schult Douglas: Hasta ahora nos hemos frenado a nosotros mismos mucho más que cualquier otro. De hecho, si echas un vistazo a la discusión en torno a la propuesta de Demis para que los proveedores de modelos cerrados —OpenAI, DeepMind, Anthropic— se coordenaren de modo que puedan tener umbrales de seguridad que debamos cumplir antes de poder lanzar nuestros modelos, esto somos nosotros discutiendo frenarnos a nosotros mismos debido a nuestros principios. Ahora bien, creo que también por cierto deberíamos aclarar cuál es nuestra postura general sobre el código abierto.

La postura de Anthropic sobre el código abierto

Anfitrión: ¿Cuál es exactamente?

Schult Douglas: Personalmente, apoyamos mucho el código abierto. Creemos sinceramente que es algo muy bueno que esto exista en el mundo. Yo aprendí a hacer ML con modelos de código abierto, ¿verdad? También creemos que existen muchos riesgos, y habrá riesgos crecientes en el futuro. Así que lo que creemos es que básicamente debería haber umbrales para aquello con lo que la sociedad en general se sienta cómoda lanzando. Si un modelo puede realizar ciberataques, ¿con qué umbral de capacidad te sientes cómodo? Y creemos que los modelos cerrados y de código abierto deberían tener que cumplir con el mismo estándar. Aparte de eso, la gente debería poder hacer lo que quiera.

Anfitrión: ¿Vale la pena siquiera intentar hacer eso si China simplemente va a estar lanzando material aleatorio que cualquiera puede usar de todos modos? E igualmente, ¿cuál es la probabilidad de que sobre-reulemos por miedo, y luego China no lo haga, y surja un problema de todos modos y ellos lleven la delantera? ¿Cómo piensas sobre eso?

Schult Douglas: El mundo ideal es uno en el que realmente podamos trabajar con China de modo que ellos... Digo, ellos tampoco quieren ciberataques en su propio país.

Anfitrión: Pienso que sí quieren ciberataques contra nosotros, sin embargo, es mi impresión.

¿Frenarías y dejarías que China tome la delantera?

Schult Douglas: Tal vez no quieran ciberataques en contra de ellos mismos. Eso es justo. El mundo ideal es uno en el que podamos trabajar junto con ellos en ese aspecto. Pero eso es complicado, ¿verdad? Esa va a ser una de las partes más difíciles de los próximos años a medida que las capacidades de la IA sigan avanzando a toda velocidad. Esto va a hacer que mucha gente se sienta muy incómoda por muchas razones diferentes: por la biología, por la ciberseguridad, por el empleo. Y como resultado, ya estás viendo resistencia, como detener los conjuntos de datos.

Schult Douglas: Este es uno de esos debates donde se vuelve realmente difícil hacer una pausa a menos que puedas coordinarte con las otras partes y confiar en que las otras partes cumplirán con eso.

Anfitrión: Sin embargo, China no va a hacer una pausa. Entonces, ¿existe algún escenario en el que simplemente frenes a Estados Unidos y dejes que China tome la delantera?

Schult Douglas: No creo que ningún escenario con el que nos sintamos cómodos implique frenar a Estados Unidos y dejar que China tome la delantera.

Anfitrión: Lo cual parece ser la única opción bajo nuestro control en este momento.

Schult Douglas: Sí. Para cualquier escenario de pausa, tendría que estar totalmente coordinado de una manera en la que confiemos plenamente en cada contraparte. Básicamente, no hay manera de que frenemos a Estados Unidos.

La postura de Anthropic sobre la destilación

Anfitrión: Sorprendentemente, en comparación con lo que piensan otras personas, estás más a favor del código abierto. Es algo bueno, ha afectado positivamente sus vidas. Algo de este material de código abierto parece provenir de personas que se lo roban, lo cual me molestaría si estuviera en su lugar. Se llama destilación. Mucha gente dice: "Bueno, ¿por qué simplemente no lo detienen siendo muy inteligentes con su IA y vigilando todo?". ¿Por qué no pueden detener la destilación? ¿Cómo se sienten al respecto? ¿Qué está pasando con eso?

Schult Douglas: Bueno, por un lado, la destilación... hay un par de cosas de las que hablar aquí. Una de ellas es: ¿por qué estamos en contra de la destilación? ¿Es la destilación buena o mala? Y la otra es: ¿por qué no puedes detenerla si crees que es mala?

Schult Douglas: Cerremos la segunda, que es que hay un pequeño juego del gato y el ratón, ¿verdad? La gente quiere mucho acceso a sus modelos. Quieren poder inspeccionar las salidas, quieren ejecutarlos en su computadora local, quieren ver los rastros de razonamiento (thinking traces). Pero cada bit adicional de acceso que otorgas facilita la destilación. Y por lo tanto existe esta tensión entre cuán abierto puede ser tu herramienta y producto y cuán fácil es destilarlo, en efecto.

Nick Marwell: Y luego, sobre la primera parte, que es por qué deberíamos estar descontentos con la destilación en absoluto, la forma en que suelo pensar en ello es la siguiente: quieres que la IA avance porque pensamos que obtener modelos cada vez más inteligentes va a hacer todas estas cosas grandiosas para el mundo. Y la destilación no es un método capaz de llevarte más allá de la frontera de la capacidad actual.

Anfitrión: Es simplemente copiarte.

Nick Marwell: Es una copia. Y el problema con esto es que llegar a la siguiente frontera requiere enormes inversiones de capital inicial. Vamos a estar en regímenes —olvídate del día de hoy— donde eventualmente habrá ejecuciones de entrenamiento (training runs) de $10.000 millones, $100.000 millones, $1 billón. Y solo puedes respaldar ese tipo de inversión en I+D si eres capaz de ganar dinero vendiendo aquello en lo que invertiste.

Nick Marwell: El problema es que si todos los demás son capaces, por una fracción del costo, de tomar tu creación, copiarla y lanzar una copia en una semana o dos, se convertirán en un competidor con ventaja económica sobre ti porque no cargan con esa gran inversión en I+D. Y por lo tanto, si quieres progreso en la frontera, entonces quieres proteger la propiedad intelectual y los derechos de las personas que entrenan estos modelos.

Nick Marwell: A menudo la gente ha comparado esto con el desarrollo de fármacos. De hecho, creo que la IA es muy interesante porque protegerse contra la destilación te otorga muchas de las cosas buenas de cómo protegemos la propiedad intelectual en el desarrollo farmacéutico y evita algunas de las malas. ¿Cuáles son las cosas buenas? Obtenemos más desarrollo de fármacos en EE. UU. como resultado de proteger la propiedad intelectual.

Anfitrión: Obviamente no puedo invertir en el desarrollo de medicamentos si no puedo ganar dinero con ello.

Nick Marwell: Exactamente. Algunas de las cosas malas son que los costos son extremadamente altos como resultado. Lo interesante de la IA es que, a diferencia del desarrollo de medicamentos donde obtienes esta protección durante una década o más —son 20 o 30 años, creo—, en la IA la inteligencia es increíblemente deflacionaria porque la vida útil de la frontera se mide en meses. Y así, cada 6 meses, sí, la frontera va a ser costosa, pero todo lo que queda atrás de la frontera, que se sentía como la vanguardia hace 6 meses, se abarata abundantemente por el hecho de que impulsas la frontera aún más lejos. Esto es una especie de artefacto de cómo funciona el entrenamiento.

Nick Marwell: Por lo tanto, te proporciona muchos de los beneficios y en realidad evita la mayor parte de lo negativo en los regímenes en los que hemos estado. Puedes ver esto muy concretamente en el costo de un nivel determinado de inteligencia. Puedes mirar montones de paneles de evaluación; hay uno en Artificial Analysis que muestra exactamente esta línea de tendencia: se vuelve aproximadamente 10 veces más barato cada año. Se abaratat año tras año. Hay esta increíble magnitud deflacionaria y, por cierto, esto está ocurriendo sin destilación, simplemente debido a la progresión natural de la tecnología.

Anfitrión: Por supuesto. Y es intuitivamente injusto que alguien pueda copiarlo, y arruinaría todo el sistema si todo el mundo lo hiciera.

Nick Marwell: Sí.

Anfitrión: Tal vez una pregunta de seguimiento: ¿no es ese un modelo de negocio loco donde tu producto se vuelve obsoleto? En algunos aspectos, después de definitivamente un año, si no 6 meses, la frontera parece tener que seguir avanzando para que puedas ganar.

Schult Douglas: Se siente como si la frontera tuviera que seguir avanzando para que puedas ganar. Y creo que esta es una parte muy importante de nuestra visión general del mundo, que es que en realidad la IA ha penetrado una cantidad muy pequeña en la economía global. La suma total de los ingresos por IA está un poco por encima de los $100.000 millones dentro de una economía de decenas y decenas de billones de dólares. Y eso asumiendo que la economía no va a crecer dramáticamente como consecuencia de esta tecnología, lo cual esperamos que ocurra.

Schult Douglas: Y por lo tanto existe esta frontera. En muchos sentidos, puedes pensar que el nivel justo detrás de la frontera, el borde rezagado, se va commoditizando de muchas maneras, pero entonces el borde delantero tiene aún más valor.

Nick Marwell: Hay una cantidad enormemente mayor de valor en el borde delantero. A menudo hablamos de esto como retornos económicos exponenciales a la inteligencia, donde cada unidad marginal de inteligencia de la que eres capaz vale exponencialmente más que la unidad que vino antes. Ya hemos visto que esto ocurre. Si miras algo como la programación, la primera unidad de inteligencia en programación que fue útil para la gente fue el autocompletado mediante tabulación. Y pasaste de eso a la siguiente unidad marginal de inteligencia donde hiciste que la programación agéntica fuera una realidad en tu terminal con Claude Code. Y esto fue una capacidad 100.000 veces más valiosa.

Nick Marwell: Y por lo tanto, aunque el autocompletado por tabulación se commoditizó detrás de él —ni siquiera puedes montar una empresa basada en el autocompletado por tabulación en este punto—, estas siguientes unidades incrementales de inteligencia son simplemente extremadamente valiosas.

Nick Marwell: Esto era muy poco intuitivo para mí cuando pensaba en Anthropic hace un par de años, porque mi intuición de todo lo demás que experimento como ser humano viviendo en este mundo es que las exponenciales no duran tanto. Así que piensas, bueno, esto es realmente valioso durante un par de años, pero en algún momento deja de haber una exponencial en marcha. En cierto modo, esto requiere que seas extremadamente optimista, ¿verdad? Porque tienes que creer que vas a pasar del autocompletado por tabulación en la programación a la programación agéntica, y ¿qué podría ser más valioso que la programación agéntica? Tal vez podamos curar el cáncer.

Nick Marwell: e incluso entre esas opciones, es como si tuvieras un ingeniero de software integrado que es mejor que cualquier ingeniero de software en el mundo, y eso se siente extraordinariamente económico. Y tienes un ejecutivo que te ayuda con todo tipo de cosas. Y así, cuando la gente habla de: "¿No conducirá esto simplemente a la commoditization?", para cuando siquiera tienes esperanzas de una commoditization completa, toda la economía se ha transformado radicalmente. Literalmente toda la economía para ese punto está siendo ejecutada por IAs, tanto intelectual como físicamente.

Anfitrión: Y probablemente sea una economía mucho, mucho más grande. Y si Anthropic está impulsando eso hacia adelante, eso obviamente vale billones de dólares.

Nick Marwell: Exactamente.

¿Es alcanzable un mundo de post-escasez?

Anfitrión: Muy bien, entonces todos somos ricos. Es broma. Obviamente hay muchas preocupaciones, pero ustedes son optimistas. Entonces, ¿por qué estamos impulsando esto tan rápido? Recuérdennos otra vez eso. ¿Qué está pasando aquí? ¿Por qué están luchando?

Schult Douglas: Para volver a por qué estamos preocupados: porque vamos a obtener algo que es un reemplazo directo para un humano, ¿verdad? Va a ser tan bueno como un humano en todo lo que puede hacer en una computadora. Una vez que tengamos robots, va a ser tan bueno como un humano en todo en el mundo físico. Pero al mismo tiempo, eso desbloquea mejoras masivas y radicales. Significa que puedes tomar literalmente tecnología que habría requerido los próximos dos siglos para desarrollarse con nuestra población, y comprimir eso en la próxima década o un par de décadas.

Anfitrión: Ya estoy viendo esto con la industria aeroespacial, donde el diseño de aviones avanza tan rápido que probablemente habrá aviones muy avanzados que habríamos obtenido en la década de 2040 y que probablemente empezaremos a ver en los próximos años. Es realmente genial.

Schult Douglas: Y así puedes seguir incrementando y potencialmente duplicando la capacidad intelectual y física productiva de la humanidad de tal manera que te permita llegar verdaderamente a un mundo de post-escasez. Este es un mundo donde literalmente todo se reduce al costo de la energía, donde construir casas se reduce al costo de la energía.

Anfitrión: La clase media tendrá casas gigantescas si lo desean.

Schult Douglas: Podrías tener literalmente lo que quisiera en ese mundo.

Anfitrión: Puedes ir a la montaña y hacerte una construcción de 500.000 pies cuadrados, y es algo propio de la clase media.

Schult Douglas: Exactamente. Sería algo de clase media de la misma manera que las cosas que tenemos hoy en día son inimaginables incluso para los reyes de hace siglos, ¿verdad? Donde hemos curado cada enfermedad, donde probablemente hemos curado el envejecimiento y resuelto la longevidad. Y así te encuentras en este mundo donde todos en la Tierra tienen un nivel de abundancia disponible solo —ni siquiera para las personas más ricas del mundo actual. Y ese es el mundo por el que estamos luchando.

Schult Douglas: Pero es un mundo muy complicado, porque significa que necesitas trazar este rumbo hacia él y, segundo, tienes que averiguar cómo compartimos los frutos de ese mundo de tal manera que no termines con una desigualdad masiva, ¿verdad? Que los rendimientos no fluyan únicamente hacia las personas que casualmente tienen capital en el mundo preexistente, y que en su lugar todos, si así lo desean, puedan tener ese tipo de abundancia. Y por lo tanto existe una gran cuestión sociopolítica sobre cómo compartir los beneficios.

Anfitrión: Hay muchos errores que puedes cometer al asumir que ya hemos llegado ahí, sin embargo, ¿verdad? Porque la dignidad del trabajo en este momento es real.

Schult Douglas: No hemos llegado ahí. Ni siquiera estamos cerca de ahí. Pero si invertimos en la tecnología de las maneras correctas, entonces tenemos una oportunidad de llegar. Y por lo tanto pensamos que, básicamente, proyectemos las líneas de tendencia un poco hacia adelante desde hoy. En el transcurso de los últimos 4 o 5 años, hemos estado duplicando o triplicando la cantidad de capacidad de cómputo dedicada a la IA cada año. Juntas, las grandes empresas tecnológicas (hyperscalers) están gastando alrededor de $1 billón este año en gastos de capital (capex) relacionados con la IA.

Schult Douglas: Una pregunta muy interesante será: ¿se mantendrá esa línea de tendencia? ¿Subirá a $2 billones el próximo año y luego a $4 billones en 2028? Y si esa línea de tendencia se mantiene en términos generales, y puedes expandirla para abarcar a la industria robótica en general y este tipo de cosas, entonces eso significa que a principios de la década de 2030 o por ahí, empiezas a llegar al punto en que estás duplicando efectivamente el PIB de la humanidad a principios de la década de 2030. Lo cual, de nuevo, es un concepto un poco ridículo y requiere que muchas cosas salgan bien, pero el crecimiento de la productividad podría empezar a acelerarse rápidamente.

Anfitrión: Da la sensación de que incluso podría ser en los próximos dos años. Kevin Warsh es el nuevo presidente de la Fed. No sé si está convencido de la AGI (AGI-pilled), pero es muy optimista sobre la productividad de la IA en este momento. Un amigo nuestro muy inteligente. Se siente como si fuéramos a empezar a ver eso mucho más, pero parece una locura decir que podría acelerarse todavía mucho más.

Nick Marwell: Podría acelerarse aún más. Uno de los gráficos interesantes que vi recientemente fue este gráfico del empleo en Filipinas, que aumentó.

Anfitrión: Me sorprendió esto. Pensé que el sector de tercerización de procesos de negocio (BPO) iba a sufrir un impacto muy fuerte allí. BPO significa business process outsourcing. Están haciendo centros de llamadas de gama baja, y sin embargo siguen creciendo.

Nick Marwell: Y sin embargo siguen creciendo, y de hecho el empleo en ingeniería de software también ha aumentado. Y creo que gran parte de esto se debe a que, de repente, las personas son drásticamente más productivas que antes. Una línea de tendencia muy interesante sería simplemente: ¿cuánto tiempo continúa este repunte en el que las personas trabajan en parejas?

Anfitrión: Hay muchísimo más por hacer. Estás usando estas herramientas, lo cual es una señal positiva.

Nick Marwell: Al menos a corto plazo, parece que sí. Pero sí creo que es importante que no nos convenzamos demasiado de que todo va a marchar bien. En este momento, como dijo Schult, estás en este momento posiblemente bueno donde todos tus empleados siguen siendo partes muy importantes para aprovechar la IA. Y como resultado, lo que ocurrió es que obtuviste una tecnología habilitadora que hizo que cada uno de ellos fuera más valioso, por lo que querías contratar a más.

Nick Marwell: Pero en algún momento, nuestra creencia es que vamos a pasar de un mundo donde necesitas a un humano emparejado con un modelo de IA para extraer todo su valor, a un mundo donde ya no lo necesitas. Y creo que ese es el mundo donde empezamos a ponernos muy nerviosos por las consecuencias.

Anfitrión: Esto es como el ajedrez: durante 30 años el mejor jugador de ajedrez era un humano más la máquina, y ahora las máquinas simplemente arrasan, y pensamos que ese es un período de tiempo mucho más corto.

Nick Marwell: Sí. Algo que supuso una gran actualización para mí en los últimos 3 años, tal vez en los últimos 5 años cuando comencé a pensar en el ritmo del progreso de la IA: creía que eventualmente llegaríamos a un lugar que se pareciera a donde estamos hoy o donde creo que estaremos en un año, pero que tomaría más tiempo. En gran medida, pensaba que tomaría más tiempo porque creía que escalar los datos necesarios para hacer esto iba a ser una empresa extremadamente costosa en tiempo y dinero.

Nick Marwell: Y lo que ocurrió, que incluso para mis elevadas expectativas de entonces sobre el progreso de la IA fue inesperado, fue que el despegue de los ingresos y la escala de estos negocios —de Anthropic y OpenAI— fue tan rápido que de repente se volvió completamente plausible para quienes desarrollan esta tecnología destinar dinero al problema de atravesar lo que pensábamos que serían muchos de estos cuellos de botella con mucha mayor rapidez. El incremento en el cómputo es otro gran ejemplo de esto. Habría sido inconcebible para la mayoría de la gente hace 5 años que gastáramos $1 billón en un año.

Anfitrión: Era inconcebible para la gente hace un año.

Nick Marwell: Sí, era hace un año. Sí parece que estamos en una línea de tiempo donde un montón de cosas que tienen un término de interacción muy grande entre sí están ocurriendo al mismo tiempo, algunas buenas y otras malas. Hablamos de la incursión en el espacio para el cómputo; es bastante interesante que la IA esté surgiendo aproximadamente al mismo tiempo que SpaceX alcanza su madurez. La sincronización de eso fue realmente interesante. Podrías imaginar que si SpaceX hubiera tardado 10 años más en llegar aquí, las líneas de tiempo de la IA se habrían visto diferentes.

Anfitrión: Todo es gracias a Elon también. Estaba lo suficientemente loco como para empezar mucho antes que nadie.

Nick Marwell: Por otro lado, tienes algunas cosas mucho más preocupantes que están ocurriendo. No creo que sea genial para el mundo, por todo tipo de razones incluyendo la dinámica entre potencias, incluyendo que la IA fundamentalmente es una tecnología que puede beneficiar al autoritarismo más que la mayoría de las otras formas de gobierno, que la IA esté llegando en un momento en que estamos entrando ciertamente en el mundo más bipolar de mi vida.

Anfitrión: ¿No está eso vinculado, sin embargo? ¿No hay algo en las redes sociales y en cómo utilizan el aprendizaje automático y mejoran la IA que nos polariza? ¿Tiene algo que ver con la economía de la atención?

Nick Marwell: Cuando digo bipolar, me refiero realmente al panorama global entre China y EE. UU.

Anfitrión: No te refieres a la polarización izquierda-derecha en EE. UU.

Nick Marwell: No, eso probablemente sea otra cosa en la que vale la pena pensar. Pero realmente creo que habría actualizado mis expectativas al menos ligeramente de forma más positiva sobre las perspectivas de que a la IA le fuera muy bien si estuviera llegando al mundo, digamos, a principios de la década de 2000, cuando tienes este mundo más unipolar. Es más seguro.

Schult Douglas: Es como una tragedia digna de una novela de ciencia ficción que el recurso más valioso del universo se produzca en esta pequeña isla situada entre las dos superpotencias mundiales.

Nick Marwell: Es bastante poético en algunos aspectos.

¿Cómo preservamos los valores, la tradición y la comunidad?

Anfitrión: En general, hay mucho optimismo en cuanto a hacia dónde va esto para la humanidad si superamos este período. Parece ser la conclusión principal. Otra pregunta que creo que muchos de nuestros oyentes se están haciendo: una cosa es tener una riqueza extraordinaria, pero también hay cosas que nos importan en nuestra civilización. Hay virtudes, hay familia, hay valores tradicionales en los que mucha gente basa sus vidas. Está la dignidad del trabajo, pero hay todas estas otras cosas a su alrededor, que son nuestras tradiciones las que nos hacen quienes somos.

Anfitrión: Y creo que existe cierta preocupación de que, debido a que esto está ocurriendo en San Francisco, donde esas tradiciones tal vez no se valoren tanto en promedio, ¿existe algún tipo de iniciativa por parte de las personas al mando donde ahora simplemente van a reinventar el mundo y deshacerse de mi sentido tradicional, ya sea del cristianismo o ya sea de la monogamia o lo que sea? ¿Hay instituciones que podamos estar construyendo para ayudar a preservar estas cosas? ¿Cómo pensamos en eso desde la perspectiva de estar en el centro de San Francisco y cambiarlo todo?

Schult Douglas: Curiosamente, en San Francisco en realidad esperamos un resurgimiento en la importancia de estas instituciones, porque a medida que el trabajo pierda su primacía en las vidas de las personas, y a medida que el capitalismo puro pierda su primacía en las vidas de la gente debido a que progresivamente tenemos más y más abundancia, creemos que las partes importantes de la vida de las personas van a ser la tradición y el ritual y aportar valores a otras personas, a tu comunidad local y a esos vínculos.

Nick Marwell: De manera contraintuitiva, muchas actividades intelectuales y la búsqueda de aprender a convertirse en alguien que sabe cómo pensar sobre el mundo es en realidad algo que quizás crece en importancia, solo que no en un sentido económico. En un mundo donde no te falta nada, es más o menos lo último que queda para entretenerte, para sentirte parte de una comunidad y todas estas cosas.

Anfitrión: Ustedes son jóvenes y muy exitosos. Digamos que Anthropic sigue adelante. Todos los que están allí van a tener recursos, y todo el mundo va a tener más recursos. ¿Han pensado en construir instituciones para ayudar con estas cosas? ¿Hay algo que les apasione crear allí?

Schult Douglas: Sí. Nick, tú tienes un gran ejemplo con el trabajo de primera infancia en el que está trabajando tu padre, pero este es un tema de discusión muy importante en Anthropic en este momento. La filantropía es una parte muy importante de la cultura de Anthropic. Hay una gran publicación en un blog sobre esto titulada algo así como "La nueva ola de la filantropía estadounidense", donde la gente habla de cómo las aportaciones filantrópicas de la fundación de OpenAI y la base de empleados de Anthropic equivaldrían a cientos de Institutos Arc o decenas de Fundaciones Gates.

Schult Douglas: Hay todo tipo de cosas en las que la gente está pensando. Una fundación a la que he donado es un programa que pretende intentar acabar con todas las enfermedades virales. Mucha gente se está centrando en asuntos relacionados con la salud. Uno de mis colegas ha donado a una organización sin fines de lucro que se centra en intentar averiguar la forma correcta de manejar los impactos en la fuerza laboral: estudiarlos realmente, averiguar qué está pasando, qué deberíamos realmente preocuparnos, cuál es el panorama real y los datos sobre el terreno, y qué políticas deberíamos estar defendiendo para que todos atraviesen esta transición respaldados y en una mejor situación al otro lado.

Nick Marwell: Ciertamente estoy muy influenciado por mi padre en este sentido, quien pasó los últimos 15 o 20 años enfocado en la educación. Acabo de hablar de cómo la educación —si bien las cosas que quizás queramos aprender creo que cambiarán mucho, no me queda claro que queramos salir a obtener doctorados en campos altamente técnicos de aquí a 20 años—, sin embargo, la búsqueda del conocimiento, la alegría de aprender, la capacidad de comprometerse intelectualmente unos con otros y, francamente, de comprender el mundo en el que vivimos (que va a ser un mundo muy confuso para la mayoría de nosotros si las cosas se desarrollan de la manera que hemos estado discutiendo) no hace sino crecer en importancia.

Nick Marwell: Una cosa que mucha gente en la IA cree, en la que en realidad creo que se equivocan, es que la IA simplemente va a arreglar la educación. Si te importa la educación de todos, y no solo cómo le doy una educación realmente excelente a un niño con dos padres que están en el 1% y que están altamente educados ellos mismos, creo que hay dos cosas realmente importantes que entender.

Nick Marwell: La primera es que tu educación es algo profundamente, profundamente acumulativo. Un gran ejemplo de esto es que el principal predictor de qué tan bien le irá a un estudiante en matemáticas es si puede leer al nivel de su grado al final del tercer grado, porque cuando llegas al final del tercer grado, ahí es donde transicionas de aprender a leer a leer para aprender. Y hay muchas cosas en la educación que son así, especialmente porque los niños y muchos humanos tienen este rasgo psicológico donde, cuando perciben que no son buenos en algo, pierden la motivación para seguir haciéndolo.

Nick Marwell: Y el problema, si crees en esto, es que hay una cosa en la que al menos hasta ahora la IA parece ser extremadamente mala: las computadoras no pueden mantener la atención de los niños pequeños. De hecho, parecen ser una fuerza increíblemente distractora.

Anfitrión: Eso podría ser algo totalmente nuevo en lo que los entrenes si quieres. Tienes que descifrar el juego, aunque no estoy seguro.

Nick Marwell: Y así, aunque creo que hay partes del proceso de educar a los niños en las que la IA ayudará de maneras extremas —en particular asegurándonos de que enseñamos a los niños lo correcto para ellos en el momento adecuado—, realmente no creo que vaya a ser esta panacea donde simplemente obtenemos una IA muy inteligente y todos los problemas de la educación desaparecen.

Predicciones para 2028

Anfitrión: Hay mucha gente inteligente trabajando en eso. Coincido en que es realmente crucial. Viajemos rápidamente al futuro, a agosto de 2028. Estás recordando este podcast. ¿Qué tiene que haber ocurrido para que digas: "Vaya, eso fue mucho más rápido de lo que esperaba"?

Schult Douglas: ¿Mucho más rápido de lo que esperábamos? Ya esperamos que las cosas vayan bastante rápido.

Anfitrión: Mucho más rápido.

Schult Douglas: Los plazos para colocar centros de datos en el espacio son un punto importante. Creo que hay amplios márgenes de error en esto dependiendo de a quién le preguntes.

Anfitrión: Y eso es una parte realmente importante, porque hay mucho más que puedes hacer allí arriba. El incremento en el cómputo, una vez que tengas eso, será aún más rápido, y esa es la principal cosa que necesitamos.

Schult Douglas: En términos generales, espero que algo así como un teravatio esté en línea para entonces, pero está por verse (TBD) el ritmo real de despliegue. Me interesaría ver cuántos robots humanoides tenemos en los hogares en 2028. Creo que es muy probable que haya un montón de despliegues tempranos —tal vez decenas de miles de robots en 2028 en los hogares haciendo la colada, algo de limpieza básica y este tipo de cosas—. Pero también podría ser bastante más rápido que eso.

Anfitrión: Acabamos de publicar un episodio con Generalist. Es bastante asombroso lo buenos que se están volviendo los modelos del mundo, y es más rápido de lo esperado. Parece que eso podría ser lo que haga que todo avance unos años más rápido.

Schult Douglas: Exactamente. Y una vez que consigues robots, realmente se acumula; el progreso avanza con rapidez.

Nick Marwell: Pienso que muchas de las cosas aquí están relacionadas con los datos de alguna manera. Uno de los mayores reguladores del progreso en las capacidades de la IA es la velocidad con la que podemos escalar los datos en los dominios que nos importan. Y creo que esto ya ha ido más rápido de lo que esperaba, por una razón que comenté antes: ha habido mucho más dinero para destinar al problema de lo que pensaba debido a en qué se han convertido los ingresos de los laboratorios.

Nick Marwell: Pero mi expectativa es que nos frenará cierta tasa a la que la humanidad pueda producir estos datos. Y si me dijeras, por ejemplo, que nos lanzamos a una cruzada de construcción de montones de laboratorios para producir datos biológicos para entrenar modelos, y que eso comenzó hoy y estuviera a pleno rendimiento dentro de un año, probablemente adelantaría mis previsiones temporales.

Anfitrión: Ahora estamos enfocados, obviamente, en todos estos tipos de datos para tareas muy específicas como programación, matemáticas y todo lo demás. ¿Crees que algún día estaremos trabajando en datos para moldear personas virtuosas, o buen carácter, o salud mental, o algo así? Obviamente es mucho más complicado, pero ¿podría haber estos otros problemas realmente complejos que la IA resuelva en el futuro?

Schult Douglas: Esos problemas prefiero que los resuelvan los humanos, para ser honesto.

Anfitrión: ¿Acaso no usaríamos una herramienta para resolver el problema, sin embargo?

Schult Douglas: Definitivamente la IA nos ayudará en esas discusiones, ¿verdad? Pero creo que eso cae en la amplia categoría de datos que espero que sean tanto bastante difíciles de escalar como extremadamente dependientes de la persona. Eso viene después de que resolvamos la robótica.

Anfitrión: Sigues siendo algo humano. Parece que todavía hay espacio para nosotros.

Schult Douglas: ¿Esperaría que una IA ganara un Premio Pulitzer en 2028? Probablemente no.

Anfitrión: Bueno, ¿y si no supiéramos que se lo estamos dando a la IA?

Schult Douglas: Eso es verdad. ¿Esperaría que ganara una Medalla Fields en 2028? Bastante posible, ¿verdad? Extremadamente probable. Un Premio Nobel tampoco es una locura. Se siente muy probable antes de que termine la década.

Anfitrión: Bueno, es emocionante charlar con ustedes. Definitivamente tenemos algunos desafíos que superar, pero me siento muy optimista sobre el futuro de la humanidad si hacemos bien estas cosas.

Schult Douglas: Yo también. Y gracias por acompañarnos.

Nick Marwell: Gracias por invitarnos.