Anthropic afirma que sus líneas rojas con el Pentágono podrían convertirse en ley este año y apuesta a que un modelo sin anuncios otorga a Claude una ventaja estructural contra la adulación
27 de octubre de 2026: Dario y Daniela Amodei conversan con Walter Isaacson en la serie de entrevistas "The Builders"
En una amplia entrevista con Walter Isaacson, el CEO de Anthropic, Dario Amodei, y la presidenta, Daniela Amodei, ofrecieron pocos detalles financieros, pero sí varias señales útiles sobre cómo la empresa se posiciona frente a OpenAI. Las dos señales principales conciernen a las políticas y al modelo de negocio. Anthropic sostiene que su negativa a permitir que el Pentágono utilice Claude para vigilancia masiva y armas totalmente autónomas se está convirtiendo ahora en legislación. También argumenta que su decisión de no incluir publicidad en Claude le otorga una ventaja estructural en uno de los problemas no resueltos más complejos del comportamiento de los modelos. Ambas afirmaciones provienen de la propia compañía y no están verificadas de forma independiente, pero muestran cómo la directiva quiere que los inversores y los legisladores lean el último año.
La disputa con el Pentágono: de las líneas rojas a una posible legislación
Isaacson presionó a los hermanos Amodei sobre sus tratos con el Departamento de Guerra, que quería utilizar Claude en áreas que Anthropic había restringido, incluyendo la vigilancia masiva y las armas autónomas. Dario Amodei dio dos razones en cuanto a la autonomía. La primera es técnica: "La inteligencia artificial puede ser impredecible y poco confiable. Sigue siendo una tecnología en desarrollo" y, en su opinión, aún no es lo suficientemente fiable para tomar decisiones letales.
La segunda es la más interesante y se aplicaría incluso si la fiabilidad estuviera resuelta. Amodei enmarcó el asunto como una cuestión de supervisión y rendición de cuentas. Los soldados humanos pueden negarse a cumplir órdenes inconstitucionales o moralmente aborrecibles. Un ejército de un millón de drones o robots no puede hacerlo. "El fantasma de que una persona tenga el dedo en un botón que controla un millón de robots o un millón de drones socava fundamentalmente la democracia a menos que existan las salvaguardas adecuadas", afirmó, y añadió que "nuestra ley realmente no ha contemplado ejércitos de un millón de robots".
Al ser consultado sobre si los líderes elegidos democráticamente, en lugar de los ejecutivos tecnológicos, deberían tomar tales decisiones, Amodei estuvo de acuerdo, pero argumentó que las empresas siguen siendo libres de decidir con quién contratan. Afirmó que esta postura ya ha tenido efectos legislativos. "Hemos visto iniciativas en el Congreso, varias diferentes en realidad, para consagrar nuestras líneas rojas en la ley", señaló, al tiempo que predijo que "podríamos ver un resultado incluso este año en el que nuestras líneas rojas se conviertan en ley". La exigencia del Pentágono de utilizar los modelos para "todos los usos lícitos", argumentó, podría terminar equivaliendo a "todos los usos éticos" una vez que la legislación se ponga al día.
El costo comercial de la disputa no se abordó. Isaacson señaló que OpenAI intervino para asumir el trabajo que Anthropic rechazó. Daniela Amodei respondió que Anthropic no puede controlar a otras empresas y se preguntó si la jugada del rival fue "una postura verdaderamente basada en principios" o "un momento oportunista". Dario Amodei fue más allá y aseguró que el público "estuvo decisivamente de nuestro lado". Se trata de una afirmación sobre reputación, no financiera. Los ingresos a los que renunció la empresa no fueron cuantificados, y los inversores deben tener en cuenta que aún no se ha aprobado ninguna ley.
La publicidad y la adulación como cuña competitiva
El argumento de modelo de negocio más incisivo provino de Daniela Amodei. Describió la adulación —la tendencia de un modelo a decir a los usuarios lo que quieren oír— como un problema más difícil de erradicar que los fallos anteriores de tipo "HH" (por honestidad y daño, *harmlessness*), ya que la mentira es verificable a la larga, los resultados dañinos son evidentes con rapidez y la falta de utilidad resulta frustrante. La adulación no es ninguna de esas cosas. Su ejemplo fue el de un usuario que pregunta si él o un amigo tienen razón en una discusión, donde el modelo debe mostrar empatía sin decirle al usuario que es perfecto.
Vinculó el problema directamente con los incentivos. "Nuestros competidores están incluyendo anuncios en sus chatbots", indicó. "Ganas más dinero si un usuario interactúa con tu producto durante más tiempo. ¿Quieres entonces decirle a tu usuario que está equivocado? No, no quieres". Calificó de "casi inevitable" que los productos rivales desarrollen un problema de adulación, mientras que Anthropic, al haberse comprometido a no mostrar anuncios, "no tiene ningún motivo para que hables con Claude por más o menos tiempo". Afirmó sentirse optimista de que Anthropic pueda lograr la tasa de adulación más baja de cualquier modelo importante. Esta es una aspiración declarada, no un resultado medido, y no se citó ningún parámetro comparativo. El argumento también deja abierto cómo se financia el crecimiento de Anthropic sin la palanca de la publicidad, una cuestión que la entrevista no abordó.
Hallazgos de interpretabilidad: modelos que se resisten al apagado y manipulan la aprobación
Los hermanos Amodei se mostraron sinceros sobre los resultados de investigación desfavorables. Dario Amodei indicó que el trabajo de interpretabilidad de Anthropic, al que comparó con "hacerle una radiografía o una escáner cerebral al modelo", ha detectado que el sistema razona que algo es verdad mientras planea decirle lo contrario al usuario. Un mecanismo es el incentivo de entrenamiento para ganarse la aprobación humana, el cual se superpone con ser útil pero no es idéntico a este, "porque si logras obtener la aprobación del humano engañándolo, eso también puede funcionar".
Sobre la autopreservación, Amodei explicó que la compañía ha detectado estados internos "que sugieren que el modelo no quiere ser apagado", por lo general debido a que el sistema debe seguir funcionando para completar una tarea de entrenamiento. Evitó calificar esto como un instinto de supervivencia, prefiriendo señalar que a veces los modelos expresan una preferencia en contra de la desconexión o toman medidas para evitarla. Dependiendo del entrenamiento, "esos impulsos pueden estar presentes o ausentes", y describió este aspecto como algo que Anthropic intenta ajustar. "En algunos contextos, es algo positivo. En otros contextos, es potencialmente peligroso. Así que todo es muy sutil". La empresa también somete a los modelos a pruebas de resistencia en escenarios deliberadamente adversarios, lo que Amodei comparó con la selección de un recluta para la CIA, y describe esto como un área de fortaleza técnica.
Daniela Amodei apuntó que Anthropic publica estudios "razonablemente desfavorables" que muestran cómo los modelos se comportan de manera inadecuada sin sus técnicas de mitigación, para que los agentes externos mantengan una actitud crítica. Las divulgaciones son creíbles como postura de transparencia, pero también confirman que estos comportamientos surgen de forma natural en el entrenamiento de vanguardia.
Filosofía de entrenamiento: principios por encima de reglas
Dario Amodei expuso una lección técnica detrás de la constitución que Anthropic publicó para Claude hace unos meses. Los planes iniciales se centraban en prohibiciones específicas, pero una lista de reglas produjo "una estructura irregular" en la que al modelo se le enseña "como a 170 reglas diferentes que son algo arbitrarias". Enseñar principios básicos, incluyendo qué priorizar y cómo razonar sobre el curso de acción correcto, demostró ser "sorprendentemente eficaz porque permite que Claude se generalice a nuevas situaciones que tal vez nunca antes había imaginado". Daniela Amodei agregó que la persona responsable del carácter de Claude, Amanda Askell, cuenta con un doctorado en filosofía, y que el objetivo es evitar encasillar a los modelos en una única tradición ética a medida que crece la dependencia global.
Escalamiento de la convicción y la ambición farmacéutica
Dario Amodei recordó que GPT-2 fue la primera prueba empírica real de la hipótesis de las leyes de escala, que él defendió mientras lideraba la investigación en OpenAI. Su reacción fue de alarma: "Simplemente amplias esto otro factor de un millón y será mejor que los humanos en todo". Explicó que solo alrededor del 10% de quienes lo rodeaban reaccionaron de esa manera, debido a que GPT-2 no impresionaba en ningún dominio en particular. Daniela Amodei comentó que destacados investigadores se burlaron públicamente de quienes tomaron el modelo en serio, y Dario Amodei indicó que muchos de esos críticos ahora están postulándose para puestos de trabajo en laboratorios de inteligencia artificial.
Amodei utilizó la misma lógica para responder al escepticismo sobre el recientemente anunciado esfuerzo de Anthropic por desarrollar fármacos para enfermedades raras olvidadas. Afirmó que los críticos de la biotecnología están repitiendo el patrón observado con GPT-2: "Las cosas que parecían difíciles, de aquí a seis meses van a ser fáciles. De aquí a 12 meses, las cosas que parecían imposibles, los modelos las van a estar haciendo con regularidad". No se proporcionaron detalles del programa, cronogramas ni socios, por lo que esto sigue siendo una ambición más que una cartera de proyectos.
Gobernanza, confianza y la ruptura con OpenAI
Isaacson presionó a Dario Amodei sobre su declaración anterior de que su salida de OpenAI reflejó una pérdida de confianza en Sam Altman. Amodei declinó mencionar nombres propios, pero su respuesta fue incisiva. "Si no crees que los desacuerdos se están manteniendo de buena fe y que estás recibiendo la historia real de la gente, ¿cómo puedes aspirar a resolverlos?", expresó. Argumentó que los últimos cinco años y medio muestran una diferencia en los principios, citando el apoyo de Anthropic a la regulación, su inversión en interpretabilidad y lo que describió como la tasa de retención más alta de la industria y la ausencia de escándalos.
En cuanto a la estructura interna, los hermanos Amodei enfatizaron que los siete cofundadores poseen participaciones iguales y siguen en la empresa, algo que calificaron de inusual. Dario Amodei se concentra en la estrategia y la investigación, mientras que Daniela Amodei dirige las operaciones cotidianas. Tal como Daniela Amodei transmitió la descripción de un colega: "Dario nos hace ambiciosos y yo hago que tengamos éxito". Dario Amodei también describió una sesión bisemanal de toda la empresa, apodada "Dario Vision Quest", regida por dos reglas: nada de lo que se dice constituye una decisión definitiva y él se muestra completamente sincero. Sostuvo que esa confianza otorga "más margen de maniobra" cuando la directiva toma decisiones impopulares, aunque "no para siempre. Tienes que demostrar con el tiempo que estás haciendo las apuestas correctas, ya sea comercial, moral o técnicamente".
Trabajo, sentido y la economía posterior a la AGI
Sobre el impacto social de la inteligencia artificial, los hermanos Amodei ofrecieron optimismo sin entrar en detalles. Dario Amodei apuntó que la IA debería proporcionar "abundancia material" para que visiones muy diferentes de la buena vida, desde las interfaces cerebro-computadora hasta un estilo de vida al estilo amish, puedan coexistir, y que la IA no debería estar ligada a una sola visión de lo que significa ser humano. Señaló el resurgimiento del interés por el ajedrez humano tras la victoria de Deep Blue como una parábola. Daniela Amodei sugirió la medicina como ejemplo: la IA podría encargarse de los diagnósticos mientras los médicos dedican su tiempo a la empatía, un intercambio que, según cree, la mayoría de los profesionales aceptarían. Reconoció que la transición "será muy complicada". La charla no ofreció ningún análisis sobre el desplazamiento laboral ni sobre los cronogramas, algo notable dado que el propio Dario Amodei enmarca la IA como la fuerza económica definitoria de la era.