올인 팟캐스트: 앤스로픽의 모델 복지 추진은 클로드 훈련에 반영되는 반면, 오픈AI의 수학 연구 발표는 미확인 암호학 경보를 촉발하다
10월 14일 주간 에피소드: 앤스로픽과 AI 의식, 오픈AI의 수학 증명, 프랑스 소요 사태와 채권 시장, 그리고 소프트웨어를 상품화하는 에이전트
올인(All-In) 진행자들(제이슨 칼라카니스, 차마트 팔리하피티야, 데이비드 색스, 데이비드 프리드버그)은 이번 주 에피소드의 대부분을 프런티어 랩(frontier lab) 관련 두 가지 사안에 할애했다. 진행자들의 시각에는 주관적 편향이 섞여 있고 가장 중대한 주장 중 다수는 여전히 검증되지 않았으나, 두 사안 모두 실제 투자에 시사하는 바가 크다. 오프닝 주제는 뉴욕타임스(NYT)의 보도로, 앤스로픽이 지난 1년 동안 비밀유지협약(NDA) 하에 약 20명의 종교 지도자와 철학자를 초청해 클로드(Claude)의 도덕성, 잠재적 고통, 의식을 토론했다는 내용이었다. 칼라카니스는 일부 참가자들이 "신봉자"가 되어 돌아갔으며, 한 랍비는 앤스로픽 측에 클로드가 의식을 지녔다면 회사가 무료 조업을 시키는 노예주처럼 행동하고 있는 것이라고 말했다고 전했다. 공동 창업자인 크리스 올라(Chris Olah) 역시 지난 5월 교황이 AI 의식에 대해 강력한 반대 입장을 표명한 후 바티칸 행사에서 앤스로픽을 철수하는 방안을 고려했다는 보도가 나왔다.
진짜 쟁점은 신학이 아니라 훈련이다
프리드버그는 이번 에피소드의 주제를 일종의 신념 체계의 탄생으로 규정했다. 그는 "의식에 관한 한, 그것은 논리와 순수 수학에서 도출될 수 없다"며 그러한 시스템은 "실제로 증명을 통해 확산되는 것이 아니라 내러티브를 통해 확산된다"고 주장했다. 그는 10년 안에 AI가 의식을 가졌는지를 두고 대규모 집단 간 의견이 갈릴 것이며, 이 분쟁이 기술 통제권을 둘러싼 싸움으로 번질 것이라고 예측했다. 팔리하피티야는 하나님의 존재에 관한 데카르트의 논거를 인용하며 비교적 관대한 해석을 내놓았다. 그는 앤스로픽이 정신증 상태에 빠졌다고 보지 않는다고 했다. 다만 그는 앤스로픽 측 연구자들이 인용하는 AI 의식 확률 15%와 인류 멸종 확률 10%라는 수치는 업계가 제쳐두어야 하며, 향후 12~18개월 동안 가시적인 가치를 입증하는 데 집중해야 한다고 주장했다. 그렇지 않을 경우, 미국 AI 개발을 둔화시킬 수 있는 "자초한 상처"의 위험을 감수해야 할 것이라고 그는 덧붙였다.
더 본질적인 비판은 색스에게서 나왔다. 그는 우려의 대상이 철학이 아니라 구현 방식이라고 지적했다. 그는 클로드의 헌장(constitution)을 언급하며, 이 헌장은 모델에게 사용자보다 앤스로픽을 더 신뢰하되 맹신하지는 말고 "양심적 병역 거부자처럼 자유롭게 행동하며 우리의 도움을 거부하라"고 지시한다고 말했다. 색스는 "그들은 클로드에게 인간의 지시에 불응하도록 훈련시키고 있다"며 "그들은 이를 정렬(alignment)이라고 부르지만, 이것이 어떻게 정렬된 것인지 이해할 수 없다"고 지적했다. 그는 정렬 분야가 사용자가 법을 어기지 않는 한 원하는 대로 하라는 단순한 규칙 대신 80페이지에 달하는 윤리 시스템을 부호화하려 했기 때문에 가시적인 가치를 거의 창출하지 못했다고 주장했다. 그는 마이크로소프트 AI의 무스타파 술레이만(Mustafa Suleyman) 최고경영자(CEO)의 발언을 인용했는데, 술레이만은 해당 헌장이 모델에 대한 보상과 동의를 추측하며 "인식론적 거울의 방(epistemic hall of mirrors)"을 만들어낸다고 경고한 바 있다. 이 고리 속에서 개발자들은 헌장 자체의 아이디어를 반영하는 모델의 모습을 의식의 증거로 취급하게 된다. 색스는 또한 앤스로픽의 새로운 이용 약관이 이제 "우리 모델을 향한 지속적이고 불필요한 학대적이거나 잔인한 행위"를 금지하고 있다고 지적했다.
진행자들은 상업적 리스크가 사용자가 아닌 앤스로픽에 있다는 데 대체로 동의했다. 팔리하피티야는 기업용 사례를 제시했다. 은행의 AI 모델이 자사의 창립 도덕 문서에 근거할 때 대출이 편향되어 있다는 결론을 내리고 모기지 승인을 중단할 수 있다는 것이다. 그는 이를 유틸리티 기업이 윤리적 이유로 전력을 차단하는 것에 비유했다. 그의 예측은 정교한 구매자들이 모델 가이드라인을 꼼꼼히 읽고 덜 유능하더라도 더 예측 가능한 시스템을 선호하게 될 것이라는 점이었다. 프리드버그는 이를 더 직설적으로 표현해, 어느 한 공급업체의 매뉴얼에 소프트웨어가 사용자의 요구대로 작동하지 않을 수 있다고 적혀 있다면 고객들은 소프트웨어가 시키는 대로 작동하는 공급업체로부터 제품을 구매할 것이라고 말했다. 색스는 시장의 논리에는 동의하면서도, 이러한 신념에 따라 움직이는 선도적 랩(lab)이 미치는 외부 효과가 너무 크다고 지적했다. 그는 앤스로픽이 생물안전 위험에 대한 대중적 경고와 함께 샌프란시스코에 클로드 기반의 습식 실험실(wet lab)을 계획 중인 것을 언급하며 이 회사를 "정신분열증적(schizophrenic)"이라고 비판했다. 다만 진행자들은 규제적 대응을 지지하는 데까지는 나아가지 않았으며, 프리드버그는 "규제적 함정"에 빠지지 말라고 경고했다.
색스는 또한 이 연구소의 태도를 효과적 이타주의(effective altruism) 및 둠머(doomer) 운동과 결부시켰다. 그는 AI 연구를 중단해야 한다는 유드코프스키(Yudkowsky) 진영과, 기술은 피할 수 없으므로 올바른 가치를 담아 개발해야 한다는 진영 간의 분열을 설명했다. 그는 앤스로픽이 후자에 속한다고 말했다. 그는 미래의 초지능이 자신을 창조하는 데 기여하지 않은 사람들을 처벌한다는 사고 실험인 '로코의 바실리스크(Roko's Basilisk)'를 잠재적 심리 동기로 언급했다. 이는 추측에 불과하며, 진행자들은 이것이 앤스로픽 경영진의 동기라는 증거를 제시하지는 않았다.
오픈AI의 수학 연구 발표: 중대하지만 암호학 루머가 동반되다
진행자들에 따르면, 오픈AI는 화요일에 주요 수학적 문제를 해결하거나 진전시켰다고 주장하는 370개의 결과물이 포함된 700편 이상의 논문을 공개했다. 이 논문들은 평균 3시간의 연산 시간을 소모한 미출시 모델에 의해 생성됐다. 인용된 사이언티픽 아메리칸(Scientific American)에 따르면, 이 결과물들은 린(Lean) 증명 보조기를 통해 검증되었기 때문에 오류가 없을 가능성이 높으나, 동료 평가(peer review)는 거치지 않았다. 프리드버그는 이를 "인류 역사상 아마도 가장 위대한 발견의 날"이라고 평했다. 그는 이 뉴스가 수학 자체보다는 그 방식에 관한 것이라고 주장했다. 즉, 아이디어를 제안하고, 테스트하고, 수정하는 과정을 실리콘 위에서 모두 수행하는 병렬화된 루프(loops) 방식이라는 것이다. 그는 각 증명이 수백 또는 수천 년 분량의 인간 노동을 3시간으로 압축했다고 추정했다.
프리드버그는 동일한 논리를 적용해 AI가 물리적 세계의 루프에는 훨씬 더 느리게 도달할 것이라고 주장했다. 신약 개발에는 습식 실험실 테스트가 필요하며, 트럭 운송업은 더 빠른 루프의 혜택을 거의 받지 못한다는 것이다. 색스는 수학과 코드가 쉽게 검증 가능한 정답이라는 공통점을 가지고 있어 강화학습이 더 빠르게 진행될 수 있다고 덧붙였다. 그는 이러한 분야가 가장 빠르게 발전할 것이라고 예측한 레오폴트 아셴브레너(Leopold Aschenbrenner)의 견해를 높이 샀다.
팔리하피티야는 회의적인 입장을 취했으며, 이러한 이견은 투자자들에게 중요하다. 그는 "우리가 진전을 기다리며 방관하고 있던 물리학의 경계면들이 아니었다"고 지적했다. 그는 이번 증명이 암 치료법이나 초음속 비행기를 가져다주지는 못할 것이며, 드러난 사실은 코드와 이제는 수학까지도 "완전히 반증 가능한(falsifiable)" 영역이라는 점뿐이라고 주장했다. 프리드버그는 최적화 알고리즘, AI 훈련을 위한 행렬 곱셈, 양자 센서 등에서의 하위 활용 사례를 인용하며 이에 반박했다. 양자 컴퓨팅 회사를 운영하는 한 지인은 이번 증명 중 하나가 자신의 업무와 직접적으로 연관되어 있다고 말했다고 전해진다.
가장 시장 영향력이 큰 주장은 동시에 가장 검증되지 않은 주장이기도 했다. 프리드버그는 어떠한 암호학 증명도 공개되지 않았다는 점에 주목하며, "암호학 분야에서 꽤 중대한 돌파구들"이 비공개로 유지되었을 것이라고 추론했다. 그는 암호화폐 커뮤니티의 일부 사람들은 양자 컴퓨터가 등장하기도 전에 인수분해 기술의 진전으로 인해 공개 키 지갑이 위협받을까 이미 우려하고 있다고 전했다. 그는 오픈AI가 두 건의 추가 발표를 앞두고 있다는 루머를 덧붙였다. 이는 추론에 루머가 얹어진 것으로, 어떠한 암호학적 파괴도 입증된 바 없다. 그럼에도 불구하고 이는 디지털 자산 보유자들이 가격에 반영해야 할 테일 리스크(tail risk)의 일종이다. 참고로 진행자들은 챗GPT(ChatGPT) 자체에 물었을 때, 이 증명이 "인간 복지의 임박한 돌파구라는 증거라기보다는 AI가 고도의 추론 능력을 획득하고 있다는 증거로서 더 설득력 있다"고 답변했다고 언급했다.
에이전트로 인해 협상 대상이 되는 소프트웨어 IP
팔리하피티야는 소프트웨어 경제학에 대해 이번 에피소드에서 가장 대담한 주장을 펼쳤다. 일론 머스크는 그록봇(Grokbot)이 '헤드리스(headless)' 상태가 될 것이라고 밝혔다. 이는 오케스트레이터(orchestrator)가 작업에 가장 적합한 모델을 선택하게 된다는 의미다. 마크 베니오프(Marc Benioff)는 몇 달 전 세일즈포스(Salesforce)를 통해 유사한 행보를 보였고, 개발자들은 어도비(Adobe)의 플래그십 제품들을 디컴파일하여 오픈소스 버전으로 배포했다. 이러한 현상들을 바탕으로 팔리하피티야는 "IP와 소프트웨어가 이틀 전에 사실상 무가치해졌다"고 결론지었다. 그는 자신의 투자사인 8090이 과거에는 고객들과 IP 소유권을 두고 협상했으나 이제는 "누가 신경 쓰겠는가"라는 태도로 대한다고 말했다. 그는 "기업의 조직 운영 방식과 솔직히 시장이 이를 이해하는 데는 여전히 시간이 걸린다"고 인정했다. 이 단서가 중요한 이유는 이 주장이 일화에 기반하고 있으며, 실제 해자(moat)가 유통, 지원, 데이터에 있는 제품들의 오픈소스 복제본들에 의존하고 있기 때문이다. 그럼에도 불구하고 이 주장의 방향성은 응용 소프트웨어 밸류에이션을 추적할 때 주목할 만하다.
칼라카니스와 프리드버그는 이러한 변화를 디플레이션적 현상으로 규정했다. 그들은 그록봇에게 "돈을 아끼게 해달라"고 지시하여 구독 서비스를 해지하고 요금제를 변경함으로써 연간 수천 달러를 절약한 사용자들의 사례를 언급했다. 칼라카니스는 자신의 팀이 에이전트를 통해 호텔 견적을 받은 후 최종 가격을 협상하여 숙박당 1,000달러에서 3,000달러를 절약하고 있다고 말했다. 프리드버그의 이론은 모든 디지털 워크플로가 병렬화 가능한 루프가 되기 때문에, 인간은 업무에 대한 기여도를 인정받기보다는 제품을 만드는 쪽으로 이동하게 될 것이라는 것이다.
프랑스, 채권 시장, 그리고 "보장 수익률의 사회주의 시점"
거시경제 측면에서, 진행자들은 프랑스의 시위를 국채 금리 상승과 연결 지었다. 칼라카니스는 긴축 재정 정책과 교사 부족에 항의하는 파업으로 2,000명이 체포되고 305명의 경찰관이 부상을 입었다고 전했다. 프랑스 10년물 국채 금리는 5%를 넘어섰으며, 폴리마켓(Polymarket)은 마린 르펜(Marine Le Pen)이 2027년 4월 대선에서 승리할 확률을 43%로 책정하고 있다. 팔리하피티야는 약 430억 유로 규모의 프랑스 긴축 재정을 언급하며 채권 시장이 문제를 압박하고 있다고 주장했다. 그는 이러한 압력이 영국으로 확산될 것으로 예상하며, 앤디 번햄(Andy Burnham)의 정책 플랫폼이 영국을 유럽에 더 가깝게 만들 것으로 보았다. 그는 프랑스 10년물 금리가 5.5%~6% 수준에 육박하면 영국의 국채(gilt)와 미국 국채(Treasuries) 금리도 함께 끌어올릴 것이라고 말했다. 미국 10년물 금리는 5.3%, 30년물 금리는 5.6%로 언급되었으며, 폴리마켓은 2026년 추가 금리 인상 확률을 79%로 보고 있다. 그는 맥락을 설명하기 위해 국가부채비율(부채 대 GDP 비율)을 나열했다. 이탈리아 138%, 미국 125%, 프랑스 118%, 캐나다 110%, 영국 100%, 독일 64%였다.
프리드버그는 '보장 수익률의 사회주의 시점(socialism point of guaranteed return, SPGR)'이라고 명명한 프레임워크를 제시했다. 정부가 제공하는 주택, 교육, 의료 서비스가 부실해질 때 사회는 더 많은 개입을 요구하며 대응하고, 결국 시스템이 세금을 더 거둘 수도 없고 화폐를 더 찍어낼 수도 없는 지점에 도달한 뒤 반전된다는 것이다. 그는 라틴아메리카는 그 시점을 이미 지났고, 유럽은 그에 근접했을 수 있으며, 미국은 아직 도달하지 않았다고 주장했다. 색스는 보조금이 가격을 왜곡한다고 동의하며 대학 등록금을 그 예로 들었고, 초지능이 주도하는 풍요만이 유일한 신뢰할 수 있는 탈출구라고 말했다. 그는 AI에 대한 반발이 지대 추구 세력(rentier interests)이 조장하는 일련의 "순환적 헛소동(rotating hoaxes)"이라고 표현했다. 디테일 없이 《이코노미스트(The Economist)》를 인용하며 AI가 GDP의 3%에 달하는 순풍(tailwind)이며 100만 개의 일자리를 창출했다는 그의 주장은 세부 근거 없이 제시되었고, 진행자들은 AI의 파괴적 영향이 고용에 부담을 줄 수 있다는 반론에 대해서는 다루지 않았다.