DruckFin

앤스로픽 녹취록: 기술 리드들이 예측하는 향후 몇 년 내의 AGI 도달과 지능의 지수함수적 수익

2026년 8월, 닉 마웰 및 슐트 더글러스와 함께한 아메리칸 오티미스트(American Optimist) 나파 토론

에피소드 소개

진행자: 모든 인간과 같거나 그 이상의 능력을 갖춘 모델이 향후 몇 년 안에 등장할 가능성이 매우 높습니다. 지능의 한계 단위(marginal unit)는 그 이전 단위보다 기하급수적으로 더 큰 가치를 지닙니다. 잠재적으로 인류의 생산적 지적 및 물리적 역량을 두 배로 늘려가는 방식으로 계속 확장해 나간다면, 진정한 의미의 풍요 이후의 세계(post-scarcity world)에 도달할 수 있습니다.

진행자: 두 분은 AI 최전선의 최첨단에 계십니다. 현재 작업 중인 가장 흥미로운 일은 무엇인가요?

닉 마웰: AI는 생명과학 분야에서 우리 생애 통틀어, 그리고 어쩌면 역사상 가장 중요한 기술이 될 것입니다. 하지만 그와 함께 엄청난 위험도 따릅니다.

슐트 더글러스: 우리는 악의적 행위자들이 막대한 해를 끼치지 못하도록 통제할 수 있게 되기 전에는 이러한 기술을 세상에 출시해서는 안 됩니다.

진행자: 보다 회의적인 시각을 가진 제가 아는 테크 리더들은 "아, 다리오가 속도를 늦추기 위해 더 많은 규제를 만들려고 사람들을 겁주고 있는 거야"라고 말합니다.

슐트 더글러스: 지금까지 우리는 그 누구보다 우리 스스로의 속도를 늦춰왔습니다.

진행자: 미국의 속도를 늦추고 중국이 앞서 나가도록 내버려 둘 시나리오가 조금이라도 있습니까?

슐트 더글러스: CEO이자 공동창업자로서... 지금 제가 여기에 있습니다.

진행자: 닉 마웰과 슐트 더글러스는 세계에서 가장 빠르게 성장하는 AI 기업인 앤스로픽의 핵심 기술 리드들입니다. 두 사람은 우리 문명이 직면한 매우 심각한 위협들에도 불구하고 미래에 대해 대단히 낙관적입니다. 이러한 위협들은 과연 무엇일까요? 바이오, 사이버 및 기타 주요 영역에서 공격적 역량 대 방어적 역량의 역학 관계를 어떻게 바라봐야 할까요? 일부 사람들은 규제 포획(regulatory capture) 때문에 앤스로픽에 상당한 불만을 품고 있습니다. 이에 대한 그들의 견해는 무엇입니까? 앤스로픽이 하려는 일은 무엇입니까? 중국과의 증류(distillation) 기술 경쟁을 어떻게 생각하고 있습니까? 만약 누구나 그들의 모델을 복제할 수 있다면, 앤스로픽은 어떻게 여전히 수조 달러 가치의 기업으로 남을 수 있을까요? 그리고 만약 여러분이 노동 시장에 진입한 젊은이로서 커리어를 쌓으려 하지만 AI의 중심에 있지 않다면, 향후 10년 동안 무엇을 해야 할까요? 매혹적인 시기에 세계에서 가장 빠르게 움직이는 기업 내부자의 낙관적인 시각입니다. 두 분의 이야기를 듣게 되어 기대가 큽니다.

독학한 머신러닝과 앤스로픽에 이르게 된 의외의 경로들

진행자: 아메리칸 오티미스트에 오신 것을 환영합니다. 오늘 앤스로픽에서 온 두 분의 놀라운 인재를 모시게 되어 매우 기쁩니다. 닉, 당신은 핵심 기술 스태프 멤버로서 RL(강화학습) 과학인 강화학습 과학을 이끄는 데 도움을 주고 있고, 슐트 더글러스 역시 강화학습 분야의 테크 리드이시죠. 맞습니까?

슐트 더글러스: 네, 맞습니다.

진행자: 두 분은 앤스로픽에 합류하신 지 얼마나 되셨나요?

닉 마웰: 저는 3년이 조금 넘었습니다.

진행자: 그런데 회사의 업력이 얼마나 되었죠?

슐트 더글러스: 5년 정도 되었습니다.

진행자: 네, 놀랍습니다. 현재 세계에서 가장 중요하고 큰 규모를 자랑하며 가장 빠르게 성장하는 기업 중 하나인데, 겨우 5년밖에 안 되었다니요. 그래서 이곳 캘리포니아는 지금 들뜬 분위기입니다. 오늘은 나파에서 촬영을 진행하고 있습니다. 두 분 나와 주셔서 감사합니다.

닉 마웰: 초대해 주셔서 감사합니다. 재미있는 시간이 될 것 같습니다.

슐트 더글러스: 초대해 주셔서 감사합니다.

진행자: 두 분의 배경부터 시작해보죠. 슐트, 어디서 자랐나요? 고향이 어디인가요?

슐트 더글러스: 저는 시드니에서 자랐습니다. 2020년 무렵 블로그 포스트와 논문들을 읽으면서 스케일링(scaling)과 전반적인 트렌드를 통해 2020년대에 AGI에 도달할 수 있다는 확신을 갖게 되었습니다. 그리고 딥마인드, 앤스로픽, OpenAI 같은 기업들이 요구하는 수준의 엄격한 품질 기준에 부합하는 업무를 수행할 수 있음을 증명하기 위해 밤과 주말을 가리지 않고 몹시 열심히 일했습니다.

진행자: 컴퓨터 과학을 전공하셨나요?

슐트 더글러스: 학부에서는 로보틱스를 전공했습니다. 2019년에 졸업한 후 기본적으로 독자적인 연구를 수행했습니다. 결국 딥마인드에서 2년 동안 일했고, 지난 18개월 동안은 앤스로픽에서 일하고 있습니다.

진행자: 멋지군요. 닉, 고향은 어디인가요?

닉 마웰: 네, 저는 원래 샌프란시스코 출신입니다. 요즘 AI 업계 사람들 중에서는 드문 경우죠. 저는 아버지가 커리어의 전반부에는 매우 전통적인 비즈니스 업무를 하시다가, 인생의 후반부이자 제 성격 형성기에 사회에 환원하는 방법을 찾으려 애쓰는 흥미로운 길을 발견하신 가정에서 자랐습니다. 특히 기술을 활용해 사회에 환원하는 방법을 고민하셨죠.

닉 마웰: 제가 무엇을 할지 고민할 때, 효과적인 자본가(효과적인 자본가라고 부르든 무엇이든 간에)가 되기 위한 기술을 쌓는 동시에 이를 활용해 사회적 선(social good)을 이룰 수 있는 경험을 모두 얻게 해주는 일들을 찾고 있었습니다. 앤스로픽은 제가 AI 안전성에 대해 깊이 우려하던 시기에 아주 완벽하게 찾아온 우연이었습니다. 당시 저는 트라이브 캐피털(Thrive Capital)에서 전혀 다른 기업을 준비하는 레주던트(resident)로 일하고 있었는데, 그야말로 느닷없이 이 기회가 찾아왔고 "이것이야말로 내가 해야 할 일"이라는 생각이 들었습니다.

현재 작업 중인 가장 흥미로운 일은 무엇인가요?

진행자: 놀랍군요. 두 분이 합류한 이후 앤스로픽은 AI 기업 중 가장 큰 규모로 성장한 것으로 알고 있습니다. 공식적으로 수치를 발표하지는 않지만 많은 정보가 유출되죠. 유출된 바에 따르면, 지금이 2026년 8월 시점인데요...

닉 마웰: 표정을 아주 굳게 유지하고 있습니다.

슐트 더글러스: 아주 굳건하게요.

닉 마웰: 매우 굳건히, 아무런 반응도 없이요.

진행자: 연환산 매출(run rate)이 800억 달러를 넘어서고 있으며 매우 빠른 속도로 성장해 OpenAI와 모든 경쟁자들을 앞서고 있다고 합니다. 두 분은 AI 최전선의 경계에 계십니다. 지금 내부적으로 진행 중이신 일 중에서 저희에게 말씀해 주실 수 있는 가장 흥미로운 작업은 무엇인가요? 그 최첨단에 서 있다는 것은 어떤 느낌인가요?

슐트 더글러스: 음, 제가 가장 많이 이야기할 수 있는 부분은 프로그래밍 경험이 어떻게 바뀌었는가 하는 점입니다. 이것이 우리가 진전을 가장 몸소 체감하는 방식이기 때문입니다. 18개월 전만 해도 저는 모든 코드 라인을 손으로 직접 짰습니다. 그러다 앤스로픽에 합류하고 몇 달이 지나자 모델을 이끄는 입장이 되었습니다. 몇 분마다 개입해서 다음 함수를 작성하라는 식으로 원하는 바를 지시했지만, 모델이 실수를 하거나 엉뚱한 길로 빠지기 때문에 몇 분마다 계속 확인해야 했습니다.

슐트 더글러스: 그리고 현재 우리의 위치는, 모델에게 1일 또는 2일 분량의 업무를 독자적으로 수행하도록 요청하고 주니어 팀원처럼 진척을 이끌어내도록 할 수 있는 수준입니다. 불과 지난 18개월 동안 일어난 변화입니다. 우리가 루프(loop) 안에 머물며 직접 개입해야 했던 도구에서, 주니어 팀원과 같은 느낌을 주는 무언가로 진화했습니다.

진행자: 그렇다면 지금 우리가 대화하고 있는 이 순간에도 AI가 주니어 팀원들처럼 열심히 일하고 있는 건가요?

슐트 더글러스: 네, 그렇습니다. 여러 AI 팀원들이 열심히 일하고 있습니다.

진행자: 말씀해 주실 수 있는 범위 내에서, 그들이 구체적으로 어떤 일들을 하고 있나요? 개략적으로라도 말씀해 주실 수 있나요?

슐트 더글러스: 이 팀원들과 함께 여러 RL 과학 관련 업무들을 처리하고 있습니다.

닉 마웰: 좋습니다. 저는 약간 다른 각도에서 답변을 드리겠습니다. 지금까지의 많은 모델 개발은 주로 인간이 이미 상당히 잘하고 유능하게 수행할 수 있는 작업들을 모델이 수행하도록 만드는 데 초점을 맞춰왔습니다. 그리고 우리가 진정으로 하려는 것은 인간이 인지적으로 이미 달성할 수 있었던 일들에 훨씬 더 많은 추가적 레버리지(leverage)를 부여하는 역량들을 개발하는 것입니다. 인간 개발자 팀이 동일한 기간 동안 구축할 수 있었던 소프트웨어를 똑같이 만들어내는 식이죠.

닉 마웰: 여러분이 현재 목격하기 시작하고 있는 것, 그리고 예를 들어 최근의 수학 분야 성과들이 그 좋은 예시인데, 모델을 활용해 인간 지능과 인간 성취의 최전선(frontier) 한계를 밀어붙이는 방법을 찾아내려는 시도가 이루어지고 있습니다.

진행자: 최근의 수학 관련 성과들을 말씀하시는 건가요?

닉 마웰: 네, 인간이 오랫동안 관심을 가졌지만 결코 풀지 못했던 여러 새로운 수학적 증명들이 도출되었습니다.

진행자: 그중 일부는 아주 똑똑한 수학자가 컴퓨터를 활용해 인간이 무차별 대입(brute force)할 수 없었던 문제를 무차별 대입하기에 충분할 정도로 컴퓨터가 우수하다는 것을 깨달은 것처럼 보이기도 합니다. 무슨 뜻인지 아시겠나요? 그중 일부는 여전히 인간이 활용하는 특정 영역에서 우수한 능력을 발휘하는 것처럼 보이는데, 진정으로 완전히 새로운 이론에 다가가고 있는 것인가요? 이 부분을 어떻게 생각하시나요?

닉 마웰: 적어도 아직까지는 인간이 도저히 생각해내지 못했을 아이디어를 모델이 스스로 고안해내는 수준은 아니라고 생각합니다. 하지만 사실 인류의 역사에서 진전이나 지적 성취가 그런 식으로 이루어진 경우는 매우 드뭅니다. 예외는 물론 존재하지만, 사회가 이뤄낸 대부분의 성취는 그저 점들을 연결하고 이전 세대의 지적 성취 위에 탑을 쌓아 올리는 것에 불과합니다.

닉 마웰: 그리고 방금 말씀하신 것처럼 서로 다른 사람들이 가졌던 두 가지 아이디어를 결합하여 새로운 것을 찾아내는 것, 그것이 바로 인간이 하는 일의 기초입니다. 지금 달라진 중요한 차이점은 과거에는 일어나지 않았던 다른 인간의 아이디어를 조합하여 새로운 아이디어를 형성하거나 새로운 생각을 만들어낸다는 점입니다. 반면 또 다른 웹 앱을 작성하는 것은 인류에게 새로운 지적 성취라고 보기는 어렵습니다.

AGI에 도달했는가 — 그리고 그 다음은 무엇인가?

진행자: 실리콘밸리에서 이렇게 빠르게 성장하는 기업들은 본 적이 없습니다. 10배, 10배, 10배씩 거듭하며 분명 아주 빠른 속도로 성장하고 있죠. 어제 밤에 제가 이사로 재직 중이면서 묵고 있던 나파의 다른 기업과 이야기를 나눴는데, 60~90일마다 새로운 회사가 탄생하는 것 같았습니다. 그만큼 엄청난 일들이 벌어지고 있죠. 우리 중 많은 이들이 이런 경험을 하고 있습니다. 두 분은 가장 빠르게 성장하는 기업의 핵심부에 계십니다. 이전의 삶과 비교했을 때 어떤가요? 우리는 이제 어디로 향하고 있습니까? 가속화는 계속될까요? 이 상황을 어떻게 바라보아야 합니까?

슐트 더글러스: 앤스로픽에 있어 정말 좋았던 점 중 하나는 회사의 가속화와 함께 우리의 야망도 함께 규모를 키울 수 있었다는 것입니다. 18개월 전만 해도 우리는 코드에 광적으로 집중하여 우리가 무언가에 있어 세계 최고가 될 수 있음을 증명해야만 했습니다. 하지만 이제 회사의 미션은 단순히 코드를 잘 짜는 모델을 만드는 것을 훨씬 뛰어넘습니다. 회사가 확장되고 매출이 늘어남에 따라, 우리는 더 큰 목표들을 향해 나아가기 위한 조각들을 본격적으로 맞추기 시작할 수 있었습니다.

진행자: 그 미션에 대해 더 이야기해 보죠. 이번 주 초에 AI 업계의 고위 인사인 다른 친구와 이야기를 나누었는데, 처음에는 코드와 수학에서 세계 최고가 되어야 하지만, 그후에는 모델이 최고가 될 새로운 영역들이 생겨날 것이라고 하더군요. 우리가 A++ 수준에 도달할 수 있는 다른 모든 인간적 기술들이 존재할 것이라는 겁니다. 그런 아이디어나 수많은 새로운 기술들을 도입하는 것이 목표인가요? 앞으로의 미션은 무엇입니까?

슐트 더글러스: 음, 앞으로의 미션은 언제나 동일합니다. 우리는 향후 몇 년 안에 AGI가 실제로 달성 가능하다고 믿습니다.

진행자: 우리 시청자분들을 위해 그 말이 무슨 뜻인지 설명해 주시겠어요?

슐트 더글러스: 우리는 모든 인간과 같거나 그보다 더 유능한 능력을 갖춘 모델이 향후 몇 년 내에 등장할 가능성이 매우 높다고 생각합니다. 즉, 인간이 컴퓨터로 할 수 있는 모든 일, 혹은 충분히 발전된 로보틱스가 결합된다면 인간이 물리적 세계에서 할 수 있는 모든 일을 수행할 수 있는 존재를 의미합니다.

진행자: 그럼 팟캐스트 진행도 훨씬 더 잘하겠네요. 저 대신 로봇을 투입하면 되겠군요?

슐트 더글러스: 음, 팟캐스트는 뭐...

진행자: 포도원으로 가시죠. 그게 더 재미있겠네요.

슐트 더글러스: 정확합니다. 그리고 우리는 이것이 엄청난 장점들을 가져올 것이라고 생각합니다. 이는 오늘날 세상에서 이루어지는 지적 노동과 육체 노동을 몇 배로 곱해줄 수 있습니다. 수 세기 동안 걸릴 진보를 잠재적으로 훨씬 더 빨리 이뤄낼 수 있도록 해줄 것입니다.

AI 진전을 측정하는 방법

슐트 더글러스: 하지만 이와 동시에 엄청난 위험도 수반하므로, 회사의 진정한 목표는 우리가 그 반대편의 혜택을 누릴 수 있도록 세상을 이러한 위험 속에서 안전하게 안내(shepherding)하는 것입니다.

진행자: 일반적인 AI 물결, 그리고 우리가 이 AI 물결의 어디쯤 와 있는지 한 걸음 물러서서 살펴보죠. 분명 2020년쯤에 AGI가 가능해질 것이라는 점을 깨달으셨다고 하셨습니다. 그 시기는 OpenAI가 GPT-3를 선보인 때와 정확히 맞물립니다. 우리는 당시 ADC 10주년 기념 책자를 준비하고 있어서 옛날 이메일들을 들여다보고 있었는데, 심지어 2020년에도 모든 어소시에이트들을 대체하게 될 것이라는 농담을 하곤 했습니다. 그러니 이 일이 현실화될 가능성이 높다는 것은 이미 공기 중에 떠돌고 있었습니다.

진행자: 올해 초 다리오와 이야기를 나눴을 때, 어떤 지표들에 따르면 일부 역량들은 몇 달마다 두 배씩 증가하고 있었습니다. 진척도를 수치화하는 방식을 어떻게 생각해야 할까요? 앞서 AI를 주니어 직원 대신 사용할 수 있다고 말씀하셨는데, 향후 몇 년 동안 얼마나 더 발전할지 지표 관점에서 가늠해 볼 수 있는 다른 방법이 있을까요?

슐트 더글러스: 네, 다양한 평가(evals)들이 존재합니다. 이는 기본적으로 사람들이 모델을 테스트하는 시험들입니다. 이러한 평가들에서 발전 속도는 극도로 빠릅니다. 훌륭한 예로—수학을 너무 과하게 예시로 들고 싶지는 않지만, 어떤 면에서는 수학이 아마도 가장 좋은 예일 것입니다—다양한 분야의 교수들이 모아서 만든 일련의 문제들에서 0%였던 정답률이 지난 한 해 동안 무려 40%, 50%, 60%를 훌쩍 넘어섰습니다. 그리고 그것이 바로 프론티어매스(FrontierMath)라는 평가입니다.

진행자: 반증 가능(falsifiable)한 무언가가 필요하군요, 반복해서 발전시킬 수 있는 대상이 필요하다는 말씀이죠. 그렇다면 인스타그램에서 여성에게 말을 걸어 데이트 승낙을 받을 확률을 일정 수준 이상으로 높이도록 모델을 시켜볼 수도 있겠네요?

슐트 더글러스: 맞습니다. 질문 자체는 꽤 순진해 보이지만요, 그걸로 학습을 시킨다면 말이죠. 그렇죠?

진행자: 참고로 저는 결혼했습니다. 저를 위한 건 아닙니다.

슐트 더글러스: 저희는 그걸로 학습시키진 않았습니다. 하지만 하나의 예시죠.

진행자: 그와 유사한 다른 종류의 것들도 특히 샌프란시스코에 있는 우리 친구들에게는 매우 유용할 것입니다.

슐트 더글러스: 모델이 향상되는 방식은 크게 두 가지입니다. 첫째는 인터넷의 방대한 텍스트 코퍼스(corpus)를 통한 학습이고, 두 번째 방식은 저희 둘 다 연구하고 있는 강화학습으로, 풀이된 문제들을 풀고 정답을 맞혔는지 여부를 확인하는 방식입니다. 이것이 바로 방금 말씀하신 내용이며, 수학과 컴퓨터 과학에서는 매우 쉽습니다. 하지만 로맨스나 시, 기타 다른 영역에서는 꽤 어렵죠.

진행자: 그렇군요.

슐트 더글러스: 그래서 수학과 컴퓨터 과학이 다른 모든 분야보다 훨씬 더 빠르게 발전하는 것을 보셨을 겁니다. 하지만 우리는 다른 문제들을 이러한 틀에 집어넣는 것도 그리 어렵지 않다고 생각합니다.

닉 마웰: 네. 수학과 컴퓨터 과학이 가장 먼저 발전하게 된 이유에 대해서는 일종의 기술적 설명이 존재한다고 생각합니다. 하지만 동시에 이것이 왜 일어났는지에 대한 사회적 설명도 어느 정도 존재한다고 봅니다. 주로 수학과 컴퓨터 과학 배경을 가진 사람들을 모아놓고 지능을 만들라고 했으니, 그들이 가장 잘 이해하고 가장 관심이 있으며 훨씬 더 쉬운 도메인에서 먼저 지능을 구현하기로 결정한 것은 당연합니다.

닉 마웰: 좋은 모델을 학습시키려고 할 때, 모델이 무엇을 하고 있는지 읽고, 그 결과 모델이 얼마나 유능해지고 있는지, 어떤 부분에 집중해야 하는지, 어떤 영역을 개선해야 하는지 이해하는 데 얼마나 많은 시간을 쏟는지 알면 놀라울 정도입니다. 자신이 전문가이고 무슨 일이 일어나고 있는지 잘 이해하는 도메인에서는 이 작업을 수행하기가 훨씬 더 쉽습니다.

진행자: 그것을 생각할 때 의인화(anthropomorphize)하시나요?

닉 마웰: 저 개인적으로는 그러지 않는 것 같습니다. 하지만 그렇게 하는 사람들도 분명 존재할 것이고, 앤스로픽 내에도 분명 그런 이들이 있을 것입니다.

진행자: 우리 인간의 두뇌는 기본적으로 프로그래밍되어 있습니다. 우리가 바라보는 상대방을 생각하고, 대화를 나누기 위해 상대방의 감정이라고 생각되는 것을 거울처럼 반영하도록 설계된 뇌의 영역들이 존재하죠. 따라서 진화의 과정에서 지능을 또 다른 지능으로 대하도록 내장된 수많은 기제들이 있습니다. 매일같이 이 일을 할 때 그런 태도를 피하기는 어려울 것 같습니다.

슐트 더글러스: 이것은 사람들이 이러한 것들을 단순한 도구로 볼 것인가, 아니면 실체(entity)로 볼 것인가를 규정하는 방식에 있어 아마도 가장 큰 논쟁 중 하나일 것입니다. 저는 '실체'라는 프레임이 유용하다고 생각합니다. 도구의 경우 여러분이 처음부터 끝까지 그것을 쥐고 사용하는 셈이지만, 이러한 모델들의 경우 여러분이 실제로 하고 있는 일은 매우 지능적인 무언가를 가져와서 어떤 측면에서는 세상에 내보내고, 그것이 여러분을 대신하여 행동을 취하도록 하는 것이기 때문입니다. 바로 그런 이유 때문에 이것들을 실체로 생각하는 것이 종종 더 유용합니다.

생명과학이 다음의 위대한 최전선인가?

진행자: 우리가 아직 이 지능에 시키지 않고 있지만 시켜야만 하는 카테고리나 영역이 있을까요? 두 분이 흥미롭게 생각하거나 앞으로 이 다른 영역에서 훨씬 더 많이 활용하게 될 분야로 작업 중인 것들이 있습니까? 그러한 영역들은 무엇인가요? 가장 큰 분야는 역시 바이오(생명과학)겠죠?

닉 마웰: 네. 질문이 모델들이 이미 뛰어나지만 아직 과소평가되어 있는 기술이 무엇이냐는 것인지, 아니면 모델이 앞으로 나아갈 방향 중 어디에 가장 큰 기대를 걸고 있느냐는 것인지에 따라 다를 것입니다. 후자의 질문에 대해 말하자면, 향후 6개월에서 24개월 동안 모델이 소프트웨어 공학에서 이루어낸 것과 같은 방식으로 진정한 임팩트를 만들기 시작할 분야로 바이오를 가장 기대하는 이유를 더 깊이 다룰 수 있을 것입니다. 단순한 광범위한 채택을 넘어서, 이로 인해 파급되는 사회적 긍정 효과가 정말 방대하고 강력할 것이기 때문입니다.

진행자: 질병을 치료하고 우리 모두를 더 건강하게 만들며 장수를 누리게 하는 것이죠. 20세기 노벨상 수상에서 시작된 이래 우리가 발견해 온, 장수와 긴밀히 엮여 있는 후성유전학(epigenetics)에 관한 온갖 기이한 측면들이 있는 것 같습니다. 우리 친구들 중 다수가 베이 에어리어(Bay Area)에 관련 기업들을 차렸고, 이러한 현상을 유발하고 신체의 일부를 더 젊게 만드는 방법을 알아내기 위해 수십억 달러가 투입되고 있습니다. 그렇다면 AI가 이를 진전시키는 데 결정적인 역할을 할 것이라고 보십니까?

닉 마웰: AI는 생명과학 분야에서 우리 생애 통틀어, 그리고 어쩌면 역사상 가장 긴요한 기술이 될 것입니다. 실제로 저는 AI가 유용한 지적 도구가 될 수 있을지 여부보다, 우리가 이를 활용하는 데 필요한 물리적 및 실험실 인프라를 제대로 갖추고 있는지 여부가 더 걱정스러울 정도로 확신을 갖고 있습니다.

진행자: 3년 전에 예를 들어 컴퓨팅 자원을 훨씬 더 많이 구축했어야 했다는 말씀이군요. 우리는 이 이야기를 너무 많이 합니다. 지금 누군가가 여러분이 사용할 수 있는 실험실 공간을 훨씬 더 많이 만들어야 할까요?

닉 마웰: 그렇다고 생각합니다. 그리고 이것이 중요해지는 몇 가지 축이 존재합니다. 하나의 축은 말 그대로 얼마나 많은 실험실 공간을 보유하고 있는가 하는 점입니다. 하지만 또한 미국 내 실험실의 질적 수준과 관련된 여러 지표들도 존재하며, 이들은 중국 같은 곳에 비해 분명 뒤처지고 있습니다. 미국의 공급망과 실험실 복합단지를 세계 최고 수준의 골드 스탠더드로 되돌리는 방법을 고민하는 것은 사람들이 해결책을 모색해야 할 위대한 사회적 인프라 프로젝트 중 하나라고 생각합니다.

슐트 더글러스: 이것이 바로 생명과학 진전의 속도 제한 장치(rate limiter)가 될 것입니다.

닉 마웰: 맞습니다.

진행자: 알겠습니다. 그럼 팟캐스트 끝나고 가서 그것을 해결합시다. 좋은 생각 같네요. 국방부로부터 공급망 예산을 좀 타내서 실험실 몇 개 지어보죠.

커리어 조언 & 제너럴리스트의 시대

진행자: 현재 이 AI 물결 속에서 우리가 어디에 위치해 있는지 한 걸음 물러서서 보죠. 대학 졸업반 학생이나 노동 시장에 있는 사람이라면 어떻게 행동해야 할까요? 당신은 앤스로픽에 있지 않고, 실리콘밸리의 한가운데에 있지도 않습니다. 야망을 품은 영민한 개인일 수도 있죠. 향후 몇 년간 두 분에게 일어나는 일들을 고려할 때 자신의 커리어를 어떻게 바라봐야 합니까?

닉 마웰: 우리가 처하게 될 수 있는 여러 시나리오가 존재합니다. 앤스로픽은 세상에 불러일으키고 있는 위험에 대해 발언할 책임이 있으며, 그중 하나는 실업 문제에 대해 실제로 꽤 깊이 우려하고 있다는 점입니다. 하지만 이 기술이 세상에 완전히 스며들기까지는 충분히 오랜 시간이 걸릴 것이며, 그 덕분에 향후 10년 또는 20년 동안 이 기술의 확산 과정에 직접 참여할 수 있는 엄청난 기회들이 열려 있고 그것이 여러분의 커리어를 정의하는 기간이 되는 시나리오들도 충분히 가능하다고 생각합니다.

닉 마웰: 제가 주변 사람들에게—현재 대학에 다니며 정확히 이 질문을 고민하고 있는 제 동생에게도—해온 말이 있습니다. 그러한 시나리오 속에 있다면, 다가오는 10년은 여러 면에서 진정 '제너럴리스트(generalist)'들의 시대가 될 것이라는 점입니다. 지난 20년 내지 50년 동안 훌륭한 커리어를 쌓는 방식은 매우 가치 있고 시장성 있는 특정 기술 세트를 갖추는 것이었습니다. 특정한 기술을 보유하고 다른 이들에게 의존하는 것이 매우 수월했습니다.

닉 마웰: 이제 모든 이들은 1,000명 규모의 기업이 가진 파워를 등 뒤에 업게 됩니다. 그리고 이는 곧 해결해야 할 문제가 무엇인지, 내 커뮤니티를 더 낫게 만들 일이 무엇인지를 가장 잘 이해하는 역량을 갖춘 사람들—상업적 관점이든 사회적 선의 관점이든 상관없이—이 모든 변화를 이끌어낼 수 있는 모든 도구를 갖추게 된다는 것을 의미합니다. 따라서 문제 선정(problem selection)과 같은 능력이 핵심 역량으로 자리 잡게 될 것입니다.

진행자: "해결해야 할 문제가 무엇인가? 내 커뮤니티를 어떻게 더 낫게 만드는가?"라고 말씀하셨습니다. 유대인으로서 세상을 바라보는 제 관점의 근간 중 하나는, 주 6일 동안은 세상을 수선(repair)하고 안식일인 휴식일에는 다 끝마친 척해야 한다는 가르침입니다. 우리의 주요 종교들 중 상당수가 이와 유사한 가르침을 가지고 있다고 생각합니다. 그리고 저의 낙관론은 우리 주변의 사람들, 우리 주변의 커뮤니티와 함께 우리가 수선하고 돕고 고쳐야 할 일들이 우리 각자에게 언제나 존재할 것이라는 점입니다. 우리가 유토피아에 살게 될 것이라고 믿지 않는 한, 사람들을 위해 할 일은 언제나 존재할 것입니다, 맞죠? 아주 낙관적인 프레임워크라고 봅니다.

닉 마웰: 전적으로 동의합니다, 네.

슐트 더글러스: 네, 우리와 유토피아 사이에는 엄청나게 많은 일들이 남아 있습니다.

진행자: 정확합니다. 그 종교적 가르침의 근본적인 함의는 메시아가 오기 전까지는 이곳이 결코 유토피아가 아니므로, 끊임없이 무언가를 고쳐나가야만 한다는 것입니다. 그리고 그것은 긍정적인 일이지요.

무엇이 잘못될 수 있는가? 가장 큰 AI 위험은 무엇인가?

진행자: 두 분이 낙관론자이며 긍정적인 측면이 많다는 점은 잘 알고 있습니다. 하지만 먼저 우려 사항들도 짚어보고 싶습니다. 이 부분이 많은 이들이 가장 궁금해하는 지점이기 때문입니다. 연안 지역(코스트)에서는 우리 커뮤니티 주변에서 일어나는 이 모든 긍정적인 현상들을 목격하고 있습니다. 우리 모두는 그 어느 때보다 빠르게 회사를 세우는 친구들을 보고 있죠. 적어도 제가 샌프란시스코에 오거나 뉴욕에 갈 때, 심지어 텍사스 오스틴에서 활동할 때 느끼는 에너지는 대단히 긍정적입니다.

진행자: 하지만 나머지 지역의 많은 사람들은 자신들의 사업과 생계에 위협을 느낍니다. 두려움을 느끼죠. 그들은 여러분이 세상을 정복하려 드는 별난 집단이 아니라는 사실을 확신하지 못합니다. 사람들이 놓치고 있는 것은 무엇입니까? 여러분이 염려하는 그럴듯한 나쁜 시나리오가 존재합니까? 그들이 우려하는 나쁜 경로가 틀렸나요? 이 문제를 어떻게 생각하십니까?

슐트 더글러스: 사람들의 우려는 지극히 합리적이라고 생각합니다. 우리가 우려하는 몇 가지 큰 범주가 존재하지만, 그 모든 것들은 향후 몇 년 동안 올바른 조치를 취한다면 2030년대에 훨씬 더 나은 세상에 도달할 수 있다고 믿는 범주들입니다.

슐트 더글러스: 그 범주들로는, 앞서 이미 언급한 실업 문제가 큰 비중을 차지합니다. 이에 대해서는 왜 이것이 위험인지, 그리고 그에 대해 취해야 할 올바른 조치가 무엇인지에 대해 긴 대화를 나누어야 합니다. 또한 당장 올해 당면해 있는 바이오 및 사이버 위협 같은 보다 시급하고 단기적인 우려들도 존재합니다.

진행자: 세포의 미토콘드리아에 대해 질문할 수 없었다는 이유로 앤스로픽이 놀림을 받던 전형적인 사례처럼 온갖 성가신 일들이 거기에 얽혀 있습니다. 사실 당연히 그런 질문도 할 수 있어야 하며, 다만 생물무기 제작 등을 돕지 않으면 되는 일이죠.

슐트 더글러스: 당연히 그런 질문은 허용되어야 합니다. 다만 그 누구도 모델을 이용해 생물무기를 만들 수 없다는 확신을 가질 수 있도록 인프라를 구축하고 있는 중입니다.

닉 마웰: 네. 바이오나 사이버 같은 분야에서 터무니없이 어려운 점은 이들이 본질적으로 이중 용도(dual-use) 역량으로 알려져 있다는 사실입니다. 사이버가 이해하기 가장 쉬운 예입니다. 제가 클로드(Claude)에게 프롬프트로 "여기 코드베이스가 있습니다. 모든 취약점을 찾아주세요"라고 요청한다면, 그것은 방어력을 강화하려는 코드베이스의 소유자일 가능성과 침투하려는 공격자일 가능성이 정확히 반반입니다.

진행자: 그렇군요.

닉 마웰: 바로 이 점이 사이버, 혹은 이와 유사한 이중 용도 특성을 많이 지닌 바이오 같은 분야를 통제하기 어렵게 만드는 근본적인 요인입니다.

진행자: 세포 내의 특정 표적을 조준하려고 할 때, 99.9%의 확률로는 암 등을 제거하기 위해 그것을 죽이려는 목적이겠지만, 아주 미세한 확률로는 끔찍한 무언가를 타격하려는 것일 수도 있습니다.

닉 마웰: 맞습니다. 그래서 우리는 선한 행위자들은 이러한 기술을 활용할 수 있게 하고 악한 행위자들은 차단할 수 있도록 보장하기 위한 여러 가지 장치들을 연구하고 있습니다. 하지만 우리의 전반적인 생각은, 악의적 행위자들이 해로운 일을 하지 못하도록 막을 수 있게 되기 전에는 이러한 기술을 세상에 출시해서는 안 된다는 것입니다.

진행자: 분명히 존재합니다. 앤스로픽뿐만 아니라, 예를 들어 아프리카 등의 테러 단체들이 이전에는 만드는 법을 몰랐던 특정 폭탄을 더 쉽게 만드는 방법을 알아내기 위해 중국의 오픈 모델들을 악용하고 있으며, 그 모델들이 그다지 똑똑하지 않았던 그들을 도울 수 있을 만큼 충분히 똑똑해진 경우도 있습니다. 무서운 용도들이 존재하죠. 하지만 동시에, 저의 지향점은 전반적으로 더 많은 지능이 주어지면 더 많은 사람들이 그 무서운 용도들을 이해하고 이를 저지하는 데에도 지능을 활용할 수 있게 된다는 것입니다. 트레이드오프가 존재합니다.

슐트 더글러스: 따라서 여기서 우리가 논의해야 할 큰 역학 관계 중 하나는 해당 영역이 공격 우위(offense-dominant)인지, 아니면 방어 우위(defense-dominant)인지의 여부입니다.

진행자: 그렇군요.

슐트 더글러스: 현재 사이버와 바이오 모두 공격 우위 상태입니다. 하지만 앞으로 2년 동안 사이버는 방어 우위로 전환될 것으로 생각합니다.

진행자: 특히 모든 사람들이 스스로를 해킹하고 방어를 구축할 수 있는 지능에 접근할 수 있게 된다면 더욱 그렇겠죠.

슐트 더글러스: 정확합니다. 사전에 스스로를 해킹해보고, 방어벽을 구축하며, 모든 취약점을 패치할 수 있기 때문에 결국 우리는 훨씬 더 사이버 보안이 강화된 세상에 도달하게 될 것입니다.

진행자: 모든 사람들이 이미 지능에 접근할 수 있게 되어 자신들이 어떻게 침입당할지 스스로 파악하게 되는군요. 그것이 바로 우리가 사전에 수행하고 있는 작업입니다. 제 친구 중 한 명은 펜타곤과 은행들이 요청하고 시연을 허락했을 때 그들의 시스템을 해킹하는 것을 도왔는데, AI가 너무 뛰어나기 때문에 그들은 새로운 AI를 사용하고 있고, 이제 모든 사람들이 서둘러 이 작업을 수행해야 하는 상황입니다.

공격 대 방어: 기술은 어떻게 진화하는가

진행자: 잠시 한 걸음 물러서 보죠. 공격과 방어의 구도는 매우 흥미롭습니다. 인류 역사상 수천 년 동안 존재해 온 개념이며 엄청나게 변화해 왔죠. 저는 과거 유럽에서 서로 경쟁하던 아주 자유로운 도시국가들의 열렬한 팬입니다. 그것은 아주 훌륭한 시스템이었죠. 어느 한 도시국가가 잘못된 일을 하면 다른 곳으로 가면 되었으니까요.

진행자: 하지만 안타깝게도 이 녀석들이 대포를 들고 나타났습니다. 성벽을 너무나 쉽게 무너뜨릴 수 있었고, 거대한 제국들을 건설했으며, 이제는 그들의 통제 아래 놓이게 되었기 때문에 더 이상 도시국가를 떠날 수 없게 되었습니다. 이처럼 상황이 공격과 방어 사이를 오간 시기들은 다양하게 존재합니다.

진행자: 그리고 동의합니다. 현재 사이버 분야는 사람들이 두려움을 느껴야 할 정도로 극단적인 공격 우위 상태입니다. 이 방송을 듣는 분들 중 만약 AI를 활용해 자신의 시스템에 도전하는 최전선의 방어를 구축하고 있지 않다면, 아마 시스템이 뚫릴 것이며 그 공격자는 아주 악랄한 인물일 수도 있습니다. 따라서 지금은 무서운 시기입니다. 올바르게 사용된다면 사이버 분야도 결국 방어 우위로 바뀔 수 있다는 점에는 동의합니다.

진행자: AI와 관련한 의문점이 하나 있습니다. 제게 있어 두려움 중 하나는, 세상에 존재하는 숨겨진 것들 중 극도로 공격 우위에 있는 무언가가 존재하느냐는 것입니다. 예를 들어, 제가 믿는 것은 아니지만, 충분한 지능을 갖추고 전 세계를 갉아먹는 자기 복제형 나노봇을 누군가 천재적인 능력으로 만들어내어 온 세상을 삼키고 우리 모두가 죽게 되는 시나리오 같은 것이죠. 물론 그런 일은 일어나지 않을 것이라 생각하지만, 극도로 공격 우위에 있는 것이 무엇이든 간에 지능을 조기에 활용해 찾아내야만 합니다.

슐트 더글러스: 맞습니다. 그리고 사실 바이오 분야 역시 세상이 방어 우위로 전환되도록 막대한 노력을 투입하기 전까지는 극도로 공격 우위에 있습니다. 바이오를 상대로 세상을 방어 우위로 만들 수 있는 방법들이 존재하지만, 이를 위해서는 수천억 달러 규모의 인프라가 요구됩니다. 2030년대에 이를 구축하는 데 도움을 줄 수 있는 극도로 발전된 로보틱스 역량을 확보하기 전까지는 결코 쉽지 않은 과제입니다.

진행자: 현재는 공격 우위 상태라는 점에서 몹시 두려운 시기입니다. 우리는 이를 방어 우위로 바꾸고자 합니다. 제 생각에는 단일 그룹이 은밀하게 수행하는 것이 아니라, 수많은 사람들이 지능을 활용해 모든 것에 도전하도록 만드는 것이 해결책인 것 같습니다.

슐트 더글러스: 그 점에 대해서는 전적으로 동의합니다.

규제 포획 비판에 대한 답변

진행자: 앤스로픽은 일반적으로 매우 찬사를 받는 기업입니다. 동시에 어떤 기업이든 90년대의 마이크로소프트와 비교해 볼 수 있죠. 여러분이 챔피언이 되면 사람들은 질투하고 공격하기 마련입니다. 어떤 공격은 질투와 압도적인 아라(aura) 때문에 발생하기도 하고, 또 어떤 공격은 타당한 근거를 가지기도 합니다. 제 아주 똑똑한 친구들 중 다수는 앤스로픽이 좋지 못한 방향의 규제 포획 전략을 추진하고 있다는 인상을 가지고 있습니다. 이에 대해 어떻게 반응하시나요?

닉 마웰: 여기서 논할 가치가 있는 포인트는 대략 두 가지라고 생각합니다. 하나는 진행 중인 오픈 웨이트(open-weights) 논쟁과 결부된 규제 포획 서사의 대두입니다. 다른 하나는, 만약 여러분이 대단히 이기적인 방식으로 규제 포획을 시도하려 했다면 앤스로픽이 지금과 같은 방식으로 행동했을 것인가 하는 점입니다.

닉 마웰: 첫 번째와 관련하여, 오픈 웨이트가 우리가 유지하고 싶어 하는 중요한 공공재 기술이라는 점을 세부적으로 파악하지 못한 상태에서 이를 어떤 식으로든 해석하는 것은 무리가 아닙니다. 오픈 웨이트는 어떤 면에서는 앤스로픽 비즈니스의 일부와 자연스러운 대척점에 서 있으며, 앤스로픽은 규제를 이용해 오픈 웨이트를 개발하는 이들을 압박하려 한다는 시각이죠. 역사적으로 오픈 웨이트나 오픈소스 커뮤니티는 규모가 작고 자금력이 부족하며 규제 시스템을 헤쳐나가는 데 어려움을 겪어왔기 때문입니다.

닉 마웰: 하지만 오픈 웨이트와 관련해 실제 벌어지고 있는 일은 그게 아닙니다. 오픈 웨이트 모델을 추진하고 개발하며 서비스하는 주체들이 누구인지 살펴보면, 그들은 대개 세계에서 가장 거대한 기업들입니다. 미국의 경우 엔비디아(Nvidia), 아마존(Amazon), 마이크로소프트(Microsoft) 같은 곳들이 오픈 웨이트의 최전선을 밀어붙이고 있습니다. 심지어 중국의 연구소들을 보더라도, 이들은 극도로 자금이 풍부하며 오늘날에는 점점 더 공공 연구소의 성격을 띠며 최전선을 밀어붙이고 있습니다. 따라서 이들은 오픈 웨이트 모델을 다룸에도 불구하고 규제 환경을 매우 능숙하게 헤쳐나갈 수 있는 기업들입니다.

닉 마웰: 그러므로 저는 오픈 및 클로즈 모델에 대한 일정한 규제가 오픈 웨이트 개발자들을 클로즈드 웨이트 개발자들에 비해 불균형하게 둔화시키는 요인이 될 것이라고는 특별히 우려하지 않습니다.

닉 마웰: 두 번째 부분은 더 직접적입니다. 만약 순전히 자사의 이익을 위해 규제 포획을 수행하려 했다면, 앤스로픽이 지금까지 선택해 온 일련의 행동들을 과연 취했을지 매우 의문입니다. 이에 대한 아주 좋은 예시가 있습니다—아마 다른 예시들도 있을 것이고 슐트가 다른 생각을 가지고 있을지도 모르겠지만—바로 페이블(Fable)과 관련된 일입니다. 페이블, 혹은 그 이전의 미소스(Mythos)를 순수한 경제적 동기 관점에서 생각해보면, 당시 앤스로픽은 세상에서 단연코 최고인 모델을 보유하고 있었습니다. 그 시기에 그 모델에 근접한 모델을 가진 곳은 아무도 없었습니다.

닉 마웰: 그럼에도 앤스로픽은 다른 연구소들이 회사와 경쟁할 수 있는지에 대한 모든 의문을 잠재울 수 있는 수개월간의 모델 우위 기간을 취하는 대신, 정부가 편안하게 받아들일 수 있는 방식으로 이를 출시하기 위해 정부와 협력하기로 결정했습니다.

닉 마웰: 이것은 회사의 경제적 관점에서는 명백히 나쁜 결정이었지만, 모델이 어떻게 배포되고 규제되어야 하는지에 대한 우리의 가치관과는 일치하는 결정이었습니다. 따라서 이는 경제적 이익을 위한 규제 포획 전략이 아닙니다. 이것은 비판적이고 잠재적으로 위험한 기술이 개발되고 배포되는 방식에 있어 정부가 정말 중요한 역할을 수행해야 한다는 믿음에서 비롯된 전략입니다. 그리고 최전선에 서 있는 우리로서 정부가 그 사실을 숙지하고 그 과정에 참여하도록 보장하는 것이 우리의 책임이라고 생각합니다. 그렇지 않으면 누가 모두를 대변하겠습니까?

진행자: 흥미로운 점은, 이 정부 내에는 분명 아주 똑똑한 사람들이 꽤 많지만 동시에 무엇을 하는지 전혀 모르는 사람들 역시 많다는 사실입니다. 그 결과 어리석은 상황이 연출되기도 합니다. 예를 들어, 제 입으로 말해도 될지 모르겠지만, 제가 이해하기로는 앤스로픽은 사람들이 방어 목적으로 사용할 수 있는 더 강력한 사이버 역량을 가질 수 있었음에도 불구하고 정부가 이를 출시하도록 허용하기 위해 그 역량이 너프(nerfed)되었다고 보며, 이는 실수였다고 생각합니다.

슐트 더글러스: 그들은 우리의 역사에서 아주 중요한 역할을 해왔던 전형적인 미국의 민관 파트너십(public-private partnership)에 기대고 있다고 생각합니다. 우리는 정부가 세상의 모든 주제에 대해 가장 박식하고 유능한 기관이어야만 하는 방식으로 구축되어 있지 않습니다. 우리가 원하는 것은 정부가 앤스로픽, OpenAI, 메타(Meta) 또는 그 외 누구와든 소통하여 파악하고 규제 방식을 결정할 수 있는 훌륭한 민관 파트너십을 구축하는 것입니다.

진행자: 그리고 제가 아는 보다 회의적인 테크 리더들이 "아, 다리오가 프로세스를 지배하는 주된 인물 중 하나가 되기 위해 더 많은 규칙을 만들어 사람들을 겁주려고 하는 거야"라고 말할 때, 그에 대한 답변은 무엇인가요?

슐트 더글러스: 지금까지 우리는 그 누구보다 우리 스스로의 속도를 늦춰왔습니다. 사실, 클로즈드 모델 제공업체들—OpenAI, 딥마인드, 앤스로픽—이 모델을 출시하기 전에 우리가 반드시 충족해야 할 안전 임계값(safety thresholds)을 서로 조율하며 갖추자는 데니스(Demis)의 제안을 둘러싼 논의를 살펴보면, 이는 우리의 원칙 때문에 우리 스스로 속도를 늦추자고 논의하고 있는 모습입니다. 자, 이 시점에서 오픈소스에 대한 우리의 전반적인 입장이 무엇인지 명확히 할 필요도 있다고 생각합니다.

오픈소스에 대한 앤스로픽의 입장

진행자: 실제 입장이 무엇인가요?

슐트 더글러스: 개인적으로 우리는 오픈소스를 매우 지지합니다. 세상에 오픈소스가 존재하는 것은 매우 긍정적인 일이라고 진심으로 믿습니다. 저 역시 오픈소스 모델을 통해 머신러닝을 배웠으니까요! 동시에 우리는 엄청난 위험이 존재하며 미래에는 위험이 더욱 가중될 것이라고 믿습니다. 따라서 우리의 생각은 사회 전반이 수용하기에 편안하다고 느끼는 기준에 대한 임계값이 존재해야 한다는 것입니다. 모델이 사이버 공격을 수행할 수 있다면, 여러분이 편안하게 느끼는 역량의 임계값은 어디인가요? 우리는 클로즈드 모델과 오픈소스 모델이 동일한 기준을 충족해야 한다고 믿습니다. 그 외에는 사람들이 원하는 대로 할 수 있어야 합니다.

진행자: 중국이 어차피 누구나 사용할 수 있는 무작위적인 것들을 계속해서 출시할 판국에 굳이 그런 노력을 할 가치가 있습니까? 그리고 이와 유사하게, 공포에 질려 과도한 규제를 가하는 바람에 중국은 그렇게 하지 않고 오히려 앞서 나가게 되어 결국 문제가 생길 확률은 얼마나 됩니까? 이 문제를 어떻게 생각하시나요?

슐트 더글러스: 이상적인 세상은 우리가 중국과 협력하여 중국 역시—생각해보면 그들도 자국을 향한 사이버 공격은 원하지 않습니다—.

진행자: 하지만 제 생각에는 그들이 우리를 향한 사이버 공격은 원하고 있는 것 같습니다.

속도를 늦추고 중국이 앞서 나가도록 내버려 둘 것인가?

슐트 더글러스: 어쩌면 그들은 자국을 향한 사이버 공격은 원하지 않을 수도 있겠죠. 그것은 일리가 있습니다. 이상적인 세상은 그들과 함께 그 문제를 놓고 협력할 수 있는 세상입니다. 하지만 그것은 까다롭죠. AI 역량이 계속해서 폭주함에 따라 향후 몇 년간 가장 어려운 부분 중 하나가 될 것입니다. 이로 인해 바이오, 사이버, 고용 등 여러 가지 다양한 이유로 많은 사람들이 극심한 불편함을 느끼게 될 것입니다. 그 결과 데이터셋 중단 같은 반발이 벌써부터 나타나고 있는 것입니다.

슐트 더글러스: 이 문제는 상대방들과 조율하고 상대방들이 이를 준수할 것이라고 신뢰할 수 없는 한, 일시 중단(pause)을 실행하기가 매우 까다로워지는 논쟁 중 하나입니다.

진행자: 하지만 중국은 멈추지 않을 것입니다. 그렇다면 미국의 속도를 늦추고 중국이 앞서 나가도록 내버려 둘 시나리오가 조금이라도 있습니까?

슐트 더글러스: 우리가 수용할 수 있는 어떤 시나리오에서도 미국의 속도를 늦추고 중국이 앞서 나가도록 허용하는 내용은 포함되지 않을 것이라고 생각합니다.

진행자: 현재 우리가 통제할 수 있는 유일한 선택지처럼 보이기도 하는데요.

슐트 더글러스: 네. 속도를 늦추는 어떤 시나리오가 있더라도, 그것은 우리가 모든 상대방을 온전히 신뢰할 수 있는 방식으로 완전히 조율된 형태여야만 합니다. 기본적으로 미국이 속도를 늦추는 방식은 존재할 수 없습니다.

증류(Distillation)에 대한 앤스로픽의 견해

진행자: 다른 사람들이 생각하는 것과 달리, 놀랍게도 여러분은 오픈소스를 꽤 지지하시는군요. 좋은 일이며 두 분의 삶에도 긍정적인 영향을 미쳤습니다. 그런데 이 오픈소스 중 일부는 사람들이 여러분의 것을 훔쳐서 만드는 것처럼 보이는데, 제가 당사자라면 꽤 짜증이 날 것 같습니다. 이를 '증류(distillation)'라고 부르죠. 많은 이들은 "아니, AI로 아주 영리하게 대처하고 모든 것을 모니터링해서 그 행위를 막으면 되지 않나?"라고 말합니다. 왜 증류를 막지 못하십니까? 이 현상에 대해 어떻게 느끼십니까? 어떻게 진행되고 있나요?

슐트 더글러스: 음, 한편으로는 증류와 관련해 논의해야 할 몇 가지 사항이 있습니다. 첫째는, 도대체 왜 우리가 증류에 반대하는가? 증류는 좋은 것인가 나쁜 것인가 하는 점입니다. 그리고 둘째는, 그것이 나쁘다고 생각한다면 왜 막을 수 없는가 하는 점입니다.

슐트 더글러스: 두 번째 질문부터 정리하자면, 일종의 고양이와 쥐의 게임(cat-and-mouse game)이 존재합니다. 사람들은 모델에 대한 폭넓은 접근성을 원합니다. 출력을 검사하고 싶어 하고, 로컬 컴퓨터에서 구동하고 싶어 하며, 사고 과정(thinking traces)을 들여다보고 싶어 하죠. 하지만 제공하는 접근성이 늘어날수록 증류는 더 쉬워집니다. 따라서 도구와 제품을 얼마나 개방할 것인가와 증류를 얼마나 쉽게 허용할 것인가 사이에는 본질적인 긴장 관계가 존재합니다.

닉 마웰: 그리고 첫 번째 부분으로 돌아와서, 왜 우리가 증류에 대해 불만을 가져야 하는가에 대해 제가 평소에 생각하는 방식은 이렇습니다. 우리는 AI가 계속해서 발전하기를 바랍니다. 더더욱 영리해지는 모델이 세상에 이 모든 훌륭한 일들을 해낼 것이라 믿기 때문입니다. 하지만 증류는 현재의 역량 한계(frontier)를 넘어설 수 있게 해주는 방법이 아닙니다.

진행자: 그냥 베껴가는 것뿐이니까요.

닉 마웰: 단순한 복사본입니다. 여기서의 문제는 다음 최전선으로 나아가기 위해서는 막대한 선행 자본 투자가 요구된다는 점입니다. 지금은 잊어버리더라도, 미래에는 100억 달러, 1000억 달러, 1조 달러 규모의 학습 런(training runs)이 이루어지는 체제에 도달하게 될 것입니다. 그리고 그러한 R&D 투자는 자신이 투자한 결과물을 판매하여 수익을 창출할 수 있을 때에만 뒷받침될 수 있습니다.

닉 마웰: 문제는 다른 모든 이들이 적은 비용으로 여러분의 것을 가져가 복제한 뒤 1~2주일 만에 복사본을 내놓을 수 있다면, 그들은 막대한 R&D 부담을 안고 있지 않기 때문에 여러분에 비해 경제적으로 유리한 경쟁자가 된다는 점입니다. 따라서 최전선의 발전을 원한다면, 이러한 모델을 학습시키는 이들의 지식재산권(IP)과 권리를 보호해야 합니다.

닉 마웰: 사람들은 종종 이를 신약 개발에 비유하곤 합니다. 제 생각에 AI는 매우 흥미롭습니다. 증류를 방어하는 것은 신약 개발에서 우리가 IP를 보호하는 방식의 좋은 점들을 많이 가져다주면서도 나쁜 점들은 피할 수 있게 해주기 때문입니다. 좋은 점이 무엇일까요? IP를 보호함으로써 미국의 신약 개발이 더 활성화된다는 것입니다.

진행자: 당연히 수익을 낼 수 없다면 신약 개발에 투자할 수 없겠지요.

닉 마웰: 정확합니다. 반면 나쁜 점 중 일부는 그 결과 비용이 엄청나게 높아진다는 것입니다. AI가 흥미로운 이유는, 한 대가 이상 지식재산권을 보호받는 신약 개발(보통 20~30년 정도죠)과 달리 AI의 지능은 엄청난 디플레이션 성격을 띤다는 점입니다. 최전선의 유효 기간은 수개월 단위로 측정되기 때문입니다. 따라서 6개월마다 최전선은 여전히 비용이 많이 들겠지만, 6개월 전에는 최전선으로 여겨졌던 그 뒤의 모든 것들은 최전선이 더욱 전진했다는 사실 덕분에 터무니없이 저렴해집니다. 이것은 학습이 진행되는 방식의 부산물입니다.

닉 마웰: 따라서 우리가 처한 체제에서 증류 방어는 많은 긍정적 효과를 가져다주며 대부분의 부정적 효과를 회피하게 해줍니다. 특정한 수준의 지능을 얻는 데 드는 비용을 보면 이를 매우 구체적으로 확인할 수 있습니다. 수많은 평가 대시보드들을 살펴보면 되는데, 인공 분석(Artificial Analysis)에 이 정확한 추세선을 보여주는 지표가 있습니다. 매년 비용이 대략 10분의 1 수준으로 저렴해집니다. 해마다 싸지고 있죠. 엄청난 디플레이션 현상이 일어나고 있으며, 참고로 이는 증류 없이 기술의 자연스러운 진전만으로도 발생하고 있는 현상입니다.

진행자: 물론입니다. 누군가 무단으로 복제할 수 있다는 것은 직관적으로 불공평하며, 만약 모두가 그런 식으로 행동한다면 전체 시스템이 붕괴될 것입니다.

닉 마웰: 그렇습니다.

진행자: 후속 질문을 드리자면, 자신이 만든 것이 구식이 되어버리는 그런 비즈니스 모델은 너무 미친 것 아닌가요? 어떤 면에서는, 확실히 1년, 아니 적어도 6개월이 지나면 살아남기 위해서 최전선이 계속해서 앞으로 나아가야만 하는 것처럼 보입니다.

슐트 더글러스: 최전선이 계속해서 앞으로 나아가야만 승리할 수 있는 것처럼 느껴집니다. 그리고 이것은 우리의 일반적인 세계관에서 매우 중요한 부분입니다. AI가 글로벌 경제에 침투한 비율은 아직 터무니없이 미미합니다. AI의 총수익은 수십조 달러 규모의 경제 속에서 1,000억 달러를 조금 웃도는 수준에 불과합니다. 그것도 이 기술의 결과로 경제가 엄청나게 성장하지는 않을 것이라는 가정하에 그렇다는 말이며, 우리는 경제가 크게 성장할 것으로 예상합니다.

슐트 더글러스: 따라서 이러한 최전선이 존재합니다. 여러 면에서 최전선 바로 뒤에 있는 수준, 즉 후행 에지(lagging edge)는 여러 방식으로 범용화(commoditized)되지만, 선도 에지(leading edge)는 훨씬 더 큰 가치를 지니게 된다고 볼 수 있습니다.

닉 마웰: 선도 에지에는 엄청나게 더 많은 가치가 존재합니다. 우리는 이를 종종 지능에 대한 지수함수적 경제적 수익(exponential economic returns to intelligence)이라고 표현합니다. 우리가 발휘할 수 있는 지능의 각 한계 단위는 그 이전 단위보다 기하급수적으로 더 큰 가치를 지닙니다. 우리는 이미 이러한 현상을 목격했습니다. 코딩 같은 분야를 보면, 사람들에게 조금이라도 유용했던 코딩 지능의 첫 번째 단위는 탭 자동 완성(tab auto-completion)이었습니다. 그리고 우리는 이 단계에서 클로드 코드(Claude Code)를 통해 터미널에서 에이전틱 코딩(agentic coding)을 현실로 만든 다음 한계 지능 단위로 이동했습니다. 이것은 10만 배 더 가치 있는 역량정이었습니다.

닉 마웰: 따라서 그 뒤에서 탭 자동 완성 기능이 범용화되었다 할지라도—현재 시점에서는 탭 자동 완성만으로는 회사를 차릴 수도 없을 정도입니다—이러한 다음 단계의 점진적인 지능 단위들은 그야말로 극도로 가치 있습니다.

닉 마웰: 몇 년 전에 앤스로픽에 대해 고민할 때 이 점은 제게 전혀 직관적으로 다가오지 않았습니다. 이 세상에서 인간으로 살아가며 경험하는 모든 것에 비춰볼 때 지수함수적 성장이 그렇게 오래 지속되지는 않을 것이라는 직관이 있었기 때문입니다. 그래서 '아, 이게 몇 년 동안은 정말 가치 있겠지만, 어느 시점에는 지수함수적 성장이 멈추겠지'라고 생각했습니다. 어떤 면에서는 극도로 낙관적이어야만 합니다. 코딩에서의 탭 완성에서 에이전틱 코딩으로 넘어가야 하고, 에이전틱 코딩보다 더 가치 있는 게 무엇일지 고민해야 하니까요. 어쩌면 암을 치료할 수 있겠지요.

닉 마웰: 그리고 그 과정들 사이에서도 세상에 존재하는 어떤 소프트웨어 엔지니어보다 뛰어난 완전한 드롭인(drop-in) 소프트웨어 엔지니어를 갖추게 되며, 그것이 터무니없이 저렴하게 느껴지게 됩니다. 모든 종류의 일들을 도와주는 임원급 AI도 갖추게 되죠. 따라서 사람들이 "아니, 이러면 결국 범용화로 이어지는 것 아니야?"라고 말할 때쯤이면, 완전한 범용화의 희망을 품기도 전에 전체 경제가 급진적으로 변모해 있을 것입니다. 지적 노동이든 물리적 노동이든 말 그대로 그 시점의 전체 경제는 AI에 의해 구동되고 있을 것입니다.

진행자: 그리고 아마도 훨씬 더 거대한 경제가 되겠지요. 만약 앤스로픽이 그 성장을 이끌고 있다면, 그것은 분명 수조 달러의 가치를 지닐 것입니다.

닉 마웰: 정확합니다.

풍요 이후의 세계는 달성 가능한가?

진행자: 좋습니다. 그럼 우리 모두 부자가 되겠군요. 농담입니다. 분명 수많은 우려들이 존재하지만, 두 분은 낙관론자입니다. 그렇다면 왜 우리는 이 기술을 이렇게까지 빠른 속도로 밀어붙이고 있는 것입니까? 그 이유를 다시 한번 상기시켜 주시겠어요? 여기서 무슨 일이 벌어지고 있는 겁니까? 여러분이 싸워나가고 있는 대상은 무엇입니까?

슐트 더글러스: 우리가 왜 우려하는가라는 점으로 다시 돌아가 봅시다. 우리는 인간을 대체할 수 있는 드롭인(drop-in) 솔루션을 얻게 될 것이기 때문입니다. 컴퓨터로 할 수 있는 모든 일에서 인간만큼 훌륭해질 것이고, 일단 로보틱스가 갖춰지면 물리적 세계의 모든 일에서도 인간만큼 뛰어나게 될 것입니다. 하지만 동시에 그것은 엄청나고 급진적인 개선을 열어젖힙니다. 인류의 현재 인구 규모로 향후 수 세기 동안 개발해야 했을 기술을 향후 10년, 혹은 수십 년 내로 압축할 수 있다는 뜻입니다.

진행자: 저는 이미 항공우주 분야에서 이런 현상을 목격하고 있습니다. 비행기 설계 작업이 훨씬 더 빠르게 진행되고 있어서, 2040년대쯤에나 얻을 수 있었던 매우 진보된 비행기들을 향후 몇 년 안에 목격하게 될 것 같습니다. 정말 멋진 일이죠.

슐트 더글러스: 그렇기 때문에 인류의 생산적 지적 및 물리적 역량을 계속해서 늘리고 잠재적으로 두 배로 증대시킴으로써, 진정한 의미의 풍요 이후의 세계(post-scarcity world)에 도달할 수 있게 됩니다. 이 세상에서는 말 그대로 모든 것의 비용이 에너지 비용으로 수렴하며, 주택 건설 비용 역시 에너지 비용으로 수렴하게 됩니다.

진행자: 중산층이라면 누구나 원할 경우 거대한 저택을 가질 수 있게 되겠네요.

슐트 더글러스: 그 세상에서는 말 그대로 원하는 모든 것을 가질 수 있습니다.

진행자: 산속으로 들어가서 50만 평방피트짜리 공간을 누려도 그게 중산층의 삶이 되는군요.

슐트 더글러스: 정확합니다. 오늘날 우리가 누리는 것들이 수 세기 전의 왕들에게조차 상상할 수 없었던 것인 것처럼 말이죠. 모든 질병을 치료하고, 아마도 노화를 치료하며 장수를 해결한 세상이 될 것입니다. 따라서 지구상의 모든 사람이 오늘날 세상의 가장 부유한 사람들조차 누리지 못하는 수준의 풍요를 누릴 수 있는 세상에 도달하게 됩니다. 그것이 바로 우리가 싸워나가고 있는 세상입니다.

슐트 더글러스: 하지만 이는 매우 까다로운 세상이기도 합니다. 첫째는 이 목표를 향한 항로를 올바르게 개척해 나가야 하고, 둘째는 극단적인 불평등으로 끝나지 않도록 그 세상의 수익을 어떻게 나눌 것인가를 파악해야 하기 때문입니다. 즉, 보상이 기존 세계에서 자만을 가졌던 사람들에게만 흘러가지 않고, 원한다면 누구나 그러한 풍요를 누릴 수 있도록 해야 합니다. 따라서 혜택을 어떻게 공유할 것인가에 대한 거대한 사회정치적 질문이 남게 됩니다.

진행자: 물론 우리가 이미 그 경지에 도달했다고 가정함으로써 저지를 수 있는 수많은 실책들도 존재합니다. 노동의 존엄성은 현재 시점에서 엄연히 실재하니까요.

슐트 더글러스: 우리는 아직 그곳에 도달하지 않았습니다. 근처에도 가지 못했죠. 하지만 올바른 방식으로 기술에 투자한다면 도달할 수 있는 가능성이 열립니다. 그러므로 오늘날의 추세선을 약간 연장해서 생각해 봅시다. 지난 4~5년 동안 우리는 AI에 투입되는 컴퓨팅 용량을 매년 두 배 혹은 세 배로 늘려왔습니다. 하이스케일러(hyperscalers)들은 올해 AI 관련 자본 지출(capex)로 총 1조 달러 가량을 지출하고 있습니다.

슐트 더글러스: 매우 흥미로운 질문은 과연 이 추세선이 유지될 것인가 하는 점입니다. 내년에 2조 달러로 늘어나고, 2028년에는 4조 달러가 될까요? 그리고 만약 이 추세선이 대략적으로 유지되고 이를 더 넓은 로보틱스 산업 전반으로 확장할 수 있다면, 2030년대 초반 무렵에는 사실상 인류의 GDP를 두 배로 늘리는 지점에 도달하기 시작합니다. 물론 이 역시 다소 터무니없는 개념이며 많은 것들이 제대로 맞아떨어져야 하겠지만, 생산성 성장은 급격히 가속화되기 시작할 수 있습니다.

진행자: 향후 몇 년 안에 이미 그런 현상이 나타날 것만 같습니다. 케빈 워시(Kevin Warsh)가 연방준비제도(Fed)의 새 의장이 되었습니다. 그가 AGI에 완전히 매몰되어 있는지는 모르겠지만, 현재 AI 생산성에 대해서는 대단히 낙관적입니다. 우리의 아주 똑똑한 친구죠. 그런 현상을 훨씬 더 많이 목격하게 될 것 같지만, 그것이 훨씬 더 가속화될 수 있다고 말하는 것은 여전히 미친 소리처럼 들립니다.

닉 마웰: 훨씬 더 가속화될 수 있습니다. 제가 최근에 본 흥미로운 차트 중 하나는 필리핀의 고용 지표를 담은 차트였는데, 고용이 증가했습니다.

진행자: 저는 이 점에 놀랐습니다. 저는 BPO(업무 프로세스 아웃소싱)가 그곳에서 큰 타격을 입을 것이라 생각했습니다. BPO는 저가형 콜센터 등을 의미하는데, 그럼에도 여전히 성장하고 있더군요.

닉 마웰: 그럼에도 불구하고 여전히 성장하고 있으며, 실제로 소프트웨어 공학 고용 역시 증가했습니다. 제 생각에 이 현상의 많은 부분은 사람들이 이전보다 극적으로 더 생산적이 되었기 때문입니다. 매우 흥미로운 추세선은 바로 사람들이 협업을 유지하는 이러한 반등세가 얼마나 오래 지속될 것인가 하는 점입니다.

진행자: 해야 할 일이 너무나 많습니다. 여러분은 이 기술들을 활용하고 있으며, 이는 긍정적인 신호입니다.

닉 마웰: 적어도 단기적으로는 그렇게 보입니다. 하지만 모든 것이 다 잘 될 것이라고 스스로를 너무 과도하게 안심시켜서는 안 된다는 점도 중요하다고 생각합니다. 현재 슐트가 표현한 대로, 모든 직원들이 AI를 활용하는 데 여전히 매우 중요한 역할을 담당하고 있는 긍정적인 순간에 머물러 있습니다. 그 결과 이들 개개인을 더욱 가치 있게 만드는 인에이블링 기술(enabling technology)이 탄생했고, 따라서 사람들은 더 많은 인력을 고용하고자 했습니다.

닉 마웰: 하지만 언젠가는, 인간이 AI 모델과 짝을 이루어야만 모든 가치를 추출할 수 있는 세상에서 그렇지 않은 세상으로 전환될 것이라는 것이 우리의 믿음입니다. 그리고 바로 그때가 우리가 그 결과에 대해 진심으로 두려움을 느끼기 시작하는 시점이 될 것입니다.

진행자: 체스의 경우와 같습니다. 30년 동안 최고의 체스 플레이어는 인간과 기계의 조합이었지만, 이제 기계들이 완전히 압도하고 있죠. 그리고 우리는 그 전환이 훨씬 더 짧은 시간 안에 일어날 것이라고 생각합니다.

닉 마웰: 그렇습니다. 지난 3년 동안, 어쩌면 제가 처음으로 AI 진전 속도에 대해 고민하기 시작했던 지난 5년 동안 제게 큰 변화를 준 깨달음이 하나 있습니다. 저는 언젠가는 우리가 오늘날의 모습이나 혹은 1년 뒤에 도달할 모습과 유사한 곳에 도달하겠지만, 훨씬 더 오랜 시간이 걸릴 것이라 믿었습니다. 상당 부분은 이 작업을 수행하는 데 필요한 데이터를 확장하는 작업 자체가 시간과 비용이 엄청나게 소요되는 일일 것이라고 생각했기 때문입니다.

닉 마웰: 그리고 당시 저의 높은 AI 진전 기대치에 비추어 봐도 예상치 못하게 벌어진 일은, 앤스로픽과 OpenAI 같은 기업들의 매출 급증과 사업 규모 확장이 워싱턴의 예상보다 너무나 빨라서, 기술을 개발하는 사람들이 우리가 예상했던 많은 병목 현상을 훨씬 더 빠르게 돌파하는 데 아낌없이 돈을 쏟아붓는 것이 완전히 그럴듯해졌다는 사실입니다. 컴퓨팅 자원의 폭발적 증가 역시 그 좋은 예시입니다. 불과 5년 전까지만 해도 1년 만에 1조 달러를 지출한다는 것은 대부분의 사람들에게 상상조차 할 수 없는 일이었습니다.

진행자: 불과 1년 전까지만 해도 상상할 수 없었던 일이지요.

닉 마웰: 맞습니다. 우리는 서로 밀접하게 맞물린 상호작용적 요소들이 한꺼번에 벌어지고 있는 타임라인에 살고 있는 것 같습니다. 좋은 것도 있고 나쁜 것도 있죠. 컴퓨팅 자원을 우주로 이전하는 논의를 보면, 스페이스X(SpaceX)가 본격적으로 궤도에 오르는 시기와 AI가 대두되는 시기가 대략적으로 일치한다는 점이 꽤 흥미롭습니다. 그 타이밍은 정말 흥미롭습니다. 만약 스페이스X가 여기에 도달하는 데 10년이 더 걸렸다면 AI의 타임라인은 지금과 달라졌을 수도 있습니다.

진행자: 모두 일론(Elon) 덕분이기도 합니다. 그 누구보다 훨씬 앞서서 그 일을 시작할 만큼 제정신이 아니었으니까요.

닉 마웰: 반면, 훨씬 더 우려스러운 일들도 벌어지고 있습니다. 인종적 역학 관계를 포함해 온갖 이유로 볼 때, AI가 본질적으로 다른 어떤 정부 형태보다 권위주의에 더 큰 이익을 줄 수 있는 기술이라는 점을 감안할 때, AI가 제 생애에서 가장 양극화된 세계로 접어드는 시점에 도달하고 있다는 사실이 세상에 그리 좋은 일인지는 모르겠습니다.

진행자: 하지만 그게 서로 연결되어 있는 것 아닌가요? 소셜 미디어가 머신러닝을 활용하고 AI를 개선하는 방식이 우리를 양극화시키는 것과 관련이 있지 않나요? 어텐션 경제(attention economy)와 관련이 있는 것 아닙니까?

닉 마웰: 제가 양극화된 세계(bipolar world)라고 말할 때, 저는 진정으로 중국과 미국의 글로벌 판도를 의미하는 것입니다.

진행자: 미국의 좌우 이념 갈등을 말씀하시는 것은 아니군요.

닉 마웰: 네, 그 역시 고민해 볼 만한 다른 문제이겠지요. 하지만 만약 AI가 좀 더 단극적인(unipolar) 세계였던 2000년대 초반 같은 시기에 세상에 도달했더라면, AI의 전망에 대해 지금보다 최소한 조금 더 긍정적으로 수정했을 것이라고 생각합니다. 그때가 더 안전하니까요.

슐트 더글러스: 우주에서 가장 가치 있는 자원이 두 초강대국 사이의 이 작은 섬(대만 등 지리적 맥락)에서 생산된다는 점은 마치 공화국 소설에 나올 법한 비극 같습니다.

닉 마웰: 어떤 면에서는 꽤 시적이기도 합니다.

가치, 전통, 커뮤니티를 어떻게 보존할 것인가?

진행자: 전반적으로 우리가 이 시기를 잘 헤쳐나간다면 이것이 인류에게 어디로 향할 것인가 하는 측면에서 엄청난 낙관론이 존재합니다. 그것이 거시적인 핵심이겠군요. 많은 청취자들이 궁금해하는 또 다른 질문이 있습니다: 엄청난 부를 소유하는 것도 한 가지 측면이지만, 우리 문명에서 우리가 소중히 여기는 가치들도 존재합니다. 미덕, 가족, 수많은 사람들이 삶의 기반으로 삼는 전통적 가치들이 있습니다. 노동의 존엄성도 있고, 우리를 우리답게 만들어 주는 전통들을 비롯한 주변의 온갖 가치들도 존재합니다.

진행자: 그리고 이러한 일들이 평균적으로 그러한 전통들이 크게 존중받지 못하는 샌프란시스코에서 벌어지고 있기 때문에, 책임진 이들이 세상을 완전히 새로 개조하여 기독교든 일부일처제든 그 밖의 무엇이든 간에 우리의 전통적인 감각을 없애버릴 것이라는 우려가 일부 존재합니다. 이러한 가치들을 보존하는 데 도움을 줄 수 있는 제도를 우리가 구축할 수 있을까요? 샌프란시스코의 한가운데에 위치하여 모든 것을 변화시키는 관점에서 이 문제를 어떻게 생각해야 합니까?

슐트 더글러스: 흥미롭게도 샌프란시스코에서 우리는 오히려 이러한 제도들의 중요성이 다시 부각될 것으로 기대합니다. 사람들의 삶에서 노동이 차지하는 비중이 줄어들고, 우리가 점진적으로 더 많은 풍요를 누리게 됨에 따라 순수 자본주의가 사람들의 삶에서 차지하는 비중이 감소할 것이기 때문입니다. 우리는 사람들의 삶에서 중요한 부분이 될 것들은 바로 전통, 의식, 그리고 다른 사람들과 지역사회에 가치를 제공하는 것, 그리고 그러한 유대 관계가 될 것이라고 생각합니다.

닉 마웰: 역설적이게도, 많은 지적 추구들과 세상을 생각하는 법을 배우는 사람이 되는 방법에 대한 탐구는 경제적 의미가 아니라 오히려 그 중요성이 커지는 영역입니다. 아무것도 아쉬울 것이 없는 세상에서 그것은 스스로를 즐겁게 하고, 커뮤니티의 일원임을 느끼며, 이 모든 것들을 느끼기 위해 남겨진 마지막 남은 일종의 영역이니까요.

진행자: 두 분은 모두 젊고 대단히 성공하셨습니다. 앤스로픽이 계속 잘 풀린다고 가정해 봅시다. 그곳의 모든 이들은 자원을 가지게 될 것이고 세상 전체도 더 많은 자원을 가지게 될 것입니다. 이러한 일들을 돕기 위해 제도를 구축하는 것에 대해 생각해 보신 적이 있나요? 창조하고 싶은 열정을 가진 대상이 따로 있으신가요?

슐트 더글러스: 그렇습니다. 닉, 아버님이 연구하고 계신 유아 교육 분야 같은 훌륭한 사례를 가지고 계시죠. 하지만 이는 현재 앤스로픽 내부에서도 매우 비중 있는 논의 주제입니다. 자선사업(philanthropy)은 앤스로픽 문화의 아주 중요한 부분입니다. OpenAI 재단과 앤스로픽 임직원 기반이 쏟아부을 자선적 기부가 수백 개의 아크 인스티튜트(Arc Institute)나 수십 개의 게이츠 재단(Gates Foundations)과 맞먹을 것이라는 내용의 '미국 자선사업의 새로운 물결(The New Wave of American Philanthropy)'이라는 멋진 블로그 포스트도 존재합니다.

슐트 더글러스: 사람들은 온갖 다양한 일들을 고민하고 있습니다. 제가 기부한 재단 중 하나는 모든 바이러스성 질환을 종식시키려는 프로그램을 시도하는 곳입니다. 많은 사람들이 건강과 관련된 일들에 집중하고 있습니다. 제 동료 중 한 명은 노동 시장의 영향에 대처하는 올바른 방법을 파악하는 데 집중하는 비영리단체에 기부했습니다. 즉, 이를 철저히 연구하고, 무슨 일이 일어나고 있는지 파악하며, 우리가 실제로 우려해야 할 대상이 무엇인지, 지상의 실제 현황과 데이터는 어떠한지, 그리고 모든 사람들이 이 전환기를 거치며 지원을 받고 더 나은 상태로 반대편에 도달할 수 있도록 우리가 어떤 정책을 옹호해야 하는지 연구하는 곳입니다.

닉 마웰: 저는 이와 관련해 지난 15~20년 동안 교육에 집중해 오신 아버님의 영향을 강하게 받았습니다. 우리가 배우고 싶어 하는 내용은 크게 바뀔 것이라고 생각하지만, 20년 뒤에 사람들이 굳이 고도의 기술 분야에서 박사 학위를 취득하러 나설 것인지는 분명하지 않습니다. 하지만 지식을 향한 추구, 배움의 즐거움, 서로 지적으로 교류하는 능력, 그리고 솔직히 우리가 살아가고 있는 세상(우리가 논의해 온 대로 상황이 흘러간다면 우리 대부분에게 매우 혼란스러울 세상입니다)을 이해하는 능력은 오직 그 중요성이 더 커질 뿐이라고 생각합니다.

닉 마웰: AI 업계의 많은 사람들이 믿고 있으면서도 제가 보기에는 틀렸다고 생각하는 점 중 하나는, AI가 교육 문제를 그냥 알아서 해결해 줄 것이라는 믿음입니다. 만약 여러분이 1% 부유층에 속하며 고등 교육을 받은 부모 밑에서 자란 아이가 아니라, 모든 아이들의 교육에 관심을 둔다면, 이해해야 할 두 가지 정말 중요한 점이 존재합니다.

닉 마웰: 첫째는 교육이란 극도로 깊이 있게 복리(compounding)로 작용하는 과정이라는 점입니다. 좋은 예로, 학생들이 수학을 얼마나 잘할지 예측하는 가장 강력한 지표는 초등학교 3학년 끝날 무렵에 학년에 맞는 수준으로 글을 읽을 수 있는지 여부입니다. 3학년이 끝나면 글을 읽기 위해 배우는 단계에서(learning to read), 지식을 얻기 위해 읽는 단계로(reading to learn) 전환되기 때문입니다. 교육에는 이와 같은 지점이 많습니다. 특히 어린아이들과 많은 인간들은 자신이 무언가를 잘하지 못한다고 인식할 때 그것을 계속하려는 동기를 잃어버리는 심리적 특성을 가지고 있기 때문입니다.

닉 마웰: 그리고 이러한 관점을 믿는다면, 적어도 지금까지 AI가 극도로 취약해 보이는 한 가지 영역이 존재합니다. 컴퓨터는 어린아이들의 주의를 붙들어 매지 못합니다. 오히려 컴퓨터는 엄청나게 주의를 산만하게 만드는 요인으로 보입니다.

진행자: 원하신다면 그것을 교육용으로 완전히 새롭게 학습시킬 수도 있겠군요. 물론 확실치 않지만요, 게임의 방식을 파악해야 할 겁니다.

닉 마웰: 따라서 아이들을 교육하는 과정 중 일부는 AI가 극단적인 방식으로 도울 수 있을 것이라 생각합니다. 특히 아이들에게 딱 맞는 내용을 딱 맞는 시점에 가르칠 수 있도록 보장하는 측면에서 말이죠. 하지만 그렇다고 해서 아주 똑똑한 AI가 등장하기만 하면 교육의 모든 문제가 저절로 사라지는 만병통치약(panacea)이 될 것이라고는 정말로 생각하지 않습니다.

2028년에 대한 예측

진행자: 그 문제를 연구하고 있는 똑똑한 이들이 많습니다. 정말 요긴하다는 점에는 동의합니다. 시계를 돌려 2028년 8월로 가보죠. 이 팟캐스트를 되돌아보고 있습니다. "와, 저거 우리가 예상했던 것보다 훨씬 더 빨리 진행되었네"라고 말하기 위해 반드시 일어났어야만 하는 일은 무엇입니까?

슐트 더글러스: 우리가 예상했던 것보다 훨씬 더 빠르다고요? 우리는 이미 일이 꽤 빨리 진행될 것으로 예상하고 있습니다.

진행자: 훨씬 더 빠르게 말입니다.

슐트 더글러스: 데이터센터를 우주에 배치하는 타임라인이 대표적인 예입니다. 질문하는 대상에 따라 이에 대한 오차 범위(error bars)가 상당히 넓습니다.

진행자: 그리고 그것은 정말 중요한 부분입니다. 저 위로 올라가면 훨씬 더 많은 것을 할 수 있으니까요. 일단 그 인프라가 갖춰지면 컴퓨팅 자원의 폭발적 증가는 훨씬 더 빨라질 것이고, 그것이 바로 우리가 가장 필요로 하는 핵심입니다.

슐트 더글러스: 저는 대략 그때쯤이면 1테라와트(terawatt) 규모의 전력이 온라인 상태가 될 것으로 대략 예상하지만, 실제 전개 속도는 두고 봐야 할 것입니다. 2028년에 가정 내에 얼마나 많은 휴머노이드 로봇이 보급되어 있을지도 자못 흥미로울 것입니다. 빨래나 기본적인 청소 같은 일을 수행하는 초기 배포 형태—2028년에 가정 내에 수만 대의 로봇이 들어서는 식—가 주를 이룰 가능성이 높습니다. 하지만 그보다 훨씬 더 빨라질 수도 있습니다.

진행자: 제너럴리스트(Generalist)와 함께 방금 에피소드를 발행했습니다. 세계 모델(world models)이 얼마나 뛰어수준으로 발전하고 있는지 보면 정말 놀랍고, 제가 예상했던 것보다 더 빠릅니다. 그것이야말로 모든 것을 예상보다 몇 년 더 앞당겨지게 만드는 요인이 될 수 있을 것 같습니다.

슐트 더글러스: 정확합니다. 그리고 일단 로봇이 확보되면 복리 효과가 작용하여 진전 속도가 급격히 빨라집니다.

닉 마웰: 여기서 많은 일들이 어떤 면에서는 데이터와 연관되어 있습니다. AI 역량 진전의 가장 큰 조절 장치 중 하나는 우리가 관심을 두는 도메인에서 얼마나 빠르게 데이터를 확장할 수 있는가 하는 점입니다. 그리고 이 부분은 제가 앞서 논의한 이유 때문에 이미 예상보다 더 빠르게 진행되었습니다. 실험실의 매출 규모가 커지면서 문제를 해결하기 위해 훨씬 더 많은 자금이 투입될 수 있었기 때문입니다.

닉 마웰: 하지만 제 예상은 인류가 이 데이터를 생산할 수 있는 속도에 의해 어느 정도 제동이 걸릴 것이라는 점입니다. 예를 들어, 모델 학습을 위한 생물학적 데이터를 생산하기 위해 수많은 실험실을 짓는 십자군 운동에 착수했고, 그것이 오늘 시작되어 1년 뒤에 본격적인 궤도에 오를 것이라고 저에게 말씀해 주신다면, 제 타임라인을 더 앞당기게 될 것입니다.

진행자: 현재 우리는 코딩, 수학 및 기타 모든 것과 같은 매우 특정한 작업을 위한 이러한 모든 유형의 데이터에 분명 집중하고 있습니다. 언젠가는 덕스러운 인품, 좋은 성품, 정신 건강 등을 형성하기 위한 데이터를 다루게 될 것이라고 보십니까? 물론 훨씬 더 복잡하겠지만, 미래에 AI가 해결할 또 다른 대단히 복잡한 문제들이 존재할 수 있을까요?

슐트 더글러스: 솔직히 그러한 문제들은 인간이 해결했으면 좋겠습니다.

진행자: 하지만 그 문제를 해결하기 위해 도구를 사용하지 않을까요?

슐트 더글러스: 당연히 AI가 그러한 논의 과정에서 우리를 도울 것입니다! 하지만 제 생각에 그것은 규모를 확장하기가 꽤 까다롭고 개인에 따라 극도로 의존적일 것이라 예상되는 데이터의 범주에 속합니다. 그것은 우리가 로보틱스 문제를 해결한 시점보다 더 나중에 다가올 일입니다.

진행자: 두 분은 여전히 어느 정도 인간다우시군요. 우리 인간을 위한 여지가 아직 남아 있는 것 같아 다행입니다.

슐트 더글러스: 2028년에 AI가 퓰리처상을 수상할 것이라고 예상하냐고요? 아마 아닐 겁니다.

진행자: 음, 만약 우리가 그것이 AI라는 사실을 모른 채 상을 준다면 어떻게 될까요?

슐트 더글러스: 그럴 수도 있겠네요. 2028년에 필즈상(Fields Medal)을 수상할 것으로 예상하냐고요? 충분히 그럴 수 있죠. 매우 유력합니다. 노벨상 역시 터무니없는 소리가 아닙니다. 이번 세기(decade)가 끝나기 전에 매우 가능성 높아 보입니다.

진행자: 두 분과 이야기를 나누게 되어 정말 흥미로웠습니다. 우리가 헤쳐나가야 할 도전 과제들이 분명 존재하지만, 우리가 이 일들을 올바르게 처리한다면 인류의 미래에 대해 매우 낙관적인 감정을 품게 됩니다.

슐트 더글러스: 저도 그렇습니다. 그리고 참여해 주셔서 감사합니다.

닉 마웰: 초대해 주셔서 감사합니다.