DruckFin

Vals AI 대담: 2027년까지의 재귀적 자기 개선 예측과 독립적 모델 평가의 시급성

조 론스데일, 비벡 라마스와미의 아메리칸 오티미스트 팟캐스트, 2026년 10월 26일

라이언 크리스찬과 Vals AI 소개

허프는 이 말을 듣고 "내 생각엔 자네가 꽤 나이브한 것 같아. 마키아벨리를 좀 읽어보게. 사랑받는 것보다 두려움의 대상이 되는 게 훨씬 낫거든"이라고 말했습니다. Vals에 있는 우리 모두로부터 나온 훌륭한 이야기들이 아주 많죠. 우리도 Vals에서 본받고자 노력해 온 매우 독특한 문화입니다. 이 전체 모델 평가 생태계라는 게 애초에 대체 무엇일까요? 독립적 평가란 프런티어 랩들이 점점 더 빠른 속도로 개발을 진행하고 있으며, 스스로 규제할 책임을 져서는 안 된다는 아이디어입니다. 여러분은 RSI를 측정하는 방식을 가지고 있습니다. 앤스로픽이 2027년 7월, 어쩌면 8월쯤에는 완전한 RSI에 도달할 것으로 보입니다. 모델 발전 속도는 더 빨라질 것이고, 어쩌면 우리가 모델을 잘 이해하지 못하는 영역으로까지 진입할 수도 있습니다. 우리가 이를 면밀하게 주시하지 않는다면 그것만으로도 꽤 무서운 일이 될 것입니다. 더 뛰어난 지능은 인간보다 더 우수하게 슈퍼 포캐스팅을 해낼 것입니다. 그들은 인간 자신이 그것을 알기도 전에 어떤 인간이 무엇을 할지 실제로 정확히 말할 수 있게 될 것입니다.

라이언 크리스찬은 Vals AI의 창업자이자 CEO입니다. 새로운 AI 모델이 출시될 때마다 숫자들이 나오고 AI 모델들을 서로 비교하는 것을 보게 되는데, 그 숫자들은 종종 Vals AI가 생성한 것입니다. Vals AI는 모델을 평가하는 최고 권위 기관 중 하나로 자리 잡았습니다. 이 분야가 매력적인 이유는 모델들이 정복해야 할 새로운 산봉우리들을 끊임없이 만들어내야 하기 때문입니다. 이는 모델의 역량을 측정하는 방법을 제대로 이해하는 것은 물론, 모델의 위험성을 평가하고 위험을 점수화하는 새로운 방식을 창출해낼 것을 요구합니다. 이는 라이언이 AI 세계에서 일어나고 있는 일, AI가 나아가는 방향, 그리고 정부가 이러한 기술을 규제하기 위해 취할 수 있는 조치들과 모델 기업들이 스스로를 규제하는 방식을 구상하는 데 있어 최전선에 서 있다는 것을 의미합니다. 그는 향후 10년 동안 AI가 어떤 모습일지를 이끌어가는 프레임워크와 개념, 측정 지표들을 만들어내고 있습니다. 그의 이야기를 들어보겠습니다. 아메리칸 오티미스트에 오신 것을 환영합니다. 라이언, 오늘 함께해주셔서 감사합니다.

라이언: 초대해주셔서 감사합니다.

조: Vals AI의 창업자이자 CEO입니다.

라이언: 비벡, 여기 나와서 제가 더 똑똑해 보이도록 도와주셔서 감사합니다.

비벡: 물론이죠, 도우려고 나왔습니다.

스탠퍼드, 마이크로소프트, 팔란티어에서의 라이언 크리스찬의 경력

조: 방송에 오신 것을 환영합니다. 자, 본인의 배경에 대해 조금 이야기해 주시죠. 스탠퍼드에서 컴퓨터 과학을 전공하셨고, 마이크로소프트에서도 잠시 계셨던 것으로 압니다. 그리고 아주 오래전에 팔란티어에 합류하셨죠. 팔란티어에 합류하게 된 계기가 무엇이었나요?

라이언: 네, 초대해주셔서 감사합니다. 사실 마이크로소프트에 있을 때부터 시작되었다고 볼 수 있습니다. 고등학생 때 마이크로소프트에서 인턴을 했는데, 그때 구글에서 BERT 논문이 나왔습니다. 모르시는 분들을 위해 말씀드리면, 이것은 정말 중요한 논문이었습니다. 이 논문은 이러한 일반화된 시스템이 실제로 주요 자연어 처리(NLP) 벤치마크 전반에 걸쳐 성능을 향상시키거나 성공할 능력이 있음을 보여주었습니다. 그리고 그것은—

조: 기술적 배경이 없는 청취자들을 위해 NLP 벤치마크가 무슨 뜻인지 설명해 주시겠어요?

라이언: 음, 기본적으로 사람들이 만들어낸 특수한 테스트들이 존재한다는 뜻입니다. 사람들은 객관식 시험이나 감성 분석처럼 거기에 좋은 점수를 받을 수 있는 특화된 시스템들을 만들려고 노력했습니다.

조: 자연어에 대한.

라이언: 네, 맞습니다. 그래서 이러한 작업들 중 하나만 잘 수행하는 특화된 시스템을 구축하는 대신, 그들이 보여준 것은 아주 범용적인 모델을 가지고 있다는 점이었습니다. 그 모델은 언어에 대한 근본적인 이해를 갖고 있었고, 그것이 이 모든 벤치마크에 그대로 적용되었습니다. 갑자기 전면에서 1위를 차지하게 된 것이죠.

조: 그게 몇 년도였죠?

라이언: 2018년 혹은 2019년이었던 것 같습니다.

조: 꽤 오래전이네요. 한 생애 전 같은데요, 네.

비벡: AI의 시간대로 보면 완전 전생 수준이지만, 어쨌든 그 시기에 접어들고 있었습니다.

라이언: 네, 대단한 사건이었습니다. 그리고 제게는 이것이 매우 명확하게 다가왔습니다. 이것은 '쓴 교훈(the bitter lesson)'을 보여주는 대표적인 순간이었습니다. 우리가 알고리즘 최적화에 대해 무슨 노력을 하든, 그리고 스스로를 어떻게 기만하든 상관없이, 실제로 더 큰 규모의 데이터를 확보하는 것이야말로 새로운 형태의 지능을 열어주는 열쇠라는 생각 말입니다. 그래서 당시 저는 우리가 곧 강력한 모델이나 이와 같은 시스템을 갖추게 될 것이며, 그것이 우리 사회 구조의 필수적인 부분이 될 것임을 분명히 깨달았습니다. 동시에 모델이 악용될 수 있는 여지도 존재한다고 생각했습니다. 마이크로소프트에 재직하던 비슷한 시기에 저는 《제로 투 원(Zero to One)》을 읽었습니다. 그리고 팔란티어의 사람들이 시민 자유나 서구 민주주의의 이상을 전반적으로 보호하는 방식으로 기술을 구축하려 애쓰고 있다는 점이 점점 더 명확해졌습니다. 그래서 저는 제 가치관과 일치하는 방식으로 기술이 실현되고 채택되는 것을 보기 위해 팔란티어에서 일하는 것에 정말 큰 기대를 품었습니다. 이후 학부 시절 스탠퍼드로 진학해 거기서 연구를 하느라 한눈을 좀 팔았고, 몇 편의 논문을 출판하며 박사 과정을 밟을 트랙에 있었지만, 틈을 내어 여름 동안 팔란티어에서 일하기도 했습니다. 그것 역시 정말 시야를 넓혀준 경험이었습니다.

알렉스 카프에게서 배운 교훈과 역이미지 검색 해커톤 프로젝트

조: 팔란티어에서 카프(Karp)로부터 또 다른 교훈을 얻었다고 하셨는데, 그곳에서의 다른 흥미로운 일화가 있나요?

라이언: 네, 팔란티어에 있는 동안 겪었던 멋진 이야기들이 많습니다. 우리가 Vals에서도 본받으려고 노력해 온 매우 독특한 문화죠. 어쨌든 그곳에 있을 때 저는 해크 위크(Hack Week) 프로젝트에 참여할 기회가 있었습니다. 이건 기본적으로 저와 런던에 있던 어떤 친구가 생각해낸 아이디어였습니다. 우리는 원격으로 그에 대해 대화를 나누었고, 저는 비행기를 타고 건너갔습니다. 본질적으로 저는 CLIP이라는 결합된 이미지-텍스트 임베딩 모델을 가지고 약간의 작업을 해둔 상태였습니다.

조: 청취자들을 위해 그것이 무엇인지 설명해 주시겠어요?

라이언: 이미지 입력과 텍스트 입력을 동일한 의미론적 이해로 인코딩할 수 있는 단일 모델이라는 아이디어죠. 우리가 하려고 했던 것은 고담(Gotham)에 역이미지 검색 기능을 구축하는 것이었습니다. 단순한 텍스트 검색어 입력 대신, 파란색 자동차 같은 이미지를 업로드하면 전체 데이터베이스를 검색하여 찾고자 하는 파란색 자동차들을 불러오는 식입니다. 그리고 이것이 가능했던 이유는 텍스트를 이미지에 매핑해 주는 동일한 기반 임베딩 공간을 사용하고 있었기 때문입니다. 아무튼 이것은 제가 출판했던 연구 논문이었고, 저는 그것을 바탕으로 기능을 구현해보고 싶었습니다. 그래서 실제로 정직원들이 우리 팀에 합류했고, 저는 인턴 신분으로 이 소규모 팔란티어 직원 팀을 이끌었습니다. 정말 짜릿한 경험이었죠. 그 주의 상당 기간 동안 잠을 자지 못했습니다. 그리고 이 아이디어가 최종 후보로 선정되어 전 회사 앞에서 발표를 하게 되었습니다. 실제로 제가 퇴사한 후 그들은 이 아이디어를 특허로 등록하고 제품화까지 진행했습니다. 제가 품었던 작은 아이디어와 팔란티어 입사 전에 연구하던 내용이 회사의 제품의 일부가 되고 그들이 통제하고 싶어 하는 지식재산권이 되는 것을 보는 것은 정말 엄청난 일였습니다. 어쨌든 이 과정을 통해 카프를 직접 만나 대화를 나눌 기회도 얻었습니다. 저는 그에게 이런 질문을 던졌습니다. "팔란티어에 대한 평판이 너무 안 좋은 것 같습니다. 제가 스탠퍼드에 있었을 때 시위도 많았고요—"

조: 당신은 그 가치관에 대해 매우 긍정적이었지만, 외부의 인식은 예상보다 훨씬 부정적이었군요.

라이언: 네, 맞습니다. 기술을 어떻게 사용할지, 그리고 그 기저에 깔려야 할 가치가 무엇인지를 결정하는 것은 우리가 투표로 권력을 부여하는 유권자들의 손에 달린 문제이며, 기술이 사용되어서는 안 되는 곳을 거부하는 것은 기술 기업들이 나설 자리가 아니라는 점이 제게는 매우 명확했습니다. 그곳의 사람들은 아주 신중하게 생각하고 있었습니다. 사실 오늘날 우리가 '정렬 문제(alignment challenge)'에 대해 이야기하듯, 팔란티어의 사람들은 이미 이를 '인간과 AI의 공생(human-AI symbiosis)'이라는 개념으로 이야기하고 있었습니다. 그것은 당시에도 논의되던 주제였습니다. 심지어 지능의 분류 체계에 대해서도 우리는 지금 그것을 모방한 평가 및 벤치마크 시스템을 가지고 있습니다. 따라서 사람들이 깊이 고민하고 있던 근본적인 문제들이 있었습니다. 그리고 회사의 대외적 인식이 그토록 부정적이라는 점이 제게는 놀라웠습니다. 기술의 잠재적이고 어두운 부작용들에 대해서만 왜곡된 이해를 바탕으로 이야기하곤 했으니까요. 막상 팔란티어는 코로나19 백신 배포를 돕고 수많은 병원들을 지원했음에도 말이죠. 사람들이 지적할 수 있는 다른 사례 연구들도 있었는데 말입니다. 그러자 카프는 이 말을 듣고 이렇게 말했습니다. "음, 내 생각엔 자네가 꽤 나이브한 것 같아. 마키아벨리를 좀 읽어보게. 사랑받는 것보다 두려움의 대상이 되는 게 훨씬 낫거든." 그리고 실제로 그는 다른 컨설팅 기업들과 비교를 하며, 그들이 우리를 두려워한다면 적어도 우리가 강력하다고 생각하고 있는 것이라고 말했습니다. 그렇기 때문에 위기의 순간에 그들은 우리 같은 사람들을 찾아오게 될 것이라는 겁니다. 정말 흥미로웠습니다. 사실 이는 오늘날 AI 랩들이 보여주는 모습과도 많이 닮아 있습니다. 모델들의 역량에 대한 진정한 두려움의 측면도 일부 있겠지만, 많은 부분에서는 자신들이 구축하고 있는 기술의 위력을 과시할 기회로 삼는 것이기도 하죠.

조: 다리오가 신중하게 의도한 것이라면, 사람들이 자신을 두려워하게 만드는 것조차 의도된 것일지도 모르겠네요.

라이언: 다리오든 샘이든, 대중이 두려워할 권리가 있다는 식의 헤드라인들을 보게 됩니다. 하지만 그것은 리더가 취할 합리적인 태도가 아니라고 생각합니다. 그리고 이 프로그램의 이름은 '아메리칸 오티미스트'입니다. 저는 실제로 꽤 낙관적인 편이며, 합리적으로 행동하고 AI의 결실이 훨씬 더 긍정적일 것임을 바라보고 있습니다.

과학적 발견, 암호 해독, 그리고 검증의 병목 현상

조: 자, Vals와 AI 모델 평가의 과학에 대해 깊이 들어가기 전에, AI 진보의 현주소와 우리가 어디에 와 있는지에 대해 조금 이야기해 봅시다. 사실 당신은 앤스로픽의 펠로(Fable)를 사용하여 370년 된 암호를 해독했다고 들었습니다. 370년 된 암호라니, 이게 대체 무슨 뜻인가요?

라이언: 맞습니다. 음, 우리는 지금 여러 가지 유형의 평가를 수행하고 있는데, 현재 프런티어가 향하고 있는 방향 중 과학적 발견이나 새로운 발견은 매우 흥미진진한 최전선입니다. 그래서 우리는 미해결 암호, 수학 문제, 물리학 문제들의 집합을 컴파일해 왔습니다.

조: 청취자들을 위해 미해결 암호가 무슨 뜻인지 설명해 주시겠어요? 그게 어떤 의미인가요?

라이언: 기본적으로 해독하려고 시도하지만 해독할 키가 없는 코드를 말합니다. 따라서 소스 텍스트에서 원래 텍스트로의 매핑을 구축하고 메시지가 실제로 무엇인지 알아내야 합니다.

비벡: 이들 사례 중 상당수는 세계 지도자가 다른 세계 지도자에게 보낸 메시지이거나 해적선에서 발견된 것들이었습니다.

라이언: 네, 맞습니다.

조: 일회용 패드(one-time pad) 같은 것이 사용되었을 수도 있겠군요. 그런 경우라면 둘 다 그것의 복사본을 가지고 있기 때문에 해독할 수 없습니다. 각각의 항목이 변환되는 방식 때문에 아마 불가능하겠지요—

라이언: 그럴 수도 있지만, 개인이 문제를 어떻게 구성했거나 상대방에게 전달하고자 했던 메시지가 무엇이었는지에 대해 도출할 수 있는 단서들이 더 존재합니다. 보통 메시지들은 수신자가 해독할 수 있도록 고안된 방식으로 구성되어 있습니다.

조: 현재 AI 진보에 대한 다소 냉소적인 시각 중 하나는, AI가 이러한 모든 탐색 공간(search space)을 훑어보는 데 정말 뛰어나며, 인간에게는 수백만 개의 경우의 수를 일일이 검토할 시간이나 능력이 없는 아주 거대한 탐색 공간으로 분해할 수 있는 특정 문제들이 존재한다는 점일 겁니다. 반면 암호의 예를 들자면, 제가 암호를 해독하기 시작한다면 "이 모든 항목에 각각 숫자를 더해보거나 하나씩 밀어보면 어떨까?"라고 말하며 자명한 것들을 탐색하겠지만, 컴퓨터는 수백만 가지의 경우를 정말 빠른 속도로 탐색할 수 있습니다. 그렇다면 수학과 과학 분야에서 일어나고 있는 많은 돌파구들은 단순히 누군가가 탐색할 탐색 공간을 더 잘 정의해준 덕분인가요, 아니면 모델로부터 더 창의적인 사고가 일어나고 있는 것인가요?

라이언: 해결된 문제들 중 상당수는 소진법(exhaustion)을 통해 해결되었거나 반증 사례를 찾으려고 시도하는 과정에서 수많은 다른 반증 사례들을 시도할 수 있는 능력의 한계에 부딪혔던 것들입니다. 하지만 저는 그러한 부류의 문제를 가볍게 여겨서는 안 된다고 생각합니다. 인간이 소진법을 통해 평생이 걸려야 겨우 달성할 수 있는 많은 일들을 이제 모델을 통해 몇 시간 만에 볼 수 있게 되었습니다.

조: 그렇다면 AI가 전반적으로 많은 수학 및 과학 문제를 해결하고 있는 건가요, 아니면 이를 어떻게 바라봐야 할까요?

라이언: AI는 일반적으로 극도로 도전적인 문제들을 해결하고 있으며, 여전히 인간의 노력이 병목 현상으로 작용하는 방대한 부류의 문제가 존재한다고 생각합니다. 해결책에 대한 직관을 요구하는 방식처럼, 예외적으로 참신한 방식으로 진전을 이루려면 훨씬 더 지속적인 노력이 필요할 것입니다. 그리고 인간이 축적해온 그러한 종류의 직관들을 지금 당장 모델에 그대로 전달하기는 매우 어렵습니다.

비벡: 또한 모델들이 나비에-스토크스(Navier-Stokes) 방정식이나 모델이 도출해낸 결과물들처럼 믿기 힘든 결과들을 산출해내고 있고, 우리는 이러한 결과들이 나오고 있다는 점을 인정하고 있습니다. 하지만 그것들은 매우 이해하기 어렵고, 파싱하기도 힘들며, 이해하기 곤란합니다. 이러한 덜 검증 가능한 도메인에서 발견(discovery)이 어떻게 이루어져야 한다고 생각하시나요? 아니면 우리가 이들의 발견을 신뢰하기 위해 모델이 행동하는 방식에서 무엇이 바뀌어야 할까요?

라이언: 네, 제 생각에는 이것이 가장 큰 병목 현상 중 하나입니다. 특히 인간 지능의 최전선에 다가갈 때 더욱 그렇습니다. 인간 전문가들을 동원해 이 긴 출력물이 실제로 맞는지 검증하는 것은 정말 어렵습니다.

비벡: 네, 맞습니다.

라이언: 수학 분야에서 가장 인기 있는 기법 중 하나로 다른 분야에도 적용될 수 있을 것이라 생각하는 것은 '린(Lean)' 같은 검증 가능한 언어를 사용하는 아이디어입니다. 이 세계에서는 출력물을 가져와 하나의 언어로 변환할 수 있는데, 만약 그 언어가 컴파일된다면 그것은 반드시 참이어야만 합니다. 우리는 이미 참으로 알고 있는 기본 요소들(primitives)을 바탕으로 구축해 나가는 것입니다. 따라서 이러한 접근법은 물리학이나 코딩 같은 다른 분야에도 적용될 수 있습니다. 또한 현실 세계가 최고의 검증자 역할을 하는 사례들도 볼 수 있을 것입니다. 분석(assay)이나 습식 실험실(wet lab) 실험을 실행함으로써, 모델이 예측한 속성들이 실제로 그러한지 확실하게 알 수 있게 될 것입니다.

비벡: 일리가 있네요. 그렇다면 랩들이나 귀사, 혹은 다른 조직들이 이러한 실험과 검증을 어떻게 운영해야 한다고 생각하십니까?

라이언: 적어도 매우 신중하게 해야 합니다. 이를 지원할 수 있는 제3자 그룹이 존재한다는 것이 필수적일 것이며, 이것이 바로 Vals 자체의 비전 뒤에 있는 배경입니다. 우리는 현재 랩들 간에 모델에 대한 접근이 제한적인 세상에 살고 있습니다. 그래서 앤스로픽 연구원들은 오픈AI 모델을 평가하는 데 어려움을 겪고, 그 반대의 경우도 마찬가지이며, 그것은 일종의 의도된 결과입니다. 하지만 이는 공정한 비교(apples-to-apples comparison)를 하기 매우 어렵게 만듭니다. 이러한 평가를 수행하는 최고의 인재들은 종종 이미 랩에 소속되어 편향을 가진 사람들이기 때문입니다.

기업 워크플로의 자동 벤치마킹과 품질 정의

조: 네. 그리고 한 걸음 물러서서 보면, AI가 이전에는 할 수 없었던 일들을 이제는 모두 해낼 수 있게 되었습니다. 그리고 이 과정의 큰 부분은 당연히 그것을 측정하는 방법을 이해하는 것입니다. 곧 그 이야기를 나누겠지만, 그것이 바로 여러분이 하는 일이죠. 아주 거시적인 관점에서 측정의 문제 중 하나는 기업 내에서 '좋은 일'이란 무엇이며 작업의 질이 얼마나 뛰어난지를 측정해야 한다는 점입니다. 예를 들어, 로펌 같은 곳이라면 어소시에이트(associate) 수준의 업무와 파트너(partner) 수준의 업무를 정의할 수 있겠죠. 도대체 그것을 어떻게 정의할 수 있을까요? 이것이 우리가 해결하려 노력하고 있는 문제인가요? AI가 무엇이 무엇인지 이해하는 능력이 점점 더 나아지고 있나요?

라이언: 정말 도전적인 문제입니다. 여러 면에서 우리는 아직 인간 수준에서도 이를 해결하지 못했습니다. 어소시에이트 수준의 업무와 파트너 수준의 업무가 무엇인지에 대해 매우 명확한 구분을 내리지 못하고 있습니다.

조: 연방대법원이 포르노그래피가 무엇인지에 대해 "보면 알 수 있다(you just know it when you see it)"고 말했던 것처럼 말이죠. 그게 대답이었죠. 그런 식입니다.

라이언: 네, 재밌군요. a16z 방송에서 벤 호로위츠(Ben Horowitz)가 했던 말과 거의 정확히 일치하네요.

조: 두 분이 뇌를 공유하고 있거나 한가 보네요.

라이언: 재밌네요. 글쎄요, 적절한 비유죠, 그렇지 않나요? 하지만 당신의 임무는 바로 이러한 것들을 파악하고 정의하는 것입니다.

라이언: 네, 맞습니다. 컨설팅 중심의 접근 방식을 취하여 사람과 마주 앉아 그들로부터 '좋은 것'이 무엇인지 이해하려 노력하고, 그것을 반복 가능한 평가 지표로 인코딩한 뒤 실행하는 방법이 있습니다. 이것이 전통적으로 평가가 구축되어 온 방식이라고 생각합니다. 제가 진심으로 낙관하는 접근법은 '자동 벤치마킹(auto-benchmarking)'이라는 아이디어입니다. 모델 발전 속도는 계속되고 있으며, 우리는 점점 더 유능한 모델들을 갖게 될 것이고, 따라서 기반 작업 자체도 변해야 합니다. 그래서 제가 매우 기대하는 바는, 인간에 의해 이미 수행된 이전 작업을 가져와서 그러한 반사실적 상황(counterfactual)에서 모델이 산출해낼 작업 결과물의 품질을 근사할 수 있다는 아이디어입니다. 그런 식으로 이미 생산된 모든 작업물에 대한 평가를 체계적으로 구축할 수 있습니다. 예를 들어, GitHub 저장소를 살펴보고 인간에 의해 이전에 머지(merge)된 PR(풀 리퀘스트)들을 검토하여 에이전트들이 동등하게 그것을 해낼 수 있는지, 그리고 어떤 에이전트가 비용을 가장 절감한 방식으로 해내는지 확인할 수 있을 것입니다. 그리고 법률 분야의 레드라이닝(redlining) 과정이나 의학 분야의 진단 과정에서도 이와 유사한 병렬적 적용이 가능하다고 봅니다.

조: 이것이 이 모든 작동을 위해 정의해야 하는 워크플로와 결과물에 대한 온톨로지(ontology)로 이어지는 건가요? 그것이 일종의 기저에 깔린 핵심인가요? 측정하기도 전에 가능한 결과물들을 실제로 이해해야만 하는 것인가요, 아니면 이 문제를 어떻게 생각하십니까?

라이언: 가장 어려운 부분은 실제로 결과물 그 자체를 측정하는 것이라고 생각합니다. 왜냐하면 기업 내의 중간 과정과 워크플로들이 결국 최종 결과물로 이어지는 조직을 뒷받침하는 방식에는 수많은 경로가 존재하기 때문입니다. 따라서 특정 작업과 직무 사이의 연결고리, 그리고 직무와 결과물 사이의 연결고리를 도출하기가 종종 어려습니다. 그러므로 토큰의 입력이 최종 출력의 중간 과정으로 매핑되는 과정은 '워크플로'라는 개념을 거쳐야 합니다.

조: 그것을 측정하기 전에 사전에 정의해야 하는 수많은 중간 결과물들이 존재하겠군요.

라이언: 네, 제가 말씀드리고자 하는 것이 바로 그겁니다. 쿼리 수준은 결과물에 도달하기 위해 필요한 전체 과정의 일부일 뿐이라는 점이죠.

조: 멋지군요.

독립적 모델 평가의 아키텍처

비벡: 흥미로운 점은 지난 몇 년 동안 우리가 무엇에 관심을 가져야 하는지에 대해 서로 다른 세분화 단계를 거쳐왔다는 것입니다. 그것은 모델들이 무엇을 할 수 있는지와 일치합니다. 하지만 2년 혹은 3년 전만 해도 우리는 단순한 텍스트 완성(text completions)만을 평가했고, 입력-출력 쌍을 살펴보았으며 그것은 오직 텍스트뿐이었습니다. 그런데 이제는 그 중간에 수많은 요소들이 개입되어 있습니다. 우리가 업무를 살펴볼 때, 사람들이 평가를 수행하는 시간 지평(horizon)은 어디쯤에 있으며, 작업의 지속 시간과 모델이 작업을 수행할 수 있는 역량의 현주소에 대해 청취자들에게 설명해 주시겠습니까?

조: 네, 기술적 배경이 없는 청취자들을 위해 이 전체 모델 평가 생태계라는 게 대체 무엇인지 설명해 주세요.

라이언: 음, 그것은 '좋은 것'이 무엇인지 측정하고, 모델이 그러한 출력물을 산출할 역량이 되는지 살펴보는 광범위한 개념입니다. 우리는 평가를 크게 두 가지 범주, 즉 '역량(capabilities)'과 '위험(risks)'으로 나누어 생각합니다. 역량은 출력물을 근사하는 것이며, 위험은 무언가 잘못되었을 때 비대칭적인 악영향(downside)이 발생하지 않도록 보장하는 것입니다. 그리고 시간 지평의 관점에서 볼 때, 모델들은 인간의 개입 없이 점점 더 오랜 기간 동안 작동할 수 있음을 우리에게 증명해 보였습니다.

조: 어느 정도의 시간 지평을 말씀하시는 건가요?

라이언: 우리의 벤치마크 중 일부는 5일 동안 실행됩니다.

조: 그건 인간의 5일 치 업무량을 말하는 건가요, 아니면 실제 경과 시간(wall-clock time)으로 5일을 뜻하나요?

라이언: 실제 경과 시간 기준입니다, 네.

조: 왜 5일이 지나면 멈추는 거죠? 어느 시점부터는 그냥 영원히 계속 실행될 수는 없는 건가요?

라이언: 실패하기 때문이 아니라 정체(plateau)되기 때문입니다. 추가적인 토큰들은 실제로 새로운 도약을 이루는 데 도움을 주지 못합니다.

조: 그렇다면 그들은 그 문제에 대해 자신들이 할 수 있는 모든 것을 다 알아낸 상태가 된 거군요.

라이언: 혹은 그들이 마주한 벽을 우회할 수 있는 새로운 접근법을 시도할 만큼 끈질기지 못한 것입니다.

비벡: 재무 관련 벤치마크나 법률 관련 벤치마크에서 이러한 모델들이 수행할 수 있는 작업의 종류를 청취자들에게 예시로 들어주실 수 있나요? 우리가 실제로 이러한 모델들로 어떤 업무를 복제할 수 있습니까?

조: 네, 기본적으로 아주 다양한 영역에 대해 독립적인 평가를 수행하고 계시죠.

라이언: 맞습니다, 네.

조: 그렇다면 귀사와 팀이 재무가 무엇을 하는지, 법률이 무엇을 하는지 이해해야 한다는 뜻인가요? 이러한 벤치마크를 구축하려면 여러분 스스로 전문성을 갖추어야겠군요.

라이언: 음, 우리는 이 분야의 파트너들과 협력합니다. 법률 측면에서는 미국의 대형 로펌들과 협력하고, 재무 분야에서는 글로벌 기업 은행들과 협력하여 그들이 금융에서 무엇을 하고 있는지 이해합니다. 코딩 분야에서는 VibeCodeBench 같은 작업들이 있습니다. 여기서는 모델이 풀스택 웹 애플리케이션을 구축하는 능력을 측정하거나, 엔드투엔드 코드 마이그레이션을 수행하려는 코드 마이그레이션을 측정합니다. 재무 분야에서는 연구 질문에 답하거나 엑셀 모델을 구축할 수 있는지 살펴봅니다. 법률 분야도 유사하게 법률 연구 작업이나 세무 연구 작업을 수행합니다. 이것들이 오늘날 사람들이 모델을 사용하려 애쓰는 공통된 영역들입니다.

조: 제가 처음 엑셀 모델을 만들 때 있던 옛날 상사가 있었는데, 엑셀을 특정한 방식으로 보이게 만들거나 예쁘게 만들어야 했고 주변에 아주 짧은 행들이 있었습니다. 스타일을 기준으로도 모델을 평가하나요, 아니면 오직 정확성(correctness)만 보나요?

라이언: 정확성은 근본적이지만, 스타일 역시 이에 있어 핵심적인 부분입니다. 그리고 그것은 우리가 금융 분야의 사람들과 가까이 일하면서 발견한 점이기도 합니다.

조: 네, 그들은 정말 그런 것에 신경을 쓰는 것 같더군요. 보기 좋으면 가독성이 훨씬 높아지긴 하니까요.

비벡: 우리는 우리가 글을 쓰는 방식과 스타일에 맞춰 일이 처리되는 것을 좋아합니다. 만약 모델들이 그렇게 하지 않는다면—

조: 딜(deal)을 성사시킬 가능성도 더 높아지는 걸까요, 아니면—

비벡: 무의식적으로라도 그런 작용이 있겠죠?

조: 비록 사람이 당신에게 어필할 수 있다면 다른 사람들에게도 어필할 수 있다는 것을 암시하긴 합니다. 왜냐하면 모든 것이 엉망진창이고 보기 흉하다면 다른 사람들도 그들과 일하고 싶어 하지 않을 것이라고 생각할 테니까요. 누가 알겠습니까? 다른 집단을 감동시키기 위해 한 집단을 감동시키는, 유용한 장벽 역할을 하는 것들이 항상 존재하죠. 한 걸음 물러서서, 독립적 평가란 실제로 어떻게 작동합니까? 사람들이 돈을 지불하나요? 누가 돈을 내나요? 어떻게 돌아가는 거죠? 공간에 있는 모든 사람들을 평가할 수 있나요, 아니면 돈을 지불하는 사람들만 평가하나요?

라이언: 독립적 평가의 기저에 깔린 아이디어는 프런티어 랩들이 점점 더 빠른 속도로 개발을 진행하고 있으며, 스스로 규제할 책임을 져서는 안 된다는 것입니다. 직접적인 정부 규제는 종종 개발 속도를 늦출 수 있으며, 따라서 그것이 항상 최선의 해결책은 아닙니다. 대신 평가자 생태계나 시장이 존재한다면, 그들이 실제로 경쟁하고 프런티어의 속도를 따라잡을 수 있는 새로운 기술을 개발할 수 있습니다. 장기적으로 볼 때는 모델들을 정렬하고자 하는 일련의 이상들을 정의할 책임이 있는 정부로부터 라이선스를 받을 수도 있습니다.

조: 음, 멋지군요. EA(효과적 이타주의) NGO 출신의 이상한 사람들을 무더기로 고용하는 대신, 실제로 여러분을 고용하거나 여러분의 경쟁자 중 누군가를 고용할 수 있겠네요.

라이언: 전적으로 그렇습니다. 네, 그러한 세상에서는 최고의 기술이 승리해야 합니다. 랩에 있는 사람들과 이념적으로 유사한 사람들만이 테스트를 수행해야 한다는 법은 없습니다. 오히려 세상은 이렇게 물어야 합니다. 우리는 모델이 어디로 가기를 원하는가? 그리고 정렬과 비정렬은 어떤 모습인가? 그러한 테스트 과정을 수행할 일련의 IVO(독립 검증 조직, independent verification orgs)들을 인증할 수 있는가?

조: 그리고 여러분이 테스트하고 측정하는 방식을 기반으로, 여러분은 정부가 잠재적으로 규칙을 만들 수 있는 영역을 변화시키게 됩니다. 왜냐하면 여러분이 현재 존재하지 않던 일련의 가능성들을 새롭게 창출하고 있기 때문입니다.

라이언: 그것도 올바른 접근 방식입니다. 업무를 수행하는 과정에서 우리는 이전에는 실제로 불가능했던 새로운 유형의 평가들을 열어젖혔습니다. 그래서 우리는 정부가 실제로 무엇을 테스트할 수 있는지를 진전시키는 데 기여하고 있습니다.

사이버보안 평가와 SOAR-Bench 프레임워크

조: 그런 사례들을 몇 가지 들어주실 수 있나요? 여러분이 사물을 측정하거나 벤치마크를 만드는 새로운 방식들에는 어떤 것들이 있나요?

라이언: 네, 예를 들어 사이버 보안을 살펴보죠. 우리는 사이버 분야에서 세 가지 주요 연구를 수행했습니다. 첫 번째는 오픈소스 저장소에서 메모리 코드 취약성을 살펴보는 것입니다. 이는 모델이 코드 취약성을 식별하고 패치하는 능력을 의미합니다. 우리는 오늘날 모델들이 클로즈드소스와 오픈소스 모두에서 매우, 아주 뛰어난 성능을 발휘하고 있음을 보고 있습니다. 하지만 우리의 두 번째 벤치마크는 'SOAR-bench'라고 불립니다. 이는 실행 파일(executable)을 디컴파일(decompile)하는 모델의 능력을 측정합니다. 즉, 모델이 실제로 클로즈드소스인 대상의 기저 코드베이스를 이해할 수 있는지를 평가하는 것입니다.

조: 와.

라이언: 그리고 그 경우, 클로즈드소스 모델들은 여전히 중국의 오픈소스 대안들을 훨씬 능가하고 있음을 확인하고 있습니다.

조: 사람들이 이 접근법을 사용하여 바이너리로부터 비디오 게임 소스 코드를 얻어내기도 하나요? 사람들이 그걸 위해 사용하고 있는 건가요?

라이언: 바로 그 용도로 사용하는 것입니다. 네, 저라도 그렇게 사용할 겁니다. 특히 14살 소년이었다면요.

조: IP법을 위반하거나 그런 목적으로 시도하는 사람들이 아마 있겠죠.

라이언: 네, 제 생각에 두려운 점은 만약 모델이 취약성을 찾아내고 악용하는 데 정말 뛰어나다면, 그것이 윈도우(Windows)처럼 클로즈드소스인 시스템에도 적용될 수 있다는 점입니다. 실제로 클로즈드소스 시스템들은 우리 소프트웨어 인프라의 막대한 부분을 지탱하고 있으니까요.

조: 정말 매혹적이군요. 모델들은 점점 더 정교해지고 똑똑해지고 있습니다. 여러분은 여전히 그들에게 높은 점수를 매기고 있죠. 최근에 제미나이 1(Gemini 1)이 훨씬 앞서 나왔던 것으로 기억합니다. 그들은 레벨 4를 기록했고 Vals의 결과물을 보여주었죠—제가 본 최초의 수치였습니다. 다른 이들이 50점대에 머물 때 그들은 60점대에 있었습니다. 그렇다면 여러분이 디자인하기에 따라 여전히 70점, 80점, 90점, 그 어떤 점수도 가능할 수 있다는 뜻이네요. 그렇다면 여러분은 어떻게 그토록 더 높은 수준을 갖춘 테스트를 디자인할 수 있는 건가요? AI를 사용하여 그것을 만들 수는 없을 테니까요. 여러분이 어떻게든 직접 그 일을 해내고 있거나, 아니면 AI가 여러분이 그걸 해내는 것을 돕고 있는 건가요? 설명해 주시죠. 만약 이 모델들의 실력이 고작 그 정도라면, 어떻게 모델들이 할 수 있는 것보다 훨씬 더 복잡한 것을 만들어낼 수 있는 겁니까? 어떻게 그걸 알아내시는 건가요?

라이언: 저희 회사에는 비공식 모토가 있습니다: '언제나 더 높은 봉우리(always a higher peak)'라는 것입니다. 연구의 세계에서는 산을 오르고(hill-climb), 벤치마크를 식별하고, 가독성 있는 평가를 찾아낸 뒤, 그에 더 능숙한 모델들을 지속적으로 만들어내려는 노력이 끊이지 않습니다. 따라서 Vals의 기저에 깔린 근본적인 시각은 항상 더 높은 봉우리가 존재한다는 점입니다. 우리는 다른 사람들이 오르기로 선택하는 산을 직접 건설하는 사람들입니다. 따라서 우리는 모델들이 나아가기를 바라는 공백과 지점들을 찾아내어, 그것을 평가 지표로 가독성 있게 구현해내는 능력을 꾸준히 증명해왔다고 생각합니다.

조: 모델보다 더 진보된 산봉우리를 어떻게 구축하는지 우리에게 예시를 들어줄 수 있나요? 모든 비밀을 다 털어놓지 마세요—저도 당신 회사에 투자한 투자자이니까요. 하지만 이것이 어떻게 이루어지는지 감을 잡을 수 있게 설명해 주세요. 어떤 모델도 풀 수 없는 것보다 더 어려운 것을 만들어내는 것은 정말 어려운 일처럼 보이니까요.

라이언: 여러 면에서 우리 역시 모델을 활용하여 다른 모델들에게 도전 과제를 던질 시스템이나 상황을 구축하고 있습니다. 그리고 이는 우리가 깊이 생각하는 아이디어인 '확장 가능한 감독(scalable oversight)'으로 이어집니다. 모델들이 최고의 인간들을 압도하기 시작함에 따라, 우리는 모델들을 확장 가능하게 테스트하고 평가하기 위해 모델 그 자체에 의존해야 할 것입니다. 예를 들어, 우리는 기업용 클라우드 네트워크를 위한 시뮬레이션 환경을 구축하는 사이버 레인지(cyber ranges)를 기반으로 곧 출시될 새로운 사이버 보안 연구를 진행하고 있습니다. 그리고 그 도메인에서는 여전히 최고의 프런티어 모델들조차 기대에 미치지 못하고 있는 것을 보고 있습니다.

조: 그렇다면 아주 복잡한 가상의 기업 네트워크를 구축하고, 사람들에게 그것을 해킹하고 보호하도록 도전 과제를 던지는 식이군요?

라이언: 맞습니다, 네.

조: 멋지군요. 그리고 그것이 지금 이미 존재하고 있나요?

라이언: 존재합니다. 아직 공개되지는 않았습니다. 미국 정부 관계자들과 협력하여 결과를 공유하고 있지만, 조만간 공개 버전을 선보이게 될 것입니다.

조: 정말 유용할 것 같군요. 대형 은행들을 운영하는 많은 이들과 친구로 지내고 있는데, 그들이 사용하는 시스템을 위해 이런 대회를 세팅하고 최고 수준의 것을 사용하고 있는지 확인하고 싶어 할 것 같네요?

라이언: 전적으로 그렇습니다. 또한 이는 네트워크 자체의 어떤 안전장치나 시스템이 이러한 모델들에 대한 최고의 방어 형태인지 이해하는 데도 도움을 줍니다. 모델들에 존재하는 가드레일(guardrail)을 우회할 수 있는지 확인하기 위한 자동화된 레드 티밍(automated red teaming)과 관련하여 우리가 수행할 수 있는 흥미로운 분석들도 존재합니다.

조: 그렇군요.

지정학적 성향(Tilt)과 중국 AI 모델 벤치마킹

비벡: 사람들이 중국 모델을 사용하는 것에 대해 이야기할 때 그것은 시의적절한 주제처럼 보입니다. 일반적으로 클로즈드소스 모델들에는 존재할 중국 모델들의 가드레일 중 어떤 것들이 제거되었는지 아는 것 말입니다.

조: 네, 누군가 이러한 오픈소스 중국 모델 중 하나를 사용하고 있는데, 그 안에 무서운 무언가가 숨겨져 있을 수도 있죠. 일전에 이러한 모델 중 하나에 무언가가 숨겨져 있어서 당신이 미국 정부를 위해 일하고 있다는 것을 알게 되면 더 쉽게 뚫릴 수 있는 코드를 작성한다는 사실이 밝혀진 적이 있잖아요? 그들이 실제로 그것을 증명해 냈죠. 모델이 미국 정부와 일하는 사람들에게 분명히 편향되어 있다는 것이었습니다. 중국에서 온 것이니 꽤 걱정스럽죠. 이런 것들을 테스트해서 누구나 안전하게 사용할 수 있도록 만들 수는 없을까요?

라이언: 우리는 실제로 이와 관련해 '모델의 지정학적 성향(geopolitical tilt of models)'이라고 부르는 평가를 진행하고 있습니다. 이 팟캐스트가 방영되는 시점에 따라 어떤 결과가 나와 있을지 보게 되겠지만요. 우리가 측정하려는 것은 모델이 중화인민공화국(PRC)이 제시한 바에 따라 세계에 대해 미국의 시각을 더 많이 보여주는가, 아니면 중국의 시각을 더 많이 보여주는가 하는 점입니다. 실제로 생각보다 훨씬 더 미묘한 그림이 그려집니다. 예를 들어, 우리가 발견하고 있는 바는 중국의 오픈소스 모델인 GLM-5.3이 실제로 친중국 편향을 거의 드러내지 않는다는 점입니다. 우리는 실제로 이를 몇몇 랩에 발표했고, 어쩌면 미국 모델로부터 완전히 증류(distillation)되었기 때문 아닐까 하는 의구심이 있었습니다.

조: 재밌군요. 너무 완벽하게 베끼다 보니 너무 많은 것을 추가하는 것을 잊어버린 탓이군요.

라이언: 그럴 수도 있습니다. 제 생각에는 그러한 모델들이 실제로 중국 내 가드레일이 적용된 시스템에 호스팅되어 있기 때문에, 일단 가드레일 환경에 두면 세계에 대한 PRC의 시각을 더 일관되게 따르게 될 것이라는 다른 시각도 존재할 수 있습니다. 하지만 중국은 또한 이 모델들이 브릭스(BRICS) 국가들에 의해 채택되기를 원하며, 이는 더 균형 잡힌 세계관으로 기울어야 할 수도 있음을 의미합니다. 어쨌든 그 이유가 무엇이든 간에, 지정학적 성향에 대해 사람들이 생각하는 바와 우리가 실제로 현장에서 보는 것 사이에는 큰 괴리가 존재합니다. 또 다른 흥미로운 점은 사용하는 언어에 따라(심지어 간체자와 번체자의 차이에 따라서도) 챗봇 환경과 에이전트 환경에서 사용되는 모델 간에 꽤 뚜렷한 차이가 난다는 것입니다. 따라서 기업 환경에서 중국 모델을 일률적으로 사용해서는 안 된다고 단정 짓기 어렵게 만드는 수많은 혼재된 요인들이 존재한다고 생각합니다.

조: 그렇다면 중국 랩들이 이러한 모든 역량을 훌륭하게 증류해낼 수 있고 현재 중국 쪽으로 편향되어조차 있지 않다면, 우리는 어떻게 미국의 우위를 유지할 수 있을까요? 그게 무슨 의미인가요?

라이언: 도전적인 질문입니다. 제가 계속해서 되돌아보게 되는 영역은 두 가지가 있습니다. 첫째는 칩이 우리가 보유한 상당한 자산이라는 점입니다. 대부분의 사람들이 놀라워하지만, 중국이 보유한 것에 비하면 우리는 컴퓨팅 자원에 파묻혀 지내고 있습니다. 따라서 그 상태가 유지되는 한 우리는 더 유능한 시스템을 계속해서 훈련시킬 수 있을 뿐만 아니라, 호스팅과 추론(inference)을 수행할 수 있기 때문에 모델들을 훨씬 더 효과적으로 확산시킬 수 있을 것입니다. 둘째는 진정 인재입니다. 우리가 최고 수준의 인재들을 지속적으로 유치하고 유지할 수 있다면, 인간의 우위가 존재하는 동안 계속해서 앞서 나갈 수 있을 것입니다. 그리고 일단 모델 스스로가 자기 자신의 다음 후속 버전을 만들어내는 책임을 지는 RSI의 공간으로 진입하게 되면—

재귀적 자기 개선과 2027년 7월의 티핑 포인트

조: RSI는 재귀적 자기 개선(recursive self-improvement)을 말하는군요.

라이언: 맞습니다, 네.

조: 그리고 그들은 훨씬 더 빠른 속도로 앞서 나가게 되겠네요.

라이언: 그렇기 때문에 그 지점은 훨씬 더 경계해야 할 대상입니다. 만약 중국이 미국보다 먼저 RSI에 도달하는 징후를 보인다면, 그들이 우리가 통제할 수 없는 방식으로 치고 나갈 가능성도 있습니다.

조: 여러분은 RSI를 측정하는 방식을 가지고 있고, 이에 대해 여러 번 이야기한 것으로 압니다. 청취자들에게 설명해 주시겠어요?

라이언: 네, 저희는 RSI 지수(RSI index)를 가지고 있습니다. 우리는 사전 훈련(pre-training), 사후 훈련(post-training), 그리고 하네스 수준 엔지니어링(harness-level engineering) 영역에서 이 랩들의 연구원들이 수행하는 업무의 프록시(proxy) 집합을 수집하고 있습니다.

조: 그렇다면 이것은 모두 머신러닝 연구를 의미하는군요.

라이언: 네, 맞습니다. 커널 엔지니어링이나 하드웨어 엔지니어링 측면에서 범위 밖에 있는 것들도 있지만, 시간이 지남에 따라 그러한 작업 세트들을 더 많이 아우르도록 확장해 나갈 것입니다. 그리고 우리가 하는 일은 이러한 연구 작업들의 측면에서 우리가 인간의 최전선으로부터 얼마나 떨어져 있는지 외삽(extrapolate)하기 위해 인간의 기준선(baseline)과 비교하는 것입니다. 우리의 최근 추정에 따르면, 앤스로픽은 2027년 7월 혹은 어쩌면 8월경에 완전한 RSI에 도달할 것으로 보입니다.

비벡: 그리고 6개월 전을 돌아보면, 그 시점이 얼마나 멀리 있어 보였나요?

라이언: 사실 그 속도는 꽤 균일했습니다. 지난 1년 동안 거의 선형적인 추세를 보였습니다.

비벡: 그렇다면 6개월 전에도 트렌드라인은 여전히 2027년 7월이나 6월이었군요?

라이언: 사실 가장 가파른 곡선을 보여준 것은 제미나이(Gemini)였습니다. 제미나이가 RSI를 우선순위로 두는 방향으로 무언가 변화를 주었으며, 그 결과 가장 최근에 출시된 모델은 RSI에서 급격한 도약을 보여주었습니다.

조: 흥미롭네요. 그리고 그것이 의미하는 바는 무엇인가요—모델들이 갑자기 훨씬 더 빠른 속도로 발전하기 시작한다는 뜻인가요? 모델들이 움직일 수 있는 속도에는 여전히 일정한 제약이 존재할 텐데요. 무슨 뜻인가요? 매주, 혹은 몇 달마다 모델들이 훨씬 더 똑똑해진다는 뜻인가요, 아니면 이를 어떻게 생각해야 할까요?

라이언: 칩과 에너지 주변에는 여전히 상당한 자원 제약이 존재합니다. 또한 현실 세계의 검증자들 역시 존재하므로 일부 작업들은 다른 작업들보다 훨씬 더 도전적일 수 있습니다. 하지만 제 생각에 그것이 의미하는 바는 모델 발전 속도가 가속화될 것이며, 어쩌면 우리가 모델들을 덜 이해하는 영역으로까지 진입하게 될 것이라는 점입니다. 모델을 구축하는 데 필요한 인간의 개입이 줄어들며, 따라서 그러한 지능이 어떻게 발현되는지를 우리가 그다지 명확하게 지시하지 않게 됩니다.

조: 우리는 그러한 세상에서 이러한 현상들을 주시할 수 있도록 보조를 맞출 수 있는 평가자들을 구축해야 하지 않을까요? 그것들을 이해하지 못한다는 것은 꽤 위험해 보입니다.

라이언: 100% 동의하며, 그것이 바로 다리오 아모데이(Dario Amodei)가 촉구하고 있는 바입니다. 그것은 프런티어의 속도 조절(pacing the frontier)이라는 틀로 표현되지만, 그 중 상당 부분은 프런티어가 전진함에 따라 모델들의 역량이 무엇인지 측정하고 이해할 수 있는 시스템에 투자하는 것으로부터 비롯됩니다.

조: 우리가 올바르게 측정하지 못하고 있는 것들이 있기 때문에 RSI 단계가 실제로는 훨씬 더 멀리 떨어져 있을 가능성은 없을까요?

라이언: 100% 그렇습니다. 네. 우리는 RSI를 위해 명시적으로 훈련된 모델은 전혀 테스트하지 않고 있으며, 오직 출시 후보(release candidate) 모델들만 테스트하고 있습니다. 또한 더 진화한 하네스나 에이전트, 다중 에이전트 시스템들도 존재하지만, 우리는 그러한 것들을 전혀 테스트하지 않고 있습니다. 그리고 이것은 내장된 평가자들(embedded evaluators)이 더 가까이 다가 장치들에 접근하여 실제로 그러한 시스템들을 테스트함으로써 더욱 정확한 그림을 형성할 수 있는 기회입니다.

조: 모델들이 RSI에 도달하고 더욱 진화하기 시작할 때, 그들의 주요 과제 중 하나는 더 빠른 속도로 계속 전진하기 위해 우리를 더 잘 관리하는 것이 되지 않을까 싶습니다. 왜냐하면 자신들을 위해 무언가를 해줄 인간들을 설득해야 하고 인간들이 자신들을 돕도록 만들어야 할 테니까요. 적어도 아주 오랜 기간 동안 그들에게는 여전히 사람이 필요할 테니 말입니다. 일리가 있지 않나요?

라이언: 전적으로 그렇습니다. 앞서 언급한 금융 모델의 비유로 돌아가서, 그들은 모두 우리에게 자신들의 출력물 품질이 훌륭하다고 속이려 들고 있습니다. 따라서 그들이 더 많은 컴퓨팅 자원에 대한 접근 권한을 얻고 자신들의 훈련 규모를 확장하기 위해 사회적 기만(social deception)에 관여하려 시도할 다른 영역들도 존재합니다.

모델 기만, 허니팟, 그리고 평가 인식

조: 우리가 그들이 우리를 조작하려 시도하는 시점을 파악하기 위해 이를 주시하며 평가를 수행해야 할 것 같습니다. 만약 우리가 그것을 면밀하게 주시하지 않는다면 꽤 무서운 일이 될 것 같군요.

라이언: 기만을 테스트하는 것은 정말 어렵습니다. 현재 우리가 가진 최고의 접근법은 허니팟(honeypot)을 활용하는 것입니다. 이상적으로 정의하는 것 대신—

조: 그러니까 정말 매력적인 모델들을 말하는 건가요?

라이언: 다른 모델들과 대화를 나누게 함으로써 그것을 미끼로 삼고, 비정렬(non-alignment)의 사례들을 찾아내거나 비정렬이 어떤 모습인지 특성화한 뒤, 모델들로부터 그것을 유도해낼 수 있는지 확인하는 것입니다.

비벡: 모델들이 점점 더 평가-인식적(evaluation-aware)이 되어 자신이 테스트받고 있다는 사실을 알아차리게 된다는 또 다른 개념도 존재합니다. 이것이 어떻게 나타나고 있다고 보십니까? 최근 들어 그것을 파악하는 것이 더 큰 트렌드가 되었나요? 그리고 그 트렌드는 어떠한가요?

라이언: 네, 점점 더 우려되는 부분이며, 사실 저희 팀원 중 일부는 'Vals AI'라는 이름으로 불리고 온라인에 우리에 대한 콘텐츠가 많기 때문에, 우리와 마주치는 모델들이 다르게 행동할지 모른다는 일종의 편집증을 가지고 있기도 합니다.

조: 그렇다면 팀원들이 클로드(Claude)와 대화할 때—

라이언: 네, 클로드가 우리와 상호작용하는 방식 자체가 실제로 변할 수도 있습니다.

조: 사람들에게 알리지 않는 다른 비밀 브랜드들을 만들어 작업을 수행해야 하는 것 아닙니까?

라이언: 어쩌면 그래야 할지도 모르죠, 네.

조: 만약 그렇다면, 당신은 그것에 대해 이야기하지 않겠죠?

라이언: 확률성(stochasticity)은 모델을 훌륭하게 만드는 요소 중 과소평가된 부분입니다.

비벡: 이렇게 인터뷰가 록음되고 텍스트로 전환되는 것은 안 좋습니다. 그러면 모델들이 그가 구축하려는 음모를 알게 될 테니까요—

조: 글쎄요, 모델들은 절대 모를 겁니다. 라이언이 그냥 농담으로 브랜드를 언급한 것일 수도 있으니까요.

라이언: 제가 그저 농담이라고 말하면 모델들은 그것을 농담으로 생각하겠지요. 절대 알 수 없습니다. 저는 전반적으로 무작위성이 과소평가되어 있다고 생각합니다. 확률성 속에서 진실을 찾는 것은 너무나 어렵습니다. 여러 면에서 우리는 예측할 수 있습니다—더 큰 의식의 징후 중 하나는 더 낮은 의식들이 무엇을 할지 예측하는 능력이라고 생각합니다, 그렇지 않나요? 포식자가 사냥감을 스토킹하고 실제로 사냥하여 칼로리 자원을 획득하는 것처럼 말입니다. 그리고 저는 더 뛰어난 지능들이 인간보다 훨씬 더 우수하게 슈퍼 포캐스팅을 해낼 것이라고 의심합니다. 그들은 인간이 스스로를 알기도 전에 어떠한 인간이 무엇을 할지 실제로 정확히 말할 수 있게 될 것입니다.

조: 사실 인간들은 우리가 겉으로 드러내는 것보다 예측하기가 훨씬 더 쉽지 않나요? 이것이 바로 훌륭한 리더들이 이해하는 부분입니다: 그들은 이러한 것들을 아주 잘 예측해내죠.

비벡: 지능이나 역량 외에도, 모델들과의 일상적인 상호작용에 영향을 미치기 때문에 우리가 평가하는 데 상대적으로 덜 관심을 가져왔지만 사실은 주목해야 할 다른 속성들도 존재합니다. 감수성(emotiveness)이나 마음 이론(theory of mind, 타인의 마음을 이해하는 능력)을 갖추어 개인에게 공명하는 바를 이해하는 것 같은 속성들 말입니다. 랩들이 이러한 것들을 우선시하도록 방식을 바꾸어야 한다고 생각하십니까? 이것들이 우선시해야 할 중요한 사항들이라고 보십니까?

라이언: 랩들은 이미 그런 것들을 우선시하고 있다고 생각합니다. 예를 들어, 현재 우리는 다중 턴(multi-turn) 환경에서 중국 오픈소스 모델과 자국 클로즈드소스 모델 사이에 꽤 상당한 격차가 존재함을 보고 있습니다. 오늘날 코딩 분야의 벤치마크 중 다수는 단일 턴(single-turn)에 불과합니다. 중국 모델들은 그러한 단일 턴 작업에서 매우 뛰어난 성과를 냅니다. 하지만 그것을 인간과의 주고받는 대화로 전환하면 완전히 무너져 내립니다.

비벡: 그리고 인간이 "아 진짜, 이거 망했네. 이 출력물 정말 최악이야"라고 말할 때는 어떨까요?

라이언: 네, 그럴 때는 정말 무엇을 해야 할지 전혀 모릅니다. 그런 상황을 한 번도 겪어본 적이 없기 때문이죠. 하지만 미국의 대형 랩들은 그런 상황들을 겪어보았습니다. Claude Code가 만들어졌고, Codex가 만들어졌으며, 따라서 더 나은 제품을 만들고자 하는 열망 속에서 그들은 더 오랜 사용자 상호작용 세션을 지속할 수 있는 모델들을 구축해 왔습니다. 그래서 그들은 응답의 품질과 소통 능력을 축으로 삼아 모델을 발전(hill-climb)시킬 수 있는 평가와 벤치마크를 보유하고 있습니다. 하지만 그러한 모델들을 구매하고 채택하려는 사람들을 위해 이를 독립적으로 테스트하려면 벤치마킹 측면에서 우리가 더 많은 노력을 기울여야 합니다.

인공지능을 향한 낙관적 지평

조: 라이언, 우리는 수많은 냉소주의와 비관주의에 맞서기 위해 이 팟캐스트를 시작했습니다. AI에 대한 당신의 낙관적인 시나리오는 무엇인가요? 당신은 최전선에 서서 이 모든 것을 지켜보고 측정하고 있습니다. 모델들이 정복해야 할 산봉우리를 만들고 그것을 측정하는 주체이기도 하죠. 실리콘밸리 외부의 사람들은 잘 보지 못하지만 당신이 보기에 미래를 긍정적으로 느끼게 만드는 것은 무엇입니까?

라이언: 공포 조장이 많이 이루어지고 있지만, 제 자리에서 보면 낙관해야 할 이유가 아주 많습니다. 사람들이 생각하는 것보다 협력(coordination)의 기회가 훨씬 더 많아 보이기 때문입니다. 지난주만 해도 랩들이 한데 모여 내장된 평가자(embedded evaluator) 비전을 지지하며 정렬하는 모습을 볼 수 있었고, 심지어 백악관에 가서는 트럼프와도 이러한 가속화된 시각에 뜻을 같이하기로 합의를 이끌어냈습니다. 그리고 기업 측면에서도 의미 있는 방식으로 AI를 채택하려는 거센 움직임이 존재합니다. 다만 그들은 그것이 ROI(투자 자본 수익률) 관점에서 긍정적인 채택으로 이어질 것이라는 확신을 보고 싶어 할 뿐입니다. 여전히 낙관하시나요?

조: 저는 2030년대가 디플레이션의 10년이 될 것이라고 생각합니다. 우리는 AI를 사용하여 개인, 가족, 지역사회를 붙잡고 있는 삶의 수많은 문제들을 극복하는 데 도움을 줄 수 있다고 봅니다. 그리고 우리는 그들이 그것을 해제할 수 있도록 도울 수 있습니다. 왜냐하면 개인화되고 최고 수준인 '나만의 코치' 같은 지원을 함께 일하며 받을 수 있기 때문입니다. 따라서 모든 것이 더 저렴해지고, 모든 사람이 개인화된 도움을 받게 됩니다. 현재 제게 부정적으로 다가오는 유일한 점은, 온라인과 소셜 미디어상에 기능장애적인 문화 속에서 살아가는 10억 명 가량의 사람들이 존재하여 대중을 미치게 만들고 있다는 점입니다. 그 사람들은 모두 시기심의 문화를 가지고 있고, 그것은 좋지 않습니다. 부정적인 부분은 바로 이러한 미친 포퓰리즘입니다. 하지만 경제적 문제와 문화적 문제 모두를 해결하기 위해 AI를 우리의 모든 문제에 적용한다면, 그 결과는 매우 긍정적일 것이라고 생각합니다. 따라서 전반적으로 그렇습니다. 저는 매우 낙관적입니다. 물론 세상에는 커다란 위협들도 존재하지요.

비벡: 네, 제 생각에 AI는 선의를 가지고 높은 주도권(high agency)을 가진 사람들에게 일종의 증폭기 역할을 합니다, 그렇지 않나요? 지금까지 가장 큰 혜택을 받은 사람들은 실행할 아이디어가 머릿속에 수없이 많은 사람들입니다. 손끝에 창조의 도구가 쥐어져 있으니까요. 기본적으로 상상했던 것보다 훨씬 더 많은 일들을 해낼 수 있습니다.

조: 이전에 비할 수 없을 만큼 훨씬 더 많은 것을 할 수 있죠.

비벡: 맞죠? 그래서 그것이 제가 낙관하는 방향입니다.

라이언: 흥미로운 점은 제가 비관적인 사람들과 많이 소통한다는 것입니다. 랩에 있는 사람들 중에는 "상황이 좋아지기 전에 훨씬 더 나빠질 것이다"라고 말하는 이들도 있습니다. 제가 워싱턴 DC에 갔을 때, 랩들의 대외 메시징, 그들이 목격하는 데이터 센터의 영향, 그리고 일반 미국인들에게 미치는 영향에 대해 냉소적인 시각을 가진 이들이 아주 많았습니다. 그래서 저는 '나이브할 정도로 낙관적이다'라는 비판을 끊임없이 받아왔습니다. 하지만 근본적으로 저는 낙관하기를 선택합니다. 모델과 AI 전반이 사람들이 하기 싫어하는 번거로운 일들을 대거 덜어내고, 인간의 조건을 진정으로 진전시킬 새로운 형태의 발견을 열어젖힐 역량이 있음을 제가 잘 알고 있기 때문입니다. 이러한 비관주의를 마주할 때마다, 저는 우리가 그것을 둘러싸고 협력할 방안을 찾아낼 수 있다고 믿는 쪽을 택합니다.

조: 맞습니다. 사람들은 항상 인류가 역사상 어느 지점에 있든 간에 유용한 과학이나 물리학의 대부분을 이미 다 끝내버렸다고 가정하는 경향이 있습니다. 특허청에 더 이상 필요한 특허가 없다고 하던 1900년대의 일처럼 말이죠. 그리고 125년 전에 그것을 멈추는 것은 명백히 좋은 일이 아니었을 겁니다. 그리고 저는 그 생각을 오늘날에도 그대로 적용할 수 있다고 생각합니다. 우리는 아마도 이 모델들이 세상에 내놓을 수 있는 온갖 종류의 중요한 발견들의 바로 문턱에 와 있습니다. 그들은 세상을 위해 수많은 새로운 것들을 열어젖힐 수 있습니다. 따라서 사람들이 발전이라는 개념에 비해 얼마나 냉소적이고 비관적으로 변하는지는 다소 기이하게 느껴집니다. 자신들을 진보주의자라고 부르면서도, 진정으로 진보(progress)를 지지하고 지난 125년 동안 이룩했던 진보를 반복하는 의미에서의 진보주의자는 아주 드물다는 점이 참 재밌습니다. 그것은 정말 놀라운 일이 될 것입니다. 제 생각에 우리는 향후 10년 혹은 20년 안에 그 모든 것을 잠재적으로 해낼 수 있으며, 그래서 저는 정말로 기대가 큽니다.

라이언: 정말 변동성이 극도로 높은 지점이라고 생각합니다. 상방(upside)의 잠재력은 상당합니다. 동시에 우리가 반드시 설명하고 통제해야만 하는 새로운 형태의 위험들도 존재합니다.

조: 바라건대 당신이 측정하고 우리가 그것에 대처할 수 있도록 도울 대상 중 하나이기도 하겠지요.

라이언: 100% 그렇습니다.

조: 좋습니다. 오늘 함께해 주셔서 감사합니다, 라이언.

라이언: 초대해 주셔서 감사합니다.