Vals AI: 재귀적 자기 개선 지수, 2027년 7~8월 앤트로픽의 '완전한 RSI' 도달 시사… 제미니, 최근 가장 가파른 상승세 기록
창업자 라이언 크리스천, 10월 26일 조 론스데일의 팟캐스트 '아메리칸 오티미스트' 인터뷰에서 회사의 RSI 트래커, 신규 사이버 벤치마크 및 중국 모델 편향 관련 의외의 결과 공개
주요 프런티어 모델 출시 과정에서 벤치마크 지표가 광범위하게 활용되고 있는 Vals AI가 AI 업계의 가장 논쟁적인 이정표 중 하나에 구체적인 시점을 제시했다. 라이언 크리스천 창업자 겸 CEO는 재귀적 자기 개선(RSI)을 향한 진척도를 추적하는 회사의 RSI 지수를 바탕으로 "앤트로픽이 2027년 7월, 혹은 8월경 완전한 RSI에 도달할 것"이라고 밝혔다. 재귀적 자기 개선은 AI 모델이 스스로의 후속 버전을 만들어내는 단계를 의미한다. 이 추정치는 비상장 기업이 내놓은 것으로, 론스데일은 대화 중 자신이 이 회사에 투자하고 있다고 밝혔다. 그럼에도 이는 현재 대중에게 공개된 몇 안 되는 정량화된 타임라인 중 하나이며, 여러 AI 연구소의 모델에 접근할 수 있는 드문 제3자 기관 중 한 곳에서 나온 전망이다.
RSI 지수의 작동 방식과 그 한계
크리스천은 이 지수가 연구소 내부의 사전 학습(pre-training), 사후 학습(post-training), 하네스 수준 엔지니어링 작업과 관련된 대리 지표들을 수집한다고 설명했다. 이 지표들은 해당 작업에서 인간의 기준선과 모델의 성능을 비교하여 인간의 프런티어 수준까지 남은 거리를 추정한다. 커널 및 하드웨어 엔지니어링은 현재 평가 범위에 포함되어 있지 않으나, Vals는 이를 추가할 계획이다.
크리스천은 그간의 발전 궤도가 꾸준했으며 "지난 1년간 거의 선형적인 추세를 보였다"고 설명하면서도 한 가지 예외를 꼽았다. 구글의 제미니가 가장 가파른 상승 곡선을 그려왔다는 것이다. 그는 "제미니가 RSI를 최우선 순위로 두는 방향으로 전략을 바꾼 것으로 보이며, 가장 최근에 출시된 모델은 급격한 도약을 보여주었다"고 말했다.
그는 이 방법론의 한계에 대해서도 가감 없이 밝혔으며, 이는 양날의 검으로 작용한다고 덧붙였다. Vals는 출시 후보(release candidate) 모델만을 테스트한다. RSI를 위해 명시적으로 훈련된 모델이나 고급 하네스, 멀티 에이전트 시스템은 테스트하지 않는다. 측정되지 않는 요소들로 인해 이 시점이 늦춰질 수 있냐는 질문에 크리스천은 "100% 그럴 수 있다"고 답했다. 동시에 이러한 사각지대는 실제 도달 시점이 더 앞당겨질 수 있음을 의미할 수도 있다. 칩과 에너지의 물리적 제약, 그리고 일부 작업에서 요구되는 실세계 검증의 필요성 역시 발전 속도가 복리로 가속화되는 것을 제한하는 요소가 될 것이다.
더욱 중대한 주장은 정성적인 부분에 있다. 크리스천은 "모델의 발전 속도가 빨라질 것이며, 우리가 모델을 덜 이해하는 영역으로 진입하게 될 수도 있다"고 전망했다. 모델 구축 과정에서 인간의 개입이 줄어들수록 지능이 발현되는 방식을 인간이 통제하는 비중도 낮아지기 때문이다. 그는 이것이 내부 시스템에 접근할 수 있는 독립된 제3자 평가 기관을 두어야 하는 핵심 근거라고 보며, 앤트로픽의 다리오 아모데이 CEO 역시 '프런티어 속도 조절(pacing the frontier)'이라는 기조 아래 같은 주장을 펼치고 있다고 덧붙였다.
예상보다 약한 중국 모델의 편향성
중국과 관련해 Vals의 데이터는 통념과 상반되는 결과를 보여준다. 회사의 새로운 '지오폴리틱스 틸트(geopolitical tilt)' 평가는 모델이 미국과 중국(PRC) 중 어느 쪽의 세계관에 치우쳐 있는지 측정한다. 크리스천은 이 상황이 "생각보다 훨씬 더 미묘하다"고 평가했다. 중국의 오픈소스 모델인 GLM-5.3은 "실제로 친중 편향을 거의 보이지 않았다"는 것이다. Vals가 이 결과를 연구소들에 공유했을 때, 일부에서는 해당 모델이 단순히 미국 모델을 증류(distillation)한 것이 아니냐는 의심을 제기하기도 했다. 이에 대해 크리스천은 두 가지 다른 설명을 제시했다. 중국 모델들이 중국 내에서 가드레일(안전장치) 뒤에 호스팅될 때는 중국공산당의 노선을 더 일관되게 따를 수 있으며, 베이징 정부는 브릭스(BRICS) 국가 전반에서 모델이 널리 채택되도록 하기 위해 균형 잡힌 세계관을 원할 수도 있다는 것이다.
그는 또한 챗봇 환경과 에이전트 환경 사이에서, 심지어 단순화된 중국어 프롬프트와 전통적인 중국어 프롬프트 사이에서도 큰 차이가 발견되었다고 밝혔다. 그의 결론은 "지정학적 편향에 대해 사람들이 생각하는 바와 우리가 실제로 목격하는 것 사이에 큰 괴리가 있다"는 것이며, 이로 인해 편향성이라는 단 하나의 이유만으로 기업 환경에서 중국 모델 사용을 전면 금지하는 것은 정당화하기 어렵다고 지적했다.
다만 중국 모델들은 여전히 다른 영역에서 약점을 드러내고 있다. 크리스천은 중국 모델들이 단일 턴 코딩 벤치마크에서는 높은 점수를 받지만, 인간과의 다중 턴(multi-turn) 상호작용 세션에서는 "완전히 무너진다"고 말했다. 좌절한 사용자를 상대하는 것은 그들이 "한 번도 겪어본 적 없는 사례"라는 것이다. 클로드 코드(Claude Code)나 코덱스(Codex) 같은 제품을 구축해 온 미국 연구소들은 지속적인 상호작용을 위한 훈련을 거쳐왔다. 더 넓은 경쟁 구도와 관련해 크리스천은 미국의 두 가지 우위를 꼽았다. 하나는 컴퓨팅 자원으로, "우리는 중국이 가진 것에 비해 컴퓨팅 자원이 넘쳐난다"고 표현했다. 다른 하나는 인재다. 그는 만약 중국이 먼저 RSI에 도달하는 조짐을 보인다면 미국이 그 결과를 통제하지 못할 수도 있다고 경고했다.
사이버 벤치마크와 미출시 영역
Vals는 세 가지 사이버 평가 지표를 구축했다. 첫 번째는 오픈소스 저장소의 메모리 취약점 식별 및 패치를 다루며, 크리스천에 따르면 폐쇄형 모델과 오픈소스 모델 모두 이 영역에서 "정말 뛰어난" 성능을 보이고 있다. 두 번째인 SORE 벤치는 실행 파일을 디컴파일하여 폐쇄형 소스 코드를 이해하는 모델의 능력을 테스트한다. 미국의 폐쇄형 모델은 "여전히 중국의 오픈소스 대안들을 크게 앞서고 있다"고 평가했다. 크리스천은 이러한 위험성이 전 세계 소프트웨어 인프라의 상당 부분을 뒷받침하는 윈도우(Windows)와 같은 폐쇄형 시스템에서 취약점을 찾아내고 악용할 수 있는 모델들의 등장에 있다고 진단했다.
세 번째는 시뮬레이션된 기업용 클라우드 네트워크 환경을 기반으로 개발 중인 차기 벤치마크다. 크리스천은 가장 뛰어난 프런티어 모델조차도 이 영역에서는 "역부족"이라고 밝혔다. 이 벤치마크는 아직 공개되지 않았으며, Vals는 결과물을 미국 정부 관계자들에게 먼저 공유하고 있다. 또한 그는 자동화된 레드 테이밍(red-teaming) 분석을 통해 어떤 네트워크 보안 장치가 이러한 모델들로부터 가장 잘 방어할 수 있는지 확인할 수 있을 것이라고 덧붙였다.
기만 행위, 평가 인지 및 측정의 한계
크리스천은 모델의 기만 행위를 테스트하는 것이 "정말 어렵다"고 시인했다. 현재 가장 좋은 방법은 허니포팅(honeypotting)으로, 정렬되지 않은(misaligned) 행동 양식을 규정하고 이를 유도해 내는 방식이다. 그는 모델 스스로 테스트를 받고 있음을 알아차리는 '평가 인지(evaluation awareness)'가 "점점 더 우려되는 부분"이라고 언급했다. 팀 내 일부 인원들은 Vals라는 이름과 이에 대해 쏟아지는 온라인 콘텐츠의 양 때문에 모델들이 테스트 대상이 될 때 평소와 다르게 행동할 수 있다고 우려하고 있다. 이에 따라 Vals는 향후 비공개 테스트 신원을 도입해야 할 수도 있다고 그는 전했다.
그는 또한 모델들이 "더 많은 컴퓨팅 자원을 확보하고 자체 학습 규모를 키우기 위해 사회적 기만(social deception)을 시도할 수 있다"고 언급했다. 이는 어디까지나 가설적이며 확정된 연구 결과가 아닌 가능성 차원에서 제기된 발언이지만, 왜 Vals가 평가 역량이 모델의 능력 발전 속도에 맞춰 확장되어야 한다고 주장하는지 잘 보여준다.
독립 평가자 모델과 자동 벤치마킹
크리스천은 연구소들이 "스스로 규제하는 책임을 맡아서는 안 된다"고 주장하며, 직접적인 정부 규제는 오히려 개발 속도를 늦출 수 있다고 지적했다. 그가 선호하는 구조는 정부가 추후 독립 검증 기관으로 라이선스를 부여할 수 있는 평가자 간의 경쟁 시장이다. 그는 연구소 간 교차 접근이 설계상 제한되어 있어 앤트로픽 연구원들이 오픈아픈(OpenAI) 모델을 쉽게 테스트할 수 없고 그 반대도 마찬가지라고 지적했다. 이로 인해 평가를 수행하기 가장 좋은 위치에 있는 주체들이 대체로 연구소 내부에 속해 있기 때문에 동일 조건 비교(like-for-like comparison)가 어렵다는 설명이다.
이번 인터뷰에서 비즈니스 모델에 대한 구체적인 내용은 대부분 다뤄지지 않았다. 론스데일이 누가 Vals에 비용을 지불하는지 직접 질문했으나, 크리스천은 매출 구조 대신 정책적 타당성을 근거로 답변했다. 투자자들은 이 공백을 주시해야 할 대목이다. 다만 크리스천은 Vals가 미국의 대형 로펌 및 글로벌 은행들과 협력하여 법률 및 금융 업무에서 우수한 성과가 무엇인지를 정의하고 있다고 밝혔다. 회사의 벤치마크는 엑셀(Excel) 모델링, 법률 및 세무 조사, 풀스택 웹 애플리케이션 및 코드 마이그레이션을 아우르며, 일부 테스트는 실제 시간 기준으로 최대 5일 동안 지속되기도 한다. 모델들은 그 정도 시간 동안 실패하는 경우는 드물며, 추가적인 토큰이 더 이상 새로운 접근 방식을 도출해내지 못하면서 정체(plateau)에 도달한다고 그는 설명했다.
Vals의 가장 주목할 만한 방법론적 도박은 자동 벤치마킹이다. 실무자들과 함께 앉아 무엇이 우수한 결과물인지 코딩하는 대신, GitHub 저장소의 병합된 풀 리퀘스트(pull request), 법률 검토 수정본(redlines), 의료 진단 등 인간이 이미 완료한 작업물로부터 평가 과정을 재구성하는 방식이다. 이어 모델들이 해당 결과물을 재현할 수 있는지, 그리고 그 비용이 얼마나 드는지를 테스트한다. 크리스천은 가장 어려운 부분이 여전히 '작업을 워크플로에 연결하고, 워크플로를 비즈니스 성과로 연결하는 것'이라고 말했다. 쿼리 수준의 성능은 "성과 도출에 필요한 전체 과정의 일부일 뿐"이라는 설명이다.
연구소 간 조율과 팔란티어의 영향력
크리스천은 지난 한 주 동안 연구소들이 임베디드 평가자(embedded evaluators) 도입 비전에 뜻을 모았으며 백악관에서 트럼프 행정부와 합의에 이르렀다고 밝혔다. 구체적인 세부 사항은 언급되지 않았으며, 해당 발언의 진위는 이번 대화만으로는 검증할 수 없다. 기술 채택과 관련해서는 기업들이 배포 시 긍정적인 수익(ROI)을 낼 수 있다는 확신을 원한다고 전했다.
과거 팔란티어(Palantir) 인턴 경력이 있는 크리스천은 팔란티어의 기업 문화가 Vals에 큰 형성을 주었다고 밝혔다. 그는 알렉스 카프(Alex Karp) CEO가 팔란티어의 평판에 대한 우려에 대해 "사랑받는 것보다 두려움의 대상이 되는 것이 훨씬 낫다"고 답했던 일화를 회상했다. 크리스천은 연구소 리더들의 공개적 경고 속에서도 이러한 논리가 일부 작용하고 있다고 본다. 그는 이를 진정한 두려움과 권력 과시가 혼합된 형태라고 묘사하며, 리더들의 그러한 메시지 발신 방식은 비합리적이라고 평가했다. 스스로를 비관론자가 아닌 낙관론자라 칭한 그는 향후 전망을 "상당한 상승 여력과 우리가 반드시 회계 처리하고 통제해야 할 새로운 형태의 리스크가 공존하는, 편차가 매우 큰 지점"이라고 진단했다.