구글 딥마인드 야오순위(Yao Shunyu): "사전 학습은 끝나지 않았다... 영웅의 시대는 저물고, 다음은 '장기 호라이즌 작업'의 시대"
2026년 3월, 장샤오쥔 팟캐스트 인터뷰
구글 딥마인드(Google DeepMind)의 연구 과학자이자, 과거 앤스로픽(Anthropic)에서 Claude 3.7 및 4.5 학습을 주도했던 야오순위(Yao Shunyu)가 현재 AI 업계에 대한 냉철한 진단을 내놓았다. 그는 "개인 영웅주의의 시대는 끝났으며, 사전 학습(Pre-training)은 여전히 상당한 잠재력을 보유하고 있고, 세간의 인식과 달리 모델이 근본적인 한계에 봉착한 것도 아니다"라고 단언했다. 현재 Gemini 3 프로젝트에 참여 중인 야오는 세계 최고 AI 연구소 내부에서 벌어지는 일들에 대해 가장 솔직한 내부자의 시각을 공유했다.
사전 학습은 죽지 않았다
야오의 가장 반(反)직관적인 견해는 사전 학습이 정체기에 접어들었다는 지배적인 서사에 대한 반박이다. 그는 '스케일링 법칙(Scaling Laws)'이 한계에 다다랐다는 질문에 "내 경험상 전혀 그렇지 않다"며, "앞으로 4개월 동안도 그런 징후는 보이지 않을 것"이라고 잘라 말했다. 이는 추론 모델과 사후 학습(Post-training)에 대한 초기 열기 이후 많은 관찰자가 가졌던 생각과는 정면으로 배치된다.
야오는 한계에 부딪혔다고 주장하는 이들의 대부분은 근본적인 한계가 아닌 '버그'를 마주하고 있을 뿐이라고 지적한다. "내가 보기에 한계에 봉착했다고 느끼는 대다수는 사실 자신의 작업 어딘가에 스스로 인지하지 못한 버그가 있기 때문이다." 그는 토큰 호라이즌(token horizons)에 대한 잘못된 과학적 가정, 데이터 선택의 오류, 혹은 단순한 구현 실수가 진짜 원인이라고 짚었다.
기술적 미묘함이 중요하다. 야오는 무엇이 개선되고 있느냐는 질문에 "모델의 학습 능력은 점점 더 강력해지고 있다. 예전에는 모델이 무언가를 배우게 하려면 엄청난 노력이 필요했지만, 지금은 그만큼의 노력이 필요하지 않다. 가장 중요한 것은 문제를 명확히 정의하고 올바른 데이터를 구축하는 방법을 알아내는 것"이라고 설명했다.
왜 코딩이 가장 먼저 폭발했나
에이전트형 코딩이 왜 가장 먼저 성공적인 애플리케이션이 되었는지에 대해, 야오는 앤스로픽에서의 경험을 바탕으로 명쾌한 답을 제시했다. 코딩이 가진 이점은 우연이 아니라 구조적인 것이었다. "코딩 시나리오에는 두 가지 큰 장점이 있다. 첫째는 보상 신호, 즉 피드백 신호가 매우 명확하다는 점이다." 기능을 구현할 때 입력값과 출력값은 즉시 테스트가 가능하며, 성공과 실패가 이진법적으로 즉각 판가름 난다.
두 번째 장점은 데이터 인프라다. "GitHub은 지난 수십 년간 수많은 뛰어난 프로그래머들이 작성한 고품질 코드를 축적해 왔다. 이 코드를 기반으로 엄청난 수의 환경을 구축할 수 있다." 이러한 명확한 피드백과 풍부한 고품질 데이터의 결합이 코딩을 대규모 강화 학습의 이상적인 첫 번째 도메인으로 만들었다.
물론 운도 따랐다. 야오는 Claude 3.5의 코딩 능력이 사전 학습 데이터 내에서 우연히 코드 품질을 선호하게 된 기술적 선택들로부터 기인했다고 밝혔다. "웹에서 무작위로 데이터를 수집하면, 웹페이지 중 GitHub의 품질이 일반 웹페이지보다 월등히 높기 때문에 자연스럽게 코드 데이터의 품질이 높아진다." 앤스로픽이 사용자 피드백을 통해 이 이점을 발견하자마자 전사적인 역량을 집중했는데, 이는 앤스로픽만의 독특한 조직 구조 덕분에 가능했다.
앤스로픽의 구조적 이점과 그 한계
야오는 앤스로픽이 대부분의 기업이 모방할 수 없는 '탑다운(Top-down) 의사결정'을 통해 매우 강력한 실행력을 보여준다고 평가했다. 비결은 창업 팀에 집중된 기술적 신뢰도다. 그는 재러드 카플란(Jared Kaplan)과 샘 맥캔들리시(Sam McCandlish)를 언급하며 "그들은 회사의 공동 창업자이자 기술 리더다. 그들이 직접 결정을 내린다. 그들의 회사이기에 탑다운 방식의 권한을 가질 수 있었다"고 설명했다.
이러한 구조 덕분에 앤스로픽은 코딩 분야에 공격적인 베팅을 할 수 있었다. "내가 입사했을 때 모두가 이것이 중요하다는 점은 알고 있었지만, 어떻게 해야 할지는 잘 몰랐다. 입사 후 동료들과 함께 방법을 연구했다." 기술 리더십과 경영 리더십이 분리된 조직과 달리, 앤스로픽은 대규모 강화 학습에 자원을 신속하게 동원할 수 있었다.
그러나 야오는 약 1년 후 앤스로픽을 떠났다. 급격한 사세 확장으로 인한 문화적 변화와 다리오 아모데이(Dario Amodei) CEO의 '반중(反中) 기조'에 대한 견해 차이가 퇴사 결정의 약 40%를 차지했다. "다리오의 반중 기조에 동의하지 않았다. CEO 개인의 견해는 자유지만, 이를 극단적으로 밀어붙이는 것은 매우 감정적인 반응이라고 생각했다."
구글의 차별화된 플레이북
구글 딥마인드에서 야오는 앤스로픽과는 완전히 다른, 하지만 효과적인 조직 모델을 발견했다. 구글은 탑다운 베팅이 아닌 '포트폴리오 접근 방식'을 취한다. "대기업과 스타트업의 플레이북은 근본적으로 다르다. 스타트업에는 베팅이 중요하다. 베팅한다는 것은 리스크를 감수한다는 뜻이다."
구글의 강점은 다르다. "대기업은 도박 요소를 최소화할 뿐만 아니라 모든 영역에 예비 자원을 확보한다. 무언가 성공하면 즉시 따라잡고, 스스로 성공하면 선두를 차지할 수 있다." 이 때문에 구글은 앤스로픽처럼 집중된 기술 리더십이 반드시 필요한 것은 아니다.
구글에서의 사전 학습은 "매우 통제 가능하고 예측 가능한 일"이 되었다. "다음 세대 모델이 나쁘지 않을 것임을 확신할 수 있다." 구글은 누가 무엇을 책임질지 명확히 하여 모델 개발을 구글 특유의 강점인 엔지니어링 프로젝트로 전환했다. "구글의 엔지니어링 관리 능력은 매우 강력하다. 그래서 차근차근 잘 해낼 수 있다."
야오에 따르면 Gemini의 변곡점은 Gemini 3뿐만 아니라, Nano Banana의 바이럴 성공으로 사용자 규모를 확보한 뒤, 우수한 모델 품질로 그들을 유지해낸 '투 트랙 전략'이었다. "Gemini 3만 있었다면 이 정도 성과는 내지 못했을 것이다. 시장 점유율이 10% 미만일 때는 모델이 조금 더 낫거나 못해도 확산 속도가 너무 느리기 때문이다."
다음 패러다임: 장기 호라이즌 작업
다음 주요 돌파구가 무엇이냐는 질문에 야오는 멀티모달 생성이나 지속 학습이 아닌 '장기 호라이즌(Long-horizon) 작업'을 핵심 과제로 꼽았다. 그의 비전은 내부적으로 사용하는 슬로건에 담겨 있다: "유한한 컨텍스트로 학습하고, 무한한 컨텍스트로 사용하라(train with finite context, use as infinite context)." 즉, 지능적인 컨텍스트 관리를 통해 모델이 제한된 컨텍스트 윈도우 내에서 매우 긴 작업을 처리하게 하는 것이다. 인간처럼 선택적으로 기억하고 망각하는 법을 가르치는 셈이다.
"인간의 컨텍스트는 사실 매우 짧다. 어제 저녁에 무엇을 먹었는지 지금 당장 기억나지 않는 이유는 현재 상황에 중요하지 않기 때문에 뇌가 선택적으로 망각하기 때문이다. 인간은 중요한 정보만 선택적으로 인출한다."
이 방향은 AI가 스스로 AI 연구를 자동화하는 'ML 코딩'과도 밀접하게 연결된다. 야오는 6~12개월 안에 "AI가 스스로 실험을 수행할 것"이라고 본다. 실험 설계, 실행, 결과 분석, 새로운 가설 제안, 반복에 이르는 전체 연구 프로젝트를 완성하는 것이다. "아직 체인은 완성되지 않았지만, 곧 완성될 것이다."
증류, 벤치마크, 그리고 본질
중국 연구소들이 프론티어 모델의 지식을 흡수하는 '증류(Distillation)'에 대해 야오는 '하드 증류'와 '소프트 증류'를 구분했다. Claude가 생성한 토큰으로 직접 학습하는 하드 증류는 비윤리적일 뿐만 아니라 "자신이 무엇을 해야 할지 모른다는 것을 보여주는 지적으로 어리석은 짓"이라고 비판했다. 반면, 데이터 파이프라인이나 평가 도구로 다른 모델을 활용하는 소프트 증류는 "상업적으로는 회색 지대일 수 있으나 기술적으로는 꽤 흥미롭다"고 평가했다.
그는 이러한 접근 방식을 사용하는 중국 연구소들이 "멀티 에이전트 학습의 선구자가 되었을지도 모른다"고 언급했다. "서로 다른 회사의 모델을 스마트하게 통합하여 단일 학습 시스템에 넣는다면, 각 모델의 분포가 매우 달라지기 때문에 진정한 의미의 멀티 에이전트가 된다."
현재의 벤치마크 경쟁에 대해 야오는 냉소적이다. "솔직히 주목할 가치가 없다. 대중적인 벤치마크는 이미 포화 상태다. 모두가 자신의 모델 능력을 증명하려고 벤치마크 1위를 노리지만, 사실 이미 한계치에 도달했다."
개인 영웅주의의 종말
야오의 가장 인상적인 테마는 AI 연구가 개인의 천재성에서 '집단적 실행'으로 근본적인 변화를 겪었다는 점이다. "지금 모두는 서퍼와 같다. 근본적으로 중요한 것은 파도이지 서퍼가 아니다. 언어 모델 분야에서 개인 영웅주의의 시대는 끝났다."
그는 영웅주의가 끝난 시점을 '트랜스포머(Transformer)의 순간'으로 본다. "기술이 스케일업 단계에 이르기 전까지는 발견자가 영웅일 수 있었다. 하지만 그 이후 모델 측면에서 일어난 모든 일은 집단주의에 가깝다."
이는 겸손이 아니다. 야오는 AI 분야가 이제 개별적인 기여보다 체계적인 실행이 훨씬 중요한 수준으로 단순해졌다고 믿는다. "AI는 근본적으로 단순한 분야다. 아이디어를 내는 과정은 매우 사소하고 바보 같다. 누구나 생각할 수 있고 누구나 할 수 있다. 그저 기회를 먼저 잡았을 뿐이다."
이제 중요한 것은 천재성이 아니라 신뢰성이다. "이 업계에서 가장 중요한 자질은 신뢰할 수 있고, 꼼꼼하게 일하며, 자신의 행동에 책임을 지는 것이다." 그는 덧붙였다. "AI는 사실 머리를 많이 써야 하는 일이 아니다. 정말로 그렇다."
래퍼(Wrapper) 문제와 제품의 해자
OpenClaw나 Manus 같은 애플리케이션 기업들이 초기 성과에도 불구하고 모델 연구소에 인수된 이유에 대해, 야오는 모델 기업의 중력에서 벗어나지 못한 '탈출 속도' 부족을 꼽았다. "래퍼 기업이 살아남는 방법은 두 가지다. 첫째는 모델 기업이 따라오기 전에 충분히 빠르게 성장해 사용자 마음을 사로잡는 것이다."
AI 네이티브 코딩 분야에서 가장 빠르게 성장한 스타트업인 Cursor조차 Claude Code 출시 이후 앤스로픽과 "꽤 경쟁적인 관계"가 되었다. 생산성 도구는 결국 '승자 독식' 구조이기 때문이다. "코딩은 본질적으로 전문 사용자를 위한 생산성 도구이며, 이 시장은 승자 독식의 경향이 강하다."
다른 생존 전략은 미드저니(Midjourney)처럼 모델 기업이 굳이 경쟁할 필요를 느끼지 않을 만큼 작은 시장에 머무는 것이다. "시장이 너무 작으면 Gemini가 굳이 자원과 데이터를 들여 복제하고 싶어 하지 않을 수 있다."
프로그래머들이 걱정해야 하는 이유
야오는 소프트웨어 엔지니어의 미래를 미화하지 않는다. 프로그래머가 완전히 대체되는 날이 올 것인가라는 질문에 그는 "그날은 올 것이다. 하지만 한꺼번에 오지는 않을 것"이라고 답했다. 결국 "과거의 일을 1,000분의 1의 인원이 수행하면서 현재보다 100배의 연봉을 받는 시대가 올 것"이라고 예측했다.
그 자신의 코딩 생산성에 대해서도 "모델이 90% 이상을 작성한다. 보수적으로 잡아도 99%에서 100%다. 내가 직접 작성하는 부분은 점점 줄어들고 있다"고 밝혔다. 연구자로서 그의 실험 속도는 1년 반 전보다 "20배에서 50배 빨라졌다."
살아남고 싶은 프로그래머들을 위한 조언은 무엇일까? "새로운 것을 받아들여라. 그것이 가장 중요하다." 미래의 프로그래머는 기술적으로 탄탄해야 하며, 자신의 작업이 조직 내에서 어떻게 맞물리는지 이해해야 하고, 복잡한 작업을 AI가 처리할 수 있는 단위로 쪼개는 계획 능력이 필요하다. 하지만 야오는 이 요구사항조차 더 줄어들 수 있다고 경고한다. "6개월 뒤에 다시 물어본다면, 지금 내가 말한 마지막 능력조차 AI가 이미 할 수 있게 되었을지도 모른다."
무엇이 작동하지 않는가
이론 고에너지 물리학 박사 과정 경험에 대해 야오는 그것이 좋은 연구란 무엇인가에 대한 자신의 시각을 형성했다고 말했다. "개인적으로는 많이 배웠지만, 세상에는 아무런 기여도 하지 못했다." 문제는 연구의 질이 아니라 분야의 근본적인 구조였다.
고에너지 이론 물리학은 실험으로 검증할 수 없는 영역까지 진입했고, 이제는 수학적 자기 일관성과 원로 연구자들의 주관적인 판단만이 평가 기준이 되었다. "실험과 객관적 기준이 결여된 분야에서는 누가 잘하고 못하는지가 결국 원로들의 주관에 좌우된다."
이 경험은 야오에게 "객관적인 평가 기준이 있는 일을 하거나, 세상에 실질적인 영향을 줄 수 있는 일을 하라"는 교훈을 주었다. 이것이 그가 AI 분야에서 검증 불가능한 모호한 주장에 알레르기 반응을 보이는 이유다.
중국과 미국의 분기점
야오는 중국과 미국의 AI 경쟁이 각 지역의 역사적 강점에 따라 근본적으로 다른 방향으로 흐르고 있다고 본다. 미국의 기업 및 생산성 소프트웨어 중심 접근은 쉬운 수익 마진과 직관적인 비즈니스 모델을 반영한다. "코딩을 도와주고 150달러를 받는 모델이다."
반면 중국의 소비자 중심 접근은 복잡한 간접 수익화에 대한 10년간의 경험을 활용한다. "중국은 소비자 측면에서 매우 강하다. 매우 복잡한 제품 구조를 만들고, 겉으로는 매우 부자연스럽거나 간접적으로 보이는 방식으로 수익을 눈덩이처럼 불린다." 그는 비디오당 요금을 받지 않으면서 광고, 라이브 스트리밍, 이커머스로 수익을 내는 더우인(Douyin)을 예로 들었다.
이러한 차이 때문에 중국 AI 담론을 지배하는 '슈퍼앱' 서사는 미국 시장에는 잘 맞지 않는다. 그는 "OpenAI와 앤스로픽 중 누가 먼저 중요도가 떨어질까를 묻는다면, 처음엔 앤스로픽이라고 생각했다. 하지만 구글이 OpenAI를 때리고, 앤스로픽이 궤도에 오르면서 지금은 앤스로픽이 더 유리해 보인다"고 분석했다.
미국 기업들이 바이트댄스(ByteDance)를 이해하고 있느냐는 질문에 야오는 단호했다. "내 생각엔 아니다. 아직은 아니다." 모두가 바이트댄스를 저평가된 소비자 시장의 지배자로 인식하지만, 그 회사가 실제로 어떻게 작동하는지에 대한 진정한 이해는 여전히 부족하다.
진짜 병목 현상
기술적 진보에도 불구하고 야오는 '제품 정의(Product definition)'가 현재의 한계라고 지적한다. "지금은 무엇을 해야 할지 정체된 상태다. 챗봇이 있고, 코딩이 있다. 그다음 무엇을 가르쳐야 할지 모른다."
이는 모델 능력의 문제가 아니다. "모델은 여전히 똑똑한 아이다. 많은 것을 가르칠 수 있다. 하지만 인간 교사인 우리가 무엇을 가르쳐야 할지, 현재의 패러다임으로 어떻게 합리적으로 가르쳐야 할지 모르는 것이다." 즉, 올바른 문제를 정의하고 명확한 학습 목표를 설정할 수 있는 제품 관리자가 구현 능력을 갖춘 연구자보다 더 가치가 높아졌다.
OpenAI의 현재 위치에 대해 야오는 아이러니를 지적한다. 구글이 챗봇으로 따라잡기 전에 검색 시장을 완전히 대체하지 않음으로써 "OpenAI가 구글의 목숨을 살려주었다." 만약 OpenAI가 검색을 완전히 장악했다면 구글은 매우 힘들었을 것이다. "운 좋게도 OpenAI가 먼저 시작해 구글에 중요성을 일깨워주었지만, 끝까지 밀어붙이지는 못했다."
그의 최종 평가는 담담하다. "지금 누구의 위치도 안전하지 않다. AI는 아직 갈 길이 멀다. 우리는 아직 엔드게임에 도달하지 않았다." AGI를 향해 질주하는 분야라는 세간의 평가와 달리, 진짜 도전은 컴퓨팅 파워를 늘리는 것보다 '무엇을 만들 것인가'를 찾아내는 데 있다는 냉철한 일깨움이다.