야오 슌위: 사전 학습은 벽에 부딪히지 않았다, AI 연구는 근본적으로 단순하며 개인 영웅주의 시대는 끝났다
전 Anthropic 및 Google DeepMind 연구원이 말하는 Claude 3.7, 4.5 및 Gemini 3 훈련 비화 — 2026년 3월 인터뷰
야오 슌위(Yao Shunyu)는 빛의 밝기에 따라 색이 변하는 호박색 안경을 쓰고 인터뷰 장소에 나타났다. 실리콘밸리의 AI 업계에는 동명이인인 두 명의 야오 슌위가 있는데, 둘 다 칭화대 동기다. 첫 번째 야오 슌위는 2025년 OpenAI에서 텐센트로 이직했다. 오늘 인터뷰의 주인공인 두 번째 야오 슌위는 같은 해 Anthropic에서 Google DeepMind로 자리를 옮겼다. 그는 지난 2년간 Claude 3.7, 4.5, Gemini 3 등 핵심 모델 개발에 기여했다. 그의 커리어는 AI 연구가 개인의 천재성에 의존하던 시대에서 집단적 실행의 시대로 어떻게 진화했는지를 잘 보여준다.
가장 논쟁적인 견해: 사전 학습의 진보는 둔화되지 않았다
2026년 1분기 최전선에서 활동하는 연구원으로서 야오 슌위는 세간의 지배적인 평가와는 다른 견해를 내놓았다. 모델 성능 향상이 둔화되고 있느냐는 질문에 그는 단호하게 "전혀 그렇지 않다"고 답했다. "제 경험상 성능 향상은 멈추지 않았습니다. 앞으로 4개월 내에도 그런 징후는 보이지 않을 것 같습니다."
이러한 시각은 다소 논쟁적이다. 몇 달 전만 해도 많은 이들이 '스케일링 법칙(Scaling Law)'이 한계에 도달했는지 논의했기 때문이다. 야오 슌위의 입장은 명확하다. "누군가 패턴이 한계에 다다랐다고 생각한다면, 보통 두 가지 상황 중 하나입니다. 패턴의 적용 범위가 한계에 도달했거나, 데이터 부족과 같이 필요한 조건 중 하나를 더 이상 충족할 수 없다고 느끼는 경우죠. 하지만 사실 세 번째 가능성이 있습니다. 바로 그들의 작업 어딘가에 스스로 알아차리지 못한 버그가 숨어 있는 경우입니다."
야오 슌위는 벽에 부딪혔다고 느끼는 대다수가 세 번째 이유 때문이라고 본다. "예를 들어, 스케일링 법칙을 연구할 때 과학적 가정이 잘못되었거나 단순히 버그가 있는 경우입니다. 업계에서 이런 일은 놀랍지 않습니다. 때로는 화려한 기교보다 버그 하나를 잡는 것이 훨씬 더 큰 진전을 가져옵니다."
그는 최근 몇 달간 사전 학습(pre-training)이 오히려 더 강력해졌다고 밝혔다. "모델 사전 학습은 최근 몇 달 사이 더 강해졌습니다. 앞으로 4개월 동안에도 멈출 기미는 보이지 않습니다." 사람들이 왜 한계에 도달했다고 생각하는지 묻자 그는 "저는 그렇게 느끼지 않기 때문에 왜 사람들이 그렇게 생각하는지 모르겠습니다"라고 답했다.
진보의 원동력: 데이터인가, 컴퓨팅인가, 알고리즘인가
모델 성능의 핵심 동력에 대해 야오 슌위는 세 요소 모두 기여하지만, 데이터와 컴퓨팅은 강력한 상관관계를 가진다고 설명한다. "컴퓨팅 자원이 늘어나면 자연스럽게 더 많은 데이터를 확보하게 되고, 데이터가 늘어나면 더 많은 컴퓨팅 자원이 필요해집니다." 알고리즘의 경우, 그는 단계적 변화(phase transition)가 존재한다고 주장한다. 무엇을 해야 할지 전혀 모르는 초기 단계에서는 알고리즘이 매우 중요하지만, 핵심적인 알고리즘 통찰을 발견한 후에는 개선이 점진적으로 이루어진다는 것이다.
"언어 모델 사전 학습의 관점에서 보면, 알고리즘의 비약적 발전은 Transformer의 등장이었습니다. 하지만 그 이후로는 대부분 점진적이고 완만한 개선이었습니다." 그는 사전 학습이나 사후 학습(post-training)처럼 비교적 명확한 프레임워크 내에서는 컴퓨팅과 데이터가 주된 동력이지만, 멀티모달 생성과 같은 분야는 여전히 완전히 정복되지 않은 과학적 문제라고 덧붙였다.
그는 AI가 근본적인 한계에 봉착했다는 주장을 일축했다. "AI가 벽에 부딪혔다는 느낌은 들지 않습니다. 첫째, 시도할 수 있는 것이 너무 많고, 둘째, 아이디어가 고갈된 것이 아니라 너무 많아서 하나씩 검증해야 하는 상황이기 때문입니다." 그는 6~12개월 내에 AI가 스스로 실험을 수행하는 단계에 이를 것이라고 예측했다. 단순히 코드를 짜고 실험하는 것을 넘어, 결과를 분석하고 새로운 가설을 세우며 코드를 설계하고 다시 실험하는 완전한 루프가 완성될 것이라는 전망이다.
Anthropic의 코딩 전략
야오 슌위는 2024년 9월 Anthropic에 합류했다. 당시 회사는 가장 중요한 전환점을 맞이하고 있었고, 목표는 코딩에 대규모 강화 학습을 적용하는 것이었다. "입사했을 때 모두가 이 일이 가능하다는 것을 알고 있었지만, 구체적인 방법은 몰랐습니다. 저는 동료들과 함께 그 방법을 연구했습니다."
이 전략의 기원은 Claude 3 출시 이후였다. 당시 Claude 3가 GPT-4보다 코딩을 더 잘한다는 평가가 트위터 등에서 확산되었고, Anthropic은 이 시장의 피드백을 매우 진지하게 받아들였다.
왜 하필 코딩이었을까? 야오 슌위는 두 가지 큰 장점을 꼽았다. "첫째, 보상 신호(feedback signal)가 매우 명확합니다. 소프트웨어 엔지니어링 작업은 기능 구현을 위해 코드를 작성하는 것인데, 입력과 출력값이 일치하는지 테스트하기가 매우 쉽습니다. 둘째, 데이터입니다. GitHub에는 수십 년간 축적된 훌륭한 프로그래머들의 고품질 코드가 쌓여 있어 환경 구축을 위한 강력한 토대가 됩니다."
결과물인 Claude 3.7은 Anthropic 사후 학습의 분수령이 되었다. "3.7 이전의 사후 학습은 소규모로 땜질하는 수준이었습니다." 그 시기 OpenAI, Anthropic, DeepSeek 등은 공통적으로 '피드백 신호가 명확하고 데이터 소스로서의 환경이 강력한 곳에서 학습을 안정화하면 성공한다'는 사실을 깨달았다. 3.7에서 4.5로의 발전은 더 큰 규모의 사전 학습과 사후 학습을 결합한 것이었으며, 핵심은 체계적인 대규모 실행이었다.
Anthropic의 독특한 조직적 강점
Anthropic이 코딩 분야에서 과감하게 실행할 수 있었던 이유는 무엇일까? 야오 슌위는 회사의 독특한 조직 구조를 꼽았다. "Anthropic은 기술적 결정을 내리는 사람이 회사의 의사결정권자여야 한다는 원칙이 있습니다. 기술적으로 설득력이 있어야 아래 연구원들을 움직일 수 있고, 동시에 회사의 책임을 질 수 있는 위치에 있어야 합니다."
Anthropic의 기술 리더인 Jared Kaplan과 Sam McCandlish는 공동 창업자들이다. "그들은 자신의 회사이기 때문에 스스로 결정을 내리고, 위에서 아래로(top-down) 강력하게 추진할 권한이 있습니다." 그는 OpenAI와 비교하며 "Ilya(Sutskever)가 있을 때는 가능했을지 모르지만, 후반부에 그는 의사결정 능력을 잃은 것처럼 보였고 결국 떠났다"고 언급했다.
그가 입사했을 당시 Anthropic은 700~800명 규모였으며, 매우 강한 실행력과 수직적 구조를 갖추고 있었다. "일단 결정되면 모두가 전력을 다하는 분위기였습니다. 직원들 사이의 신뢰도 높았고 정보 공유도 투명했습니다." 공동 창업 팀이 그대로 유지된 것도 핵심 요인이다. "한 명도 떠나지 않았습니다. 그들은 OpenAI 시절부터 함께 전장을 누빈 동료들이라 상호 신뢰가 매우 깊습니다."
코딩의 급성장과 미래
Claude 3.5(혹은 3.6으로 불리는 업데이트 버전) 출시 이후 코딩 분야는 급격히 발전했다. 야오 슌위는 자신이 작성하는 코드의 90% 이상이 모델 생성물이라고 말한다. "보수적으로 잡아도 90%, 아니 99~100%입니다. 나머지 10%는 모델이 작성할 수 없거나 제가 직접 짠 경우입니다."
모델이 못 하는 영역은 점점 줄어들고 있다. 1년 반 전만 해도 Claude는 여러 파일 간의 관계를 파악하거나 깊숙이 숨겨진 클래스 정의를 찾는 데 어려움을 겪었지만, 이제는 그런 문제가 거의 사라졌다. 실험 효율성도 20~50배 이상 향상되었다. "여러 아이디어를 동시에 테스트하고 모델이 실험 결과를 모니터링하게 할 수도 있습니다."
하지만 이로 인해 근무 시간이 줄어들기는커녕 오히려 늘어났다. "개발 속도가 빨라지니 시도하고 싶은 것이 더 많아졌습니다. 미국에서 혼자 일할 때 보통 오전 10시에 출근해 밤 10~11시까지 일합니다. 생성형 AI 분야에서 안주할 수 있는 사람은 아무도 없습니다."
미래의 프로그래머에게는 기술적 역량뿐만 아니라, AI를 활용해 복잡한 문제를 작은 단위로 쪼개는 계획 능력, 그리고 AI의 진화에 적응하는 능력이 필수적일 것이라고 그는 강조했다.
물리학에서 AI로: 개인 영웅주의의 거부
칭화대에서 응집물질물리학을 전공한 야오 슌위는 스탠퍼드에서 고에너지 물리학 박사 과정을 밟았다. 하지만 그는 물리학계가 실험적 검증 없이 수학적 자기 일관성에만 의존하며 '올드 타이머'들의 주관적 판단에 휘둘리는 것에 회의를 느꼈다. 그는 "객관적인 평가 기준"을 가진 분야를 찾았고, 실험적 검증이 가능한 AI를 선택했다.
그가 발견한 AI의 본질은 "근본적으로 단순하다"는 점이다. "물리학과 달리 AI는 이해하지 못해도 실험을 통해 계속 나아갈 수 있습니다. 제가 생각하는 모든 실험을 수행할 수 있고, 컴퓨팅 자원을 늘리는 것 외에는 근본적인 어려움이 없습니다."
이러한 단순함 때문에 그는 "언어 모델에서의 개인 영웅주의 시대는 끝났다"고 단언한다. "Transformer 이후 기술은 집단주의의 영역이 되었습니다. 누가 더 잘 협력하고 공동의 목표를 위해 에너지를 쏟느냐가 중요합니다." 그는 자신의 기여에 대해서도 "저는 그저 중요한 프로젝트에 참여할 기회를 얻은 운 좋은 서퍼일 뿐입니다. AI라는 거대한 파도는 제가 있든 없든 앞으로 나아갈 것입니다"라며 겸손한 태도를 보였다.
Google의 부활: 혼돈에서 엔지니어링의 정점으로
야오 슌위는 2025년 9월 Google DeepMind로 이직했다. 그는 Dario Amodei의 대중국 스탠스에 동의하지 않는 점도 있었지만, Anthropic에서 다루지 않는 멀티모달 생성과 하위 엔지니어링 인프라를 배우고 싶었다고 밝혔다. 초기 혼란스러웠던 Google의 사전 학습 팀은 그가 합류할 무렵 매우 명확한 체계를 갖추고 있었다.
Google의 강점은 '검색 엔진'처럼 극도로 단순한 제품 형태를 유지하면서 기술력으로 압도하는 것이다. "Google의 엔지니어링 관리 능력은 매우 강력합니다." Gemini의 성공은 Nano Banana와 Gemini 3의 연이은 출시 덕분이었다. "OpenAI가 챗봇으로 검색을 대체하려다 실패하면서 Google에게 시간을 벌어주었습니다. 덕분에 Google은 챗봇 분야를 따라잡을 수 있었고, 이제는 OpenAI가 곤경에 처했습니다."
긴 문맥과 사후 학습의 기술적 실체
Gemini의 긴 문맥(long context) 처리 능력에 대해 그는 "몇 가지 트릭이 있다"고 귀띔했다. 그는 '유한한 문맥으로 학습하고 무한한 문맥으로 사용한다'는 원칙 아래, 인간처럼 선택적으로 정보를 잊고 검색하는 기술을 연구 중이다. 사후 학습과 강화 학습의 차이에 대해서도 "데이터 분포와 품질의 차이일 뿐, 근본적으로는 정답을 향해 정렬하는 과정"이라고 설명했다.
래퍼(Wrapper) 기업의 생존 전략
AI 제품을 만드는 소위 '래퍼' 기업들에 대해 그는 "빠르게 성장해 사용자 점유율을 확보하거나, 대기업이 관심을 갖지 않을 만큼 작게 남아야 한다"고 조언했다. Cursor와 같은 생산성 도구는 모델 기업과 경쟁하는 델리케이트한 상황에 놓여 있다. 중국 AI 인재들에 대해서는 "기술적으로는 미국을 완전히 따라잡지 못했을지 몰라도, 제품 기획과 최적화 능력은 미국보다 뛰어나다"고 평가했다.
좋은 AI 연구원이란
야오 슌위는 채용 시 24시간 내에 강화 학습 프로젝트를 완수하게 하는 테스트를 진행한다. "AI를 활용해 문제를 해결하는 능력, 그리고 이 기회를 얼마나 소중히 여기는지(밤을 새울 의지가 있는지)를 봅니다." 그가 생각하는 가장 중요한 자질은 '신뢰성', '디테일에 대한 집중', 그리고 '자신의 작업에 대한 책임감'이다. "개인의 영웅주의가 빛나지 않더라도, 시스템을 견고하게 만드는 것이 조직과 개인 모두에게 가장 이롭습니다."
미래의 전망
현재 AI 모델의 성능은 상향 평준화되어 차별화가 어려워졌다. 경쟁은 이제 모델 성능 자체보다 제품 실행력과 시장 포지셔닝으로 옮겨갔다. 그는 "아직 엔드게임은 멀었다"며, 멀티모달 생성이나 로봇 공학, 과학적 난제 해결 등에서 새로운 기회가 열릴 것이라고 내다봤다. 언어 모델 연구는 이미 '마지막 열차'가 떠난 블루오션이라고 그는 덧붙였다.
인터뷰를 마무리하며 그는 자신의 미래에 대해 "여전히 스스로를 고문할 무언가를 찾고 있다"고 답했다. 그는 개인의 업적보다 작동하는 시스템의 일부가 되는 것에 더 큰 가치를 둔다. "이 시대에 가장 중요한 것은 신뢰할 수 있고, 디테일에 강하며, 자신의 일에 책임을 지는 것입니다. 개인 영웅주의 시대는 끝났고, 그것은 다행스러운 일입니다."