DruckFin

셰닝 시에: 실리콘밸리는 "LLM에 최면이 걸렸다" — 언어를 넘어선 세계 모델을 구축하다

장샤오쥔 팟캐스트, 2026년 3월 16일

2026년 초, 눈 덮인 브루클린의 한 아파트에서 셰닝 시에(Saining Xie)는 인공지능 분야에서 가장 대담한 도박 중 하나를 시작하고 있다. 뉴욕대학교(NYU) 교수이자 튜링상 수상자인 얀 르쿤(Yann LeCun)과 함께 AMI Labs를 공동 창업한 그는 최근 35억 달러의 프리머니 밸류에이션(투자 전 기업가치)으로 10억 3,000만 달러 규모의 기록적인 시드 투자를 유치했다. 이러한 화려한 수식어에도 불구하고 시에는 자신을 "평범한 사람"이라고 말한다. 그는 자신이 선택받은 천재가 아니라, 야망보다는 사람과 호기심에 이끌려 "신비로운 논리"라고 부르는 직관에 따라 커리어의 결정을 내려온 사람일 뿐이라고 강조한다.

7시간에 걸친 이번 대담에서 그는 지난 10년간 AI의 다음 도약을 위한 발판을 조용히 다져온 연구자의 면모를 드러냈다. 그가 꿈꾸는 것은 플라톤의 동굴 벽에 비친 언어의 그림자가 아닌, 물리적 실체를 진정으로 이해하는 '세계 모델(World Models)'이다. 이는 그가 "완전히 최면에 걸렸다"고 표현하는 실리콘밸리의 거대 언어 모델(LLM) 중심 기류에 대한 반기이자, 업계의 가장 강력한 서사들과 정면으로 충돌하는 행보이기도 하다.

언어 모델의 근본적인 결함

시에는 LLM에 대해 거침없이 비판한다. "나는 LLM을 '쓴맛(The Bitter Lesson)'의 성공 사례로 보지 않는다. 사실 그것은 그 교훈에 대한 반란이다." 그는 인간이 설계한 구조를 최소화해야 한다는 리치 서튼(Rich Sutton)의 유명한 에세이를 언급하며 이렇게 말한다. 그의 논리는 언어가 실제로 무엇을 나타내는지에 대한 핵심을 찌른다. "언어는 사고를 위한 지도가 아니라 의사소통 도구입니다." 그가 설명하듯, 인간은 글을 쓸 때 현실의 복잡한 질감을 모두 담아내는 것이 아니라, 마음과 마음 사이의 전달에 최적화된 기호로 방대한 경험을 압축한다.

이 점이 중요한 이유는 시에의 관점에서 LLM의 스케일링 법칙(Scaling Laws)에는 상당한 '물'이 섞여 있기 때문이다. 그는 이를 '인플레이션'이라고 부른다. "언어 모델의 스케일링 법칙은 지식의 표현에 기반을 두고 있습니다." 그는 모델이 지능적으로 보이기 위해 사실적인 정보를 암기해야 하며, 이로 인해 파라미터 수가 비대해진다고 주장한다. 하지만 진정한 세계 모델이라면 모든 위키피디아 항목을 기억할 필요가 없다. "모든 지식을 암기할 필요는 없습니다. 정보를 걸러내고 처리할 수 있는 뛰어난 이해 능력이 필요할 뿐입니다." 데이터베이스 자체보다 그 정보를 다루는 결정 능력이 더 중요하다는 뜻이다.

기술적 논쟁은 더 깊은 곳으로 이어진다. P(y), 즉 레이블이나 다음 토큰을 예측하는 모델링을 할 때 확률 질량은 저차원의 의미 공간에 집중된다. 그러나 비디오 생성 모델처럼 P(x|y)를 모델링하면 "할당된 가능성은 어떤 현상이 실제로 세상에 존재하며, 어떤 것이 더 일어날 법한지를 말해줍니다."라고 시에는 설명한다. 이는 모델이 왜 다리가 4개인 고양이가 3개인 고양이보다 흔한지, 왜 움직임은 부드러워야 하는지, 왜 물리학이 가능성을 제약하는지를 배우도록 강제한다. "지금 배워야 할 것은 P(y)를 모델링해서 얻는 것보다 훨씬 더 많은 지능을 담고 있습니다."

더 근본적으로 언어는 이산적인 토큰으로 작동하지만, 물리적 세계는 연속적이고 고차원적이며 노이즈가 많은 공간에서 작동한다. "LLM처럼 비전을 처리한다면 모든 프레임을 토큰화하고 아주 긴 시퀀스로 연결해야 할 것입니다." 시에가 말한다. "그 이면에 있는 세계 표현(글로벌 상태)을 가져와서 매우 중복된 토큰으로 직렬화하는 셈이죠." 트랜스포머는 모든 토큰에 동일한 주의를 기울여야 하는데, 이는 인간이 대뇌 피질 전반에서 병렬로 처리하는 공간 구조를 포착하기에는 "그 자체로 불합리한" 방식이다.

표현(Representation)이라는 실타래

시에가 어디로 향하는지 이해하려면 그가 어디를 거쳐왔는지 추적해야 한다. 그의 연구 여정은 모달리티, 목적 함수, 아키텍처 전반에 걸친 표현 학습의 체계적인 탐구와 같다. 2018년부터 2023년까지 FAIR(Meta AI 연구소)에서 그는 카이밍 허(Kaiming He)와 함께 MoCo 시리즈를 작업하며 자기지도 대조 학습(Self-supervised contrastive learning)을 ImageNet 사전 학습 수준으로 끌어올렸다. 이어 허가 주도한 MAE(Masked Autoencoders)가 등장했고, 이는 더 단순한 노이즈 제거 접근법으로 유망한 스케일링 성능을 보여주었다.

그러나 둘 다 결국 한계에 부딪혔다. "MAE는 놀라웠고 최소한 최우수 논문상은 받아야 한다고 생각했습니다." 시에가 회상한다. "결국 그러지 못했죠. MAE를 확장하면 모든 문제가 해결될 줄 알았는데, 그렇지도 않았습니다." 비전 커뮤니티는 언어 모델이 가진 것, 즉 더 많은 데이터와 컴퓨팅을 통해 더 나은 결과로 이어지는 명확한 경로를 찾지 못했다. "현재 비전에는 스케일링 법칙이 없습니다." 시에는 인정하면서도 즉시 말을 덧붙인다. "그리고 점점 더 비전에는 스케일링 법칙이 필요 없다는 생각이 듭니다."

획기적인 통찰은 2024년 RAE(Representation Autoencoders) 연구에서 나왔다. 픽셀 공간이나 압축된 VAE 잠재 공간에서 노이즈를 제거하는 대신, RAE는 DINOv2와 같은 자기지도 모델이 학습한 고차원 표현 공간에서 작동한다. "이제 표현 레이어가 매우 고차원이 됩니다. 이 고차원 표현 위에서 노이즈 제거와 이미지 생성을 수행하려는 것이죠." 한 학생이 고차원이 학습에 악영향을 주지 않겠느냐고 질문하자, 홍콩대학교 마이(Ma Yi) 교수가 나서서 말했다. "고차원을 두려워해서는 안 됩니다. 고차원은 모든 머신러닝의 가장 중요한 초석입니다."

이 연구는 시에에게 표현이야말로 모든 것이 구축되어야 할 기반이라는 확신을 주었다. "이 세상에서 중요한 것은 단 하나, 이 표현을 어떻게 학습하느냐입니다." 그는 언어 모델이 지능을 주도하기보다는 "점차 단순한 의사소통 인터페이스로 전락할 것"이라고 본다. 비디오 생성 역시 강력한 표현 위에 구축될 것이다. "우리가 그런 기반을 갖추면, 이를 쉽게 언어로 디코딩하고, 픽셀로 디코딩해 비디오를 생성하며, 어떤 종류의 행동으로도 디코딩할 수 있습니다."

세계 모델이란 무엇인가?

시에는 '세계 모델'이라는 용어가 지나치게 광범위하게 쓰이는 유행어가 되었다는 점을 인정하면서도, 정의를 묻는 질문에 열정적으로 답했다. 기술적으로 세계 모델은 예측 함수다. 현재 상태 S_t와 행동 a_t가 주어지면 다음 상태 S_{t+1}을 예측하는 것이다. 이 공식은 1943년 심리학자 케네스 크레이크(Kenneth Craik)가 인간이 행동의 결과를 예측하기 위해 내부 모델을 유지한다고 처음 제안했을 때로 거슬러 올라간다. 1960년대 제어 이론은 이를 달 착륙선에 적용했고, 강화 학습은 서튼의 Dyna 아키텍처로 이를 받아들였다.

하지만 이 개념은 파편화되었다. 비디오 생성 기업들은 스스로를 세계 모델 기업이라 부르며 일관성 있는 시각적 시퀀스를 렌더링하는 데 집중한다. 시에는 이를 "세계 시뮬레이터"라고 부른다. 페이페이 리(Fei-Fei Li)의 World Labs는 자산 생성을 위한 프론트엔드로 명시적인 3D 공간 표현을 추구하며 오토데스크(Autodesk)로부터 2억 달러를 투자받았다. 이들은 가치 있지만 불완전하다.

시에와 르쿤이 구축하는 것은 시뮬레이션이나 공간적 발판이 아닌, 지능 그 자체인 "예측하는 뇌"다. 그는 현재의 접근 방식에 대해 "진정한 지능으로 이어질 수 없는 길을 가고 있다"며 "누군가는 이 더 큰 규모에서 새로운 문제를 정의해야 한다"고 말한다. 핵심 요구 사항은 물리적 세계에 대한 이해, 대규모 연상 기억, 추론 및 계획 능력, 반사실적 추론, 그리고 사후 정렬이 아닌 예측에서 비롯되는 제어 가능성과 안전성이다.

마지막 지점은 시에에게 매우 중요하다. "LLM은 진정한 세계 모델이 없기 때문에 제어할 수도, 안전하지도 않습니다." 그는 현재의 안전 조치가 무엇을 말하고 하지 말아야 할지에 대한 예시를 미세 조정(fine-tuning)하는 데 전적으로 의존한다고 지적한다. 하지만 "진정한 세계 모델이 있다면 행동이 어떤 결과를 초래할지 예측할 수 있기 때문에 이런 과정이 필요 없습니다." 칼을 든 로봇은 칼 사고에 대한 수천 개의 학습 예시 없이도 사람 쪽으로 몸을 돌리는 것이 위험하다는 것을 미리 알 수 있다. 세계 모델은 암기가 아닌 이해를 통해 안전을 가능하게 한다.

데이터 문제

언어 모델이 인터넷의 텍스트를 먹고 자랐다면, 세계 모델은 어떻게든 현실 그 자체를 섭취해야 한다. "지난 시대가 인터넷을 다운로드하는 시대였다면, 이제는 인류를 다운로드하는 시대입니다." 생후 4개월 된 아기는 최고의 LLM을 학습시키는 데 사용된 모든 토큰보다 더 많은 시각 데이터를 보았다. 30조 개의 토큰은 유튜브에 올라온 약 30분 분량의 영상과 맞먹는다. 그 규모는 압도적이다.

유튜브는 저작권과 서비스 약관 분쟁에도 불구하고 가장 먼저 공략해야 할 대상이 되었다. "한쪽은 데이터 수집을 필사적으로 막고 있고, 다른 한쪽은 더 많은 데이터를 얻기 위해 모든 수단을 동원하고 있습니다." 시에는 이 고양이와 쥐의 추격전을 묘사한다. 틱톡과 더우인을 보유한 바이트댄스의 엄청난 우위가 드러나지만, 그들 역시 법적 도전에 직면해 있다.

하지만 비디오만으로는 충분하지 않다. 시에는 항상 켜져 있는 웨어러블 기기, 즉 사용자가 보는 모든 것을 보는 AI 안경을 통해 1인칭 경험의 무한한 토큰 스트림을 생성하는 미래를 그린다. 현재 가장 가까운 예는 심박수와 수면을 모니터링하며 스트레스와 회복을 예측하는 피트니스 트래커다. "우리가 보는 모든 것을 실시간으로 볼 수 있는 항상 켜진 웨어러블 기기가 있다면, 엄청난 잠재력이 있을 것입니다." 의료 모니터링, 운동 훈련, 노인 돌봄 등 시각적 맥락과 시간적 패턴을 이해하는 모델이 가져올 혜택은 무궁무진하다.

로봇 공학은 또 다른 데이터 확보 경로이자 배포 대상이다. 이 업계는 딥마인드의 지 탄(Jie Tan)이 말한 "극도로 불균형한 발전"에 시달리고 있다. 신체적 능력은 인간을 넘어섰지만 인지는 뒤처져 있다. "아무도 뇌를 만들지 않고 있습니다. 로봇의 뇌 말이죠." 시에가 말한다. 딥마인드부터 Physical Intelligence까지 모두 제미나이(Gemini) 같은 언어 모델을 거치는 VLA(Vision-Language-Action 모델)에 의존한다. "이는 사전 학습의 두 번째 단계가 필요합니다." 그는 전 OpenAI 연구원 슌유 야오(Shunyu Yao)의 말을 빌려 이렇게 주장한다. "누가 이 사전 학습을 할까요? 베이 지역을 포함해 어느 나라에서도 가능하다고 생각하지 않습니다."

DiT의 비하인드 스토리

시에의 가장 유명한 연구인 확산 트랜스포머(DiT)는 그가 연구의 필수적인 "비선형성"이라고 부르는 과정에서 탄생했다. 2022년 FAIR에서 그와 인턴 빌 피블스(Bill Peebles, 현 OpenAI Sora 책임자)는 판별 학습과 생성 학습의 연결 고리를 이해하기 위해 확산 모델을 탐구하기 시작했다. 원래 질문은 카이밍 허가 던진 것이었다. "이것은 판별 모델인가, 생성 모델인가?" 노이즈 제거는 각 단계에서 판별 예측을 수행하지만 합성을 통해 생성하기 때문에 이는 심오한 수수께끼였다.

두 달 동안 그들은 표현 품질을 연구했고, 확산 모델이 괜찮은 특징을 학습하지만 "자기지도 학습보다 훨씬 뒤떨어지며 전혀 경쟁력이 없다"는 것을 발견했다. 그때 전환점이 찾아왔다. "마지막 달에 우리는 새로운 아키텍처가 U-Net보다 실제로 더 효율적이고 확장 가능하다는 것을 발견했습니다." 코드 관점에서 DiT는 시에가 말하는 '최소 기술 길이(Minimal Description Length)', 즉 단순함을 통한 우아함을 구현했다. "코드가 짧고 같은 목적을 달성할 수 있다면, 그 방법은 보통 수천 줄이 필요한 방법보다 낫습니다."

논문은 CVPR에서 거절당했다. "참신함이 부족하다"는 것이 이유였다. "매우 단순한 구조를 제시했고 좋은 결과를 얻었음에도 리뷰어들은 납득하지 못했습니다." 얀 르쿤이 트위터에 이 논문을 언급했다. 그들은 내용을 바꾸지 않고 다른 곳에 제출해 구두 발표(Oral Paper)로 선정되었다. "완전히 무작위적인 과정이죠." 시에는 어깨를 으쓱한다.

FAIR는 시에가 이미 떠났다는 이유로 초기에는 회사 소속을 표기하지 못하게 했다. 하지만 Sora가 DiT를 백본으로 명시한 후, 이 아키텍처는 사실상 모든 주요 비디오 생성 모델의 기반이 되었다. 아이러니한 상황이다. "여러 연구자가 저에게 찾아와 '2주 동안 이 연구를 했는데 상사가 제품 주기가 다가오니 더 이상 하지 말라고 했다'고 말하더군요." 업계는 DiT가 올바른 방향임을 알았지만 이를 추구할 자유가 없었다.

카이밍 허의 영향

시에의 연구 형성기에 카이밍 허만큼 큰 영향을 준 사람은 없다. 그들의 협업은 2016년 허가 인턴십 도중 FAIR에 합류하면서 거의 우연히 시작되었다. 시에의 매니저는 그를 허에게 넘겼다. "카이밍, 이 친구 좀 가이드해줘." 한 달 남은 기간 동안 그들은 ImageNet 챌린지에 도전하기로 했고, ResNeXt를 만들어냈다. 이는 허가 시에의 공을 인정하며 '시에의 ResNet'이라는 의미를 담아 지은 이름이다.

시에가 흡수한 것은 논문 그 이상이었다. 그는 허의 작업 방식을 거의 종교적인 용어로 묘사한다. "카이밍의 마법은 매우 평범한 것들을 가져와 황금처럼 가치 있는 아이디어로 바꾸는 것입니다." 그의 규율은 수도승 같았다. 마감 한 달 전에 발표 준비를 끝내고, 논문의 모든 줄을 확인해 여백이 40%를 넘지 않게 했으며, 혁신을 시도하기 전에 베이스라인을 강박적으로 구축했다.

"연구의 천장은 베이스라인이 얼마나 좋은지에 달려 있습니다." 시에는 배웠다. "베이스라인이 약하면 쉽게 자신을 속일 수 있습니다." 비교 대상을 더 어렵게 만드는 이 역설적인 원칙은 허의 탐지 연구(Fast R-CNN, Mask R-CNN)가 이미 평범한 CVPR 논문들을 압도하는 인프라에서 시작함으로써 업계를 지배하게 했다. "우리의 베이스라인이 이미 당신들보다 강했으니, 여기서 한 걸음 더 나아가면 당연히 더 멀리 갈 수밖에 없죠."

하지만 가장 깊은 교훈은 연구 철학에 관한 것이었다. 허는 시에에게 "모든 현상은 꿈, 환상, 거품, 그림자와 같다"는 금강경을 선물했다. 이는 칸트의 '물자체', 쇼펜하우어의 '표상과 의지' 등 서양 철학과의 공명으로 이어지며 연구 취향에 대한 핵심 통찰을 제공했다. "논문을 읽을 때 중요한 것은 논문이 제시하는 환상을 깨고 그 이면에 무엇이 있는지, 어떤 실질적인 본질을 담고 있는지 질문하는 것입니다."

이는 모든 결정에 스며든다. FAIR 인턴들을 위한 첫 번째 수업은 실험을 추적하기 위한 엑셀 스프레드시트를 마스터하는 것이었다. "어떤 지표에 집중할지, 어떤 열을 만들지, 통제 변수를 어떻게 정의할지, 각 실험을 어떻게 최대한 유익하게 만들지 결정해야 합니다." 실험을 너무 적게 하면 신호가 불분명하고, 맹목적으로 다 하면 노이즈에 빠진다. 기술은 스프레드시트 자체를 설계하는 데 있다.

일리아 수츠케버의 제안을 두 번 거절하다

시에가 선택하지 않은 길은 대화 내내 그를 따라다닌다. 2018년 박사 학위를 마친 직후, 그는 OpenAI에서 존 슐만(John Schulman)과 "어둡고 작은 방에서 5~6시간 동안 한 문제에 매달리는" 인터뷰를 했다. 연필 자국이 남은 종이에 직접 쓴 질문들은 그를 감동시켰다. 하지만 FAIR에는 카이밍 허, 표트르 돌라르(Piotr Dollar), 로스 거식(Ross Girshick) 등 "컴퓨터 비전의 세 기둥"이 있었다. OpenAI 오퍼가 도착했을 때, "일리아(Ilya Sutskever)가 전화했지만 나는 거의 아무 말도 하지 않고 거절했습니다."

일리아 수츠케버는 화가 났다. "왜 거절하기 전에 논의조차 안 했죠? 돈이 부족한가요?" 시에의 어조는 사과하는 듯했지만 확고했다. 2018년 당시 최고의 박사 과정 학생들에게 FAIR는 더 확실한 선택지였다. 더 개방적이고 학구적이었기 때문이다. "OpenAI가 이미 하고 있는 일을 정말로 하고 싶어 하는 경우가 아니라면, 대부분은 FAIR로 기울었을 것입니다."

두 번째 거절은 수츠케버가 SSI를 설립한 직후인 2024년 7월에 있었다. 그는 이메일로 시에에게 합류를 제안했다. 이번에는 AI에게 사랑할 능력을 주는 방법에 대해 논의했다. "결론은 이것이 매우 중요하다는 것이었습니다." 시에가 회상한다. "그것 없이는 매우 불확실하고 위험한 미래에 직면하게 될 테니까요." 하지만 시에가 멀티모달리티에 대해 묻자 일리아의 반응은 단호했다. 비전은 "이미 충분히 잘 해결되었다"는 것이었다.

그 근본적인 의견 차이가 결정을 굳혔다. "SSI는 자체적인 언어 기반 접근 방식을 가지고 있고, 그 방식은 제가 추구하고 싶은 길이 아닙니다." 시에는 이를 쓴 경쟁으로 보지 않는다. "산을 오르는 형제들이 각자 노력하는 것뿐이죠." 그가 중국 속담을 인용한다. "최근 LLM의 발전이 없었다면 현재의 컴퓨터 비전 상태도 없었을 것입니다." 하지만 지능에 무엇이 필요한지에 대해서는 두 사람의 길이 극명하게 갈린다.

얀 르쿤과의 파트너십

AMI Labs의 창업 이야기는 시에의 의사결정 방식을 특징짓는 신비로움에 가깝다. 2025년 말 한 매니저가 얀 르쿤이 메타에서 불행해 보인다고 귀띔했다. 시에의 첫 반응은 불신이었다. AI의 대부가 떠난다고? 2주 후 일대일 미팅에서 르쿤이 입을 열었다. "아직 아무에게도 말하지 마세요. 결심했습니다. 내가 하고 싶은 일은 밖에서 해야 합니다. 회사를 세우고 싶어요."

시에가 비즈니스 모델을 묻자 르쿤이 답했다. "그때 깨달았습니다. 와, 이건 제가 상상하던 것과 완전히 일치하는군요." 그게 무엇이었을까? "세계 모델이라고 부를 수 있겠죠. 논리는 이렇습니다. 제가 하고 싶은 일은 현재 환경의 그 어떤 나라에서도, 베이 지역을 포함해서도 할 수 없다고 생각합니다."

확신은 단순했다. 이 작업은 연구의 깊이를 요구하지만 전통적인 학계(자원 부족)나 폐쇄적인 산업 연구소(문제 정의의 자유 부족)에서는 불가능하다. "우리는 처음에 논의한 것으로 돌아가야 합니다." 시에가 말한다. "이런 경쟁적인 환경에서 모든 회사가 문제를 정의하는 능력을 잃어버린 것 같습니다." OpenAI는 한때 문제를 정의했다. 이제는 OpenAI조차 자신들이 정의한 경주에 휩쓸리고 있다.

시에는 일주일 정도 고민했다. 르쿤의 제안은 간단했다. 이것이 시에 개인과 회사 모두에게 더 나은 선택이며, 팀과 로드맵을 구축할 자율성을 제공한다는 것이었다. "얀이 저에게 그런 신뢰를 주었다는 사실에 정말로 감사합니다." CEO, COO, 세계 모델 담당 VP(기존 JEPA 팀 디렉터), CRIO(홍콩의 파스칼 펑)를 포함해 6명의 공동 창업자가 합류했다. 여러 명은 OpenAI, 구글, 메타에서 수천만 달러 규모의 미행사 스톡옵션을 포기하고 나왔다.

왜일까? "아마 우리 모두 조금 미쳤나 봅니다." 시에가 웃는다. 하지만 자학적인 농담 이면에는 확신이 있다. "이곳만이 우리가 이 일을 할 수 있는 유일한 곳입니다." 미션은 리더보드 점수나 제품 주기를 쫓는 것이 아니다. 두 번째 사전 학습, 즉 로봇 공학에 부족하고 웨어러블 기기에 필요하며 구현된 AI에 요구되는 '뇌'를 만드는 것이다.

실리콘밸리에 대한 비판

시에는 베이 지역의 문화적 순간에 대해 가장 날카로운 비판을 아끼지 않는다. "실리콘밸리는 LLM에 완전히 중독되어 있습니다." 그가 단호하게 말한다. "밸리는 LLM의 참호 깊숙이 빠져 완전히 최면에 걸렸습니다." 이는 단순한 비난이 아니다. 그는 구글 제미나이 GenAI 팀에서 파트타임으로 수년간 일하며 그 제약을 직접 목격했다.

"현재 전체 AI 산업은 거대한 가치 사슬을 가지고 있습니다." 그가 설명한다. "최상단에는 '쓴맛(Bitter Lesson)'이 있고, AGI와 LLM이라는 서사가 있습니다. 이것이 일련의 벤치마크를 정의하죠. 그래서 리더보드에서 경쟁하게 됩니다. 리더보드가 자원 배분을 결정하는 것입니다." LMSys Arena에서 1위를 하는 것이 목표라면 그 경주에만 자원을 쏟아부을 수밖에 없다. "이 가치 사슬 아래에서는 연구자들이 중요하다고 알고 있더라도 이런 연구를 할 수 없습니다."

비디오 이해가 그 예다. "학계나 산업계 모두 이 분야를 제대로 하지 않거나, 하더라도 근본적인 세계 모델 관점이 아닙니다. 예외 없이 모든 회사가 비디오 생성 모델 팀에 할당되어 있습니다." 그것이 가치 사슬 내에서 비디오 전문성이 맞는 유일한 위치이기 때문이다. "모두가 이 문제를 해결하지 못했다는 것을 알면서도, 더 나은 세계 모델 기반 비디오 이해 모델이 필요하다는 것을 알면서도, 사람들은 그런 탐구를 할 공간이 없습니다."

학계에 대한 저항은 문제를 더욱 악화시킨다. "사람들은 학계가 하는 일을 무시합니다. 학계의 연구가 어떤 영향력도 만들어낼 수 없다고 생각하죠." 회사 내부에서도 연구 그룹은 제품 그룹과 연구 내용을 공유할 수 없다. RAE 논문 발표 후 구글의 여러 연구자가 시에에게 말했다. "2주 동안 이 연구를 했는데 상사가 제품 주기가 다가오니 더 이상 하지 말라고 하더군요."

그래서 AMI Labs는 팔로알토가 아닌 뉴욕에 자리를 잡았다. "베이 지역은 정말 순수한 기술 거품입니다." 시에가 말한다. "모두가 한 가지를 하는 데 매우 집중할 수 있죠. 하지만 뉴욕은 더 현실적인 세상입니다." 그 현실성이 기반을 제공한다. 워싱턴 스퀘어 공원을 걸어 NYU 사무실로 향하며 거리 공연자, 유모차를 끄는 엄마들, 체스를 두는 노인들, 공부하는 학생들을 볼 때 그는 느낀다. "세상은 우리가 상상하는 것보다 훨씬 큽니다. 모두가 AI에 관심 있는 것은 아니죠. 그들은 자신의 삶을 살고 있습니다."

이는 근본적인 질문을 던진다. AI는 실제로 무엇을 해야 하는가? "우리는 사회적 책임이 있는가?" 시에가 자문한다. "사람들과 더 접촉하고, 이 세상을 살아가는 사람들과 더 많이 마주하는 것이 AI가 무엇인지, 어떻게 새로운 방식으로 차세대 AI를 구축할지 이해하는 데 도움이 됩니다." 이것이 일리아가 나누고 싶어 했지만 시에가 아직 도달하지 못했던 대화였다.

스케일링 법칙이라는 이단

아마도 시에의 가장 역설적인 기술적 주장은 비전이 LLM 스타일의 스케일링 법칙을 필요로 하지도, 원하지도 않는다는 점일 것이다. "모델이 그렇게 크지는 않을 것입니다." 그가 예측한다. "모든 것을 기억할 필요는 없습니다. 세상의 모든 미묘한 세부 사항을 다 알 필요는 없죠." 세계 모델은 사과가 떨어지는지 결정하기 위해 고차원 공간에서 정의된 방정식을 풀지 않는다. "인간 지능의 최고 수준이 필요한 것이 아닙니다. 정보를 걸러내고 처리할 수 있는 뛰어난 이해 능력이 필요할 뿐입니다."

이는 컴퓨팅 C가 토큰 N 곱하기 파라미터 D의 6배와 대략 같다는 친칠라(Chinchilla) 스케일링 패러다임과 정면으로 배치된다. "언어 모델의 스케일링 법칙은 지식의 표현에 기반한다고 봅니다." 시에가 주장한다. "비교적 균형 잡힌 비율을 가질 수 있죠. 토큰 수와 파라미터가 대략 1:1이어야 합니다." 하지만 사실 검색이 아닌 의사결정을 최적화하는 세계 모델은 완전히 다른 컴퓨팅 분포를 가질 수 있다.

생물학적 비유는 정확하다. 인간은 모든 감각을 합쳐 초당 약 10억 비트를 받아들이며, 비전만 해도 엄청난 대역폭을 처리한다. 하지만 행동 출력은 초당 10~100비트에 불과하다. "초당 20와트의 전력으로 초당 10억 비트를 받아들여 10비트의 행동 출력으로 변환하는 우리 뇌는 어떤 모델일까요?" 데이터베이스가 아니라 필터링 시스템이 가장 중요하다.

이는 더 많은 데이터를 처리하면서도 다른 효율성 곡선을 가진 더 작은 모델을 시사한다. 모델은 암기가 아닌 압축과 예측을 학습하기 때문에 데이터 양에 따라 선형적으로 확장되지 않는다. "우리는 여러 단계로 진행할 수 있습니다." 시에가 말한다. "인터넷 데이터로 시작해서 유튜브로 시작하는 거죠." 하지만 컴퓨팅 분포는 다를 것이다. "예측 손실뿐만 아니라 생성 및 판별 방법을 결합하여 비디오에 더 큰 비중을 둘 수 있습니다."

인간의 오만함 문제

대화 후반부, 시에는 인간의 지능이 지능 그 자체를 정의한다는 가정인 '인간의 오만함'에 대해 열정적으로 이야기했다. 그는 영장류학자 프란스 드 발(Frans de Waal)의 책 『Are We Smart Enough to Know How Smart Animals Are?』를 읽으며 인간만이 가진 것으로 여겨졌던 많은 특성이 다른 종들에도 존재한다는 사실을 발견했다. 도구 사용, 거울 속 자아 인식, 마음 이론, 심지어 드 발의 『침팬지 정치』에 묘사된 정치적 책략까지 말이다.

어치(Scrub jays)는 먹이를 숨기지만 동료가 지켜보는 것을 눈치채면 떠날 때까지 기다렸다가 먹이를 파내어 다른 곳에 다시 숨긴다. 바나나와 사과가 든 두 상자를 본 침팬지는 실험자가 바나나를 먹는 것을 보면 즉시 사과 상자를 연다. 숨겨진 상태에 대해 추론하는 것이다. "언어는 인간만이 가진 것이 맞지만, 그렇다고 다른 동물이 의사소통하지 않는다는 뜻은 아닙니다." 시에가 지적한다. 고래도 그들만의 언어가 있다.

이는 AI의 도전을 재구성한다. 리치 서튼의 팟캐스트 발언이 깊은 울림을 준다. "당신은 이것들이 훌륭하고 인상적이며 어렵다고 생각하나요? 저는 그렇게 생각하지 않습니다. 다람쥐의 지능을 만드는 것이 어려운 문제라고 생각합니다." 다람쥐의 지능(고유한 목표, 본질적인 보상, 감정, 사회적 행동을 가진)을 만들 수 있다면 "코드를 작성하거나 화성, 달에 가는 것은 쉬운 일이 될 것입니다."

인간의 관점에서는 터무니없어 보이지만, 우주의 관점에서는 당연하다. "인간의 오만함을 버리면 다람쥐의 지능을 만드는 것이 사실 더 어려운 문제입니다." 시에가 강조한다. 그리고 로봇 공학이 그 시험대가 된다. 가사 일을 하는 12살 아이처럼 기능할 만큼 신뢰할 수 있는 무언가를 만들 수 있을까? 현재의 로봇은 초인적인 팔다리를 가졌지만 유아 수준의 뇌를 가졌다. "아무도 뇌를 만들지 않습니다."

연구 철학

모든 것에 스며들어 있는 것은 연구가 본질적으로 비선형적이라는 시에의 관점이다. "최악의 연구는 시작 아이디어가 끝 아이디어와 같을 때입니다." 그가 말한다. "어떤 장애물이나 어려움도 겪지 않았다는 뜻이죠. 아이디어가 지루하다는 증거입니다." 좋은 연구는 "빛이 보이지 않아 근본적인 우울함을 느끼는" 두 달간의 허우적거리는 탐색과, 마감 직전 마지막 달에 갑자기 수렴하는 과정이 필요하다.

탐색이 목적 없이 방황해서는 안 된다. 카이밍 허는 정보 이득을 최대화하도록 설계된 엑셀 스프레드시트로 실험을 추적하는 법을 가르쳤다. 너무 희소하지도(신호가 불분명함), 너무 조밀하지도(의미 없는 노이즈) 않게 말이다. "모든 실험은 제가 방금 말한 그 기울기(gradient)를 주어야 합니다." 실패한 실험이 성공한 실험보다 더 큰 기울기를 제공하는 경우가 많다. "어느 방향으로 가야 할지 모르는 것, 그것이 가장 두려운 일입니다."

아이디어는 안락의자에서의 사색이 아니라 이 과정에서 나온다. "생각만으로 아이디어를 내려고 한다면, 그것은 절대 좋은 아이디어가 아닙니다." 시에가 허의 방식을 빌려 말한다. 당신이 모두보다 똑똑하거나(그럴 리 없고), 전 세계 1만 명이 같은 생각을 하고 있거나(경주에서 지고), 다른 사람들이 이미 시도한 나쁜 아이디어(시간 낭비)일 뿐이다. 진짜 아이디어는 행동에서 나온다. 베이스라인을 재현하고, 확장을 시도하고, 놀라운 관찰을 발견하는 것에서 말이다.

목표는 영향력이 아니다. 시에는 이 단어를 너무 공격적이고 남성적인 것으로 느껴 "약간의 거부감"을 가지고 있다. 그는 한나 아렌트의 틀을 선호한다. 연구는 이해 그 자체를 위한 것이며, 이해를 확산하는 것은 당신이 파악한 것을 파악한 사람들과 공명, 즉 "가족 같은 느낌"을 만든다. "어떤 것들을 이해할 수 있고, 내가 이해한 것이 어떻게든 세상이나 AI의 발전에 영향을 줄 수 있다면, 그것은 지금 제가 매우 신경 쓰는 부분입니다."

이는 연구를 '무한 게임'으로 만든다. 평균적인 논문 품질이 아니라 최대치, 즉 당신의 대표작을 최적화하는 것이다. "당신은 평생 단 한 번만 성공하면 됩니다." 시에가 말한다. 몇 번 성공하면 정상에 오른다. 이것이 그가 박사 과정 중 5번의 인턴십을 했지만 절반은 아무것도 생산하지 못했다고 학생들에게 말할 수 있는 이유이자, 수천 번의 인용에도 불구하고 2015년 HED(Holistically-Nested Edge Detection) 이후 최우수 논문이 없음을 인정할 수 있는 이유다.

언더독의 정체성

기록적인 시드 투자에도 불구하고 시에는 AMI Labs가 "완전히 언더독(약자) 기업"이라고 주장한다. 얀 르쿤은 "자신을 굳게 지키며 항상 다음 것을 시도하지만, 아직 증명되지 않은 일을 하는 사람"이다. 회사는 업계의 압박에 직면해 있고, 자원을 절약해야 하며, 모든 것을 역설적인 비전에 걸고 있다. "우리는 많은 투자를 받았을지 모르지만, LLM이 지금 동원하는 자원과 비교하면... 어느 정도인지 모르겠지만, 너무나 멀리 떨어져 있습니다."

하지만 언더독이라는 점은 시에의 연구 정체성에 호소한다. "사람들이 나를 믿지 않을수록 나는 더 행복합니다." 그가 웃는다. 그는 『왜 위대함은 계획될 수 없는가(Why Greatness Cannot Be Planned)』라는 책을 언급하며 "위대함은 계획될 수 없는가?"라고 묻는다. 답은 '그렇다'다. 탐색, 점진적인 아이디어 형성, 피벗(방향 전환)할 의지가 필요하다. "이것은 스타트업에도 적용된다고 생각합니다."

여정은 이미 시에가 묘사한 비선형성의 징후를 보이고 있다. 그들은 "꽤 유망한 결과가 곧 나올" 작업들을 진행 중이다. 타르코프스키의 영화(인간의 기억을 구체화하는 바다에 관한)에서 이름을 따온 'Solaris'라는 논문은 비디오 생성을 시연할 뿐만 아니라, 더 중요하게는 표현 학습의 기반을 발전시킬 것이다. 3월쯤이면 더 많은 것을 보여줄 수 있을 것이다.

25명의 팀원 중에는 OpenAI, 구글, 메타에서 8자리 수의 주식 패키지를 포기하고 온 사람들이 포함되어 있다. "왜냐고요? 아마 우리 모두 조금 미쳤나 봅니다." 시에가 말한다. "모두가 이것이 실제로 필요하다는 것을 깨닫고 있습니다. 한편으로는 반대 의견처럼 보이지만, 다른 한편으로는 지난 1년간 점차 합의가 이루어지고 있습니다." 합의는 단순하다. 지금 존재하는 것만으로는 충분하지 않다. 누군가는 예측하는 뇌를 만들어야 한다.

스키 은유

시에는 최근 스키를 배우기 시작했고, 거기서 기업가 정신에 대한 은유를 발견했다. "첫째, 스키는 균형에 관한 스포츠입니다. 둘째, 두려움 없이 어깨를 경사면 아래로 향해야 합니다." 본능은 위험으로부터 멀어지려고 뒤로 기대라고 외치지만, 그것은 넘어짐을 보장할 뿐이다. "두려움을 완전히 버리고 충분한 용기를 가지고 어깨를 경사면 쪽으로 향할 때, 당신은 실제로 더 안정적이 됩니다."

인류의 찬가는 용기의 찬가라고 그는 『죠죠의 기묘한 모험』의 대사를 인용한다. 그리고 용기는 동료애에서 자라난다. "당신은 절대 혼자 걷지 않는다." 그는 자신이 사랑하는 리버풀 FC의 응원가를 빌려 말한다. 클롭 감독이 자신을 "특별한 사람(The Special One)"이 아니라 "평범한 사람(The Normal One)"이라고 묘사한 것이 공감을 불러일으킨다. 스포트라이트를 독점하기보다 팀을 충전하는 배터리 역할을 하는 사람 말이다.

스타트업과 연구에서 시에는 낙담할 때조차 그런 배터리 역할이 필요하다고 믿는다. "매일 낙담합니다." 그가 인정한다. "연구자의 운명 같은 것이 된 것 같아요. 과정이 빛 없는 곳을 더듬는 것과 같아서 모두가 근본적인 우울함을 가지고 있습니다." 기쁨은 무언가가 작동할 때 5~10% 정도의 짧은 순간에만 찾아온다.

하지만 워싱턴 스퀘어 공원을 걸으며 AI와는 전혀 상관없이 살아가는 사람들을 볼 때 우울함은 사라진다. "매일 가장 스트레스가 풀리는 순간은 이 5~10분 정도의 산책입니다." 그가 말한다. "세상은 큽니다." 그리고 아마도 그것이 언어 모델보다 세계 모델을 선택해야 하는 가장 깊은 이유일 것이다. 세계 모델은 언어 모델이 만드는 압축된 언어적 그림자가 아니라, 그 거대함과 혼란스러운 물리적 현실에 참여하기를 열망하기 때문이다.

JEPA의 여정

르쿤의 JEPA(Joint-Embedding Predictive Architecture)에 대한 시에의 진화는 학계에서 스타트업으로의 여정을 반영한다. "저는 JEPA를 의심하고, 이해하고, JEPA가 되는 여러 단계를 거쳤습니다." 그가 웃는다. 처음에는 "또 다른 자기지도 학습 알고리즘"처럼 보였다. 그러다 점차 더 깊은 논리를 보게 되었다. 엄격한 증명을 가진 LeJEPA와 같은 최근 연구는 좋은 표현이 등방성 가우시안(isotropic Gaussian)이어야 함을 보여주었다.

하지만 진짜 통찰은 "JEPA는 모델이나 특정 알고리즘이 아니다. JEPA는 완전한 인지 아키텍처"라는 것을 깨달은 것이었다. 르쿤의 2022년 논문 『A Path Towards Autonomous Machine Intelligence』에서 JEPA는 세계 이해, 예측, 계획 등 전체 스택을 포괄한다. "이것은 JEPA에 대한 새로운 통찰을 주었고, JEPA가 외부 사람들이 말하는 특정 방법이 아니라는 것을 알게 되었습니다."

대신 JEPA는 "매우 광활한 바다이며, 이 바다에는 많은 배가 항해할 수 있습니다." LLM도 그 일부다. 비디오 생성도 그 일부다. 비전은 LLM의 제약 속으로 축소되는 것이 아니라, "의도적으로 크게 생각하고 우리가 탐구하고 확장할 충분한 공간을 확보하여 새로운 돌파구를 마련하는 것"이다. 언제일까? 아무도 모른다. 하지만 시에가 "내 인생을 걸고 걸어갈 길"이다.

42라는 질문

대화는 우주와 운명이라는 필연적인 곳에서 끝난다. 이 세계는 거대한 세계 모델일까? "물론 세상은 거대한 세계 모델입니다." 시에가 답한다. 그럼 운명을 예측할 수 있을까? "그렇지 않다고 봅니다." 왜일까? "자원이 충분하지 않기 때문입니다. 삶과 우주, 모든 것에 대한 답을 얻으려면 지구만큼, 혹은 우주 전체만큼 큰 컴퓨터가 필요할 테니까요."

그리고 더글러스 애덤스가 약속했듯이 그 답은 결국 42일지도 모른다. 질문을 모르면 정확하지만 쓸모없는 답 말이다. 아마도 그것이 핵심일 것이다. 시에가 구축하는 것은 모든 것을 예측하는 시스템이 아니라, 지능적으로 필터링하고 계층적으로 처리하며, 복잡한 세상에서 적절하게 행동하는 시스템이다. 전지전능함이 아닌 역량, 신격화된 AGI가 아닌 참여로서의 지능이다.

현재 그는 매일 워싱턴 스퀘어 공원을 걸으며 세상이 세상으로 존재하는 것을 지켜보고, 그것을 자신의 뇌에서 실행되는 세계 모델에 저장하며, 어떻게든 그것을 다음 아키텍처, 다음 논문, 인터넷이 아닌 인류를 다운로드하기 위한 다음 단계로 번역하고 있다. 뉴욕의 25명 팀이 업계의 모든 무게를 견디고 실제로 이것을 해낼 수 있을지는 두고 봐야 한다. 하지만 누군가는 시도해야 하며 현재의 경로로는 충분하지 않다는 확신이 그의 모든 말에서 타오르고 있다.