DruckFin

Physical Intelligence 인터뷰: 휴머노이드 로보틱스의 스케일링, 일반화, 생태계 과제에 관하여 (세르게이 레빈)

2026년 9월 2일 | 물리적 AI와 휴머노이드 로보틱스의 현주소를 짚어보는 세르게이 레빈과의 대화

소개

세르게이 레빈: 제 생각에 그것은 가히 충격적이었습니다. 베이스 모델이 인간의 데이터를 전혀 학습하지 않은 상태였기 때문입니다.

진행자: 세계 최고의 로보틱스 연구자 중 한 명인 세르게이 레빈과 함께 현재 휴머노이드 로보틱스의 현황에 대해 자세히 이야기 나누어 보겠습니다. 지금까지 목격하신 가장 놀라운 발현 역량(emergent capabilities)은 무엇인가요?

세르게이 레빈: 그 테스트를 지켜본 사람 중 누구도 로봇이 이런 행동을 할 것이라 예상하지 못했을 겁니다.

진행자: 중국에 대한 질문도 몇 가지 준비했습니다. 이 주제는 결코 피할 수 없죠. 만약 휴머노이드 로보틱스가 한 자릿수 연도 내에 성공하지 못한다면, 그 가장 유력한 실패 원인은 무엇이 될까요? 전체 에피소드를 공개합니다.

로보틱스 스케일링의 현주소

진행자: 대형언어모델(LLM)은 해당 분야에 전례 없는 영향력과 투자를 이끌어냈습니다. 물리적 AI와 휴머노이드 로봇은 잠재적으로 그보다 훨씬 더 거대한 파급력을 가질 수 있습니다. 오늘 휴머노이드 로보틱스의 현주소가 어디쯤 와 있는지, 그리고 이 기술이 실제로 세상에 어떻게 배포될 것으로 예상하시는지 여쭤보고 싶습니다.

세르게이 레빈: 머신러닝 분야에서 지난 몇 년, 정확히는 지난 1십 년간 우리가 배운 점은 규모(scale)를 키워 진행할 때 작동한다는 사실입니다. 지금은 너무나 당연하지만, 처음부터 그랬던 것은 아닙니다. 한 가지 단서가 있다면 올바른 대상을 스케일링해야 한다는 점입니다. 예를 들어 사람들이 처음 언어 모델을 연구하기 시작했을 때 주도적인 아키텍처는 LSTM이었습니다. 기억하시는 분들도 있을 겁니다. 그 모델도 나름 쓸만했습니다. 이전 세대보다는 훨씬 나았지만, 규모 확장에 있어서는 그리 훌륭하지 못했습니다. 트랜스포머(Transformer)의 핵심은 그것이 수학적으로 유독 우아하거나 해서가 아닙니다. 단지 스케일링이 더 잘 되었기 때문입니다. 매우 방대한 양의 데이터와 수많은 파라미터를 활용해 학습하기가 훨씬 수월했습니다.

기술은 단계별로 발전합니다. 먼저 무엇을 스케일링할 수 있는지, 즉 스케일링 가능한 기술이 무엇인지 파악한 다음, 방대한 데이터와 모델 크기를 더해가며 산업적 규모의 노력을 쏟아붓습니다. 그때 마법이 일어납니다. 보다 근본적인 기술 개발을 진행할 때는 그 스케일링 레버가 무엇인지 이해하는 것이 핵심입니다. 디자인을 파악하고 대략적인 혼합 방식을 알아내면 그 자체로 꽤 멋진 결과를 만들어내지만, 그것이 세상을 실제로 바꾸는 것은 아닙니다. 바로 그 레버를 당기기 시작할 때 비로소 판도가 바뀝니다.

LLM의 경우, 첫 GPT 모델인 GPT-2가 나왔을 때 몇 가지 작업을 해냈지만 일종의 재주 부리기와 같았습니다. 페루의 유니콘에 대한 이야기를 자연스러운 영어로 지어내게 할 수 있었지만, 수많은 현실 세계의 문제를 해결해 주는 수준은 아니었습니다. 이 분야를 연구하던 사람들은 데이터와 모델 크기를 키울수록 이러한 모델들이 훨씬 더 일관성 있고 효과적으로 진화한다는 점에서 일종의 마법 같은 현상이 일어난다는 것을 어느 정도 인지하고 있었습니다. 이 방식을 더 대규모로 밀어붙이면 훨씬 더 강력해질 것임을 볼 수 있었던 것이죠.

질문으로 돌아와서 로보틱스에 대해 말씀드리자면, 현재 로보틱스는 모델을 키우고 역량을 극대화하기 위해 산업 규모의 노력을 기울이는 GPT-4에서 GPT-5로 넘어가는 단계가 아닙니다. 기초 기술을 다지는 단계에 있습니다. 그렇기 때문에 지금 시점에서 매월 예측 가능한 스케일링 곡선에 따라 모델이 더 커지고 강력해질 것이라고 기대해서는 안 됩니다. 올바른 기술을 개발함에 따라 스케일링의 속성 자체 진화하고 있는 단계라고 봐야 합니다.

조금 더 현실적인 이야기로 돌아와서, 저는 Physical Intelligence에서 진행 중인 데모들에 매우 만족하며, 다른 이들이 발표하는 많은 결과물 역시 정말 멋지다고 생각합니다. 하지만 이를 맥락에 맞게 이해해야 합니다. 이것들이 당장 규모의 힘을 온전히 보여주는 사례라고 기대해서는 안 됩니다. 그 이후에 본격적으로 스케일링될 기초 기술들을 다지는 과정으로 보아야 합니다. 현재 우리의 위치는 이러한 퍼즐 조각들을 제자리에 맞춰가는 단계이며, 목표 지점에 아주 가까워졌다고 생각합니다. 많은 퍼즐 조각이 맞아떨어지고 있죠. 이 기술이 어디로 향할지 예측하기 어려운 이유는 아직 예측 가능한 스케일링 단계에 도달하지 않았기 때문입니다. 퍼즐 조각을 맞춰나가는 단계에 있으며, 이는 정말 흥미진진한 일이지만 그에 따른 계수(coefficients)가 어떻게 될지 예측하기는 매우 어렵다는 것을 의미합니다.

가장 놀라운 역량과 의미론적 실수들

진행자: 지금까지 목격하신 가장 놀라운 발현 역량은 무엇인가요?

세르게이 레빈: 바로 그 점이 가장 재미있는 부분이며, 연구가 진전됨에 따라 그러한 현상을 훨씬 더 많이 목격하고 있습니다. 아주 초기에는 소소한 것들이었지만, 로보틱스 분야에서는 대략 2024년 이전까지만 해도 이런 일이 결코 일어난 적이 없었기에 마치 마법처럼 느껴졌습니다. 약 2년 전쯤 보았던 빨래 개기 정책(policy) 학습 사례를 들 수 있겠네요. 바구니에서 티셔츠를 하나씩 꺼내 개키는 작업이었죠. 2024년 말 제가 가장 생생하게 기억하는 순간 중 하나는 티셔츠 두 장이 동시에 꺼내 나오는 테스트를 지켜보던 때입니다. 저는 '이제 망했다, 로봇이 이걸 해낼 리가 없다'고 생각하며 지켜보고 있었습니다. 그런데 로봇은 두 장의 셔츠를 테이블 위에 올려놓고, 서로 엉킨 것을 풀어낸 다음, 한 장은 다시 제자리에 두고 나머지 한 장을 개기 시작했습니다. 돌이켜보면 탐정 놀이를 하듯 학습 데이터 속 어디에서 그 행동을 습득했는지 찾아낼 수도 있겠지만, 그 테스트를 지켜보면서 로봇이 이런 행동을 해낼 것이라고 예상한 사람은 아무도 없었다고 생각합니다. 인간이라면 당연히 가지고 있을 상식(common sense)을 보여준 것이죠.

사실 최근 들어 제가 더 흥미롭게 느끼는 부분은 로봇이 저지르는 실수들입니다. LLM에 대해 매우 놀라웠던 점 중 하나는 일단 모델이 충분히 똑똑해지면 실수조차도 나름대로 말이 된다는 점이었습니다. 쉴 새 없이 무작위 문자나 출력하는 터무니없는 실수가 아니라, 의미론적으로(semantically) 타당한 실수를 한다는 것이죠. 작년에 저희가 진행한 $\pi0$ 평가 테스트 중에는 로봇이 주방을 정리하는 작업이 있었습니다. 숟가락이나 뒤집개 같은 조리기구들을 전부 제자리에 치우라는 지시를 받았죠. 로봇은 식기류가 들어있을 거라고 생각하는 서랍을 열려고 시도했지만 서랍이 열리지 않았습니다. 그러자 옆으로 슬라이드하듯 이동하더니 바로 옆에 있는 오븐 문을 열고 그 물건들을 오븐 안에 집어넣기 시작했습니다. 아이에게 물건을 치워서 정리하라고 시키면, 오븐도 어쨌든 수납공간이고 물건을 넣을 수 있으며 겉으로 보이지 않기 때문에 거기에 집어넣기로 결정할 수도 있는 것과 마찬가지입니다.

우리가 진행했던 또 다른 실험은 모든 접시를 씻는 것이었습니다. 로봇이 접시를 집어 들고 스펀지로 씻은 뒤 건조대에 올려놓는 작업이었죠. 이는 기억력(memory)에 관한 실험이었습니다. 로봇이 수행하는 모든 작업을 추적해야 하기 때문입니다. 마치 메모지(scratchpad) 같은 메모 기능을 이용해 접시 3개가 있고, 회색 접시를 닦았으며, 초록색 접시를 닦았다고 기록해 나갑니다. 그러다 실수로 접시 하나를 바닥에 떨어뜨린 뒤, 보이지 않도록 베이스를 그 앞으로 이동시키고는 "회색 접시를 닦았으니 끝났다"고 결론을 내립니다. 물론 이런 실수는 우리가 보고 싶어 하는 결과가 아닙니다. 하지만 그 실수의 양상이 마치 아이가 그 작업을 하려고 애쓸 때 보일 법한 모습과 비슷하다는 점이 흥미롭습니다. 이제 이 녀석이 좀 더 자라나기만 하면 됩니다.

자율주행에서 얻는 교훈

진행자: 업계 전반에서 일어나고 있는 발전 상황을 언급하셨습니다. 휴머노이드 로봇을 만드는 곳이 정말 많죠. Figure도 있고, 테슬라, 그리고 다른 많은 경쟁사들이 있습니다. 당신은 무엇이 어렵고 무엇이 쉬운지 잘 알고 계시죠. 경쟁사들을 지켜보실 때 정말 감탄스럽고 인상적이라고 생각하신 발전이나 성취가 있었나요?

세르게이 레빈: 실제로 업계에서 가장 고무적인 일 중 하나는 자율주행 시스템이 이뤄낸 급성장(takeoff)을 지켜보는 것입니다. 로보틱스 연구원들이 종종 받는 비판 중 하나는 로보틱스가 마치 핵융합 기술 같다는 점입니다. 늘 미래의 기술이라고 하지만 영원히 미래에만 머물러 있다는 것이죠. 자율주행에 대해서도 사람들이 똑같이 말했었습니다. 하지만 지금 우리는 샌프란시스코에 있고, 밖으로 나가 웨이모(Waymo)를 타면 운전석에 아무도 앉아 있지 않은 상태로 목적지까지 안전하게 데려다줍니다.

너무 기술적인 세부 사항에 파고들지 않더라도, 이 사례가 정말 고무적인 이유는 '미래의 기술' 중 하나가 마침내 현실에 안착할 수 있음을 증명했기 때문입니다. 이것이 2020년대 중반인 지금 안착하고 있는 것은 우연이 아닙니다. 대규모 머신러닝을 위한 많은 퍼즐 조각들이 실제 물리적 시스템과 결합할 수 있는 수준에 도달했기 때문입니다. 물론 운전과 로봇 조작(manipulation) 사이에는 많은 차이가 있지만, 학습 기반 기술을 실제 물리 세계에 성공적으로 착륙시킬 수 있다는 것을 보여준 실례는 정말 영감을 줍니다.

프론티어 AI 연구소들의 로보틱스 진출 영향

진행자: OpenAI나 Anthropic 같은 곳이 로보틱스 분야에 더 적극적으로 투자를 시작한다면 업계에 어떤 영향을 미칠 것으로 보시나요? 경쟁사들이 긴장할까요?

세르게이 레빈: 공정하게 말하자면, 로보틱스는 머신러닝의 다른 영역만큼 생태계가 건강하지 못했던 분야입니다. 제 뜻은 컴퓨터 비전이나 NLP(자연어 처리) 같은 분야는 자유롭게 이용 가능한 데이터가 존재하기 때문에 머신러닝 기반 생태계가 자연스럽게 정착할 수 있었다는 것입니다. 사람들은 학습 방식을 사용하리라는 점을 전적으로 받아들입니다. 물리적 안전에 대한 우려가 극심하지도 않죠. 물론 AI 안전성에 대한 우려는 당연히 존재하지만, 물리적 장치가 신체적 상해를 입히는 것과는 차원이 다릅니다. 이 때문에 그러한 영역에서는 매우 진지하고 대규모의 머신러닝 프로젝트를 가동하기가 조금 더 수월합니다.

반면 로보틱스는 전통적으로 데이터를 공유하는 문화를 그다지 포용하지 않는 학문이었습니다. 로보틱스 내에서 학습을 활용하는 움직임이 활발해질수록, 로봇이 수동으로 설계된 제어기가 아니라 학습된 모델에 의해 제어될 것이라는 미래를 사람들이 더 쉽게 받아들이도록 인식이 바뀔 것입니다. 데이터가 존재하게 될 것이고, 단일 수직 계열화(vertical) 안에서 누구나 진정한 파운데이션 모델을 구축해 낼 수는 없으므로 그 데이터는 공유되어야만 합니다. 이는 전통적인 공장 자동화의 관점 대신 비전이나 NLP를 바라보는 시선과 유사하게 로보틱스에 대한 전체적인 사고방식을 전환시킬 것입니다. 그런 의미에서 Physical Intelligence에서 우리가 하는 일에 자부심을 느끼면서도, 모든 이의 생각을 그 방향으로 바꾸기 위해서는 단 한 기업의 노력만으로는 부족할 것이라 생각합니다.

중국 로보틱스와 생태계 역학

진행자: 방관자의 입장에서 트위터를 보면 중국 로보틱스의 정말 인상적인 데모들이 눈에 띱니다. 어떤 면에서는 그들이 앞서 나간다는 느낌마저 드는데, 저에게는 그 분야의 깊은 전문 지식이 없습니다. 중국의 로보틱스에 대해 어떻게 생각하시는지, 그들이 더 앞서 있는지 궁금합니다.

세르게이 레빈: 미국과 유럽에서 이 연구를 하는 우리에게 가장 유익하고 건설적인 태도는 '어떤 교훈을 얻어야 하는가'를 묻는 것입니다. 제게 가장 큰 교훈은 건강한 생태계를 갖추는 것이 중요하다는 점입니다. 생태계란 당연히 훌륭한 연구원과 엔지니어들이 이 분야를 연구해야 하고, 건전한 오픈소스가 뒷받침되어야 함을 의미합니다. 하지만 그것뿐만 아니라 로보틱스에 기여하는 다양한 산업들 개개 면모 또한 매우 건강해야 한다는 뜻이기도 합니다. 그러한 산업들은 컴퓨터 과학, ML, 모델 구축뿐만 아니라 공급망(supply chain), 제조, 하드웨어 R&D까지 아우릅니다. 이 모든 것이 대단히 중요한 요소들입니다.

미국이 꽤 잘 해내는 부분도 있는가 하면, 미국이 조금 소홀히 하거나 놓아버린 부분도 존재합니다. 우리는 전 세계에서 벌어지는 일들을 직시하고, 중국 연구소들과 해외 다른 연구소들이 이뤄내는 훌륭한 결과물들을 살펴보며, 더욱 건강한 생태계를 구축하기 위해 노력해야 한다는 교훈을 얻어야 합니다. 이는 여기에 기여하는 모든 다양한 측면에 투자해야 함을 의미합니다. 저는 사업가나 투자자가 아니기 때문에 이를 어떻게 구체적으로 실행해야 하는지 잘 안다고 주장할 수는 없지만, 이것이 총체적(holistic)인 노력이며 한 조각만 해내고 나머지는 전부 아웃소싱할 수 있는 성격의 것이 아니라는 점을 온전히 받아들이는 것이 중요하다는 점은 확실합니다.

진행자: 생태계의 여러 조각 중에서 미국에서 개선되었을 때 로보틱스 진전에 가장 큰 영향을 미칠 부문은 무엇이라고 보십니까?

세르게이 레빈: 신뢰할 수 있고 저렴한 하드웨어의 가용성이 커다란 요소라는 점은 확실합니다. 현재 로보틱스 연구에 사용되는 하드웨어 중 상당수는 실제로 중국산입니다. 성능이 좋고, 비교적 저렴하며, 품질이 높고, 사람들이 일반적으로 요구하는 기준을 충족합니다. 그 모든 것을 자국 내에서도 조달할 수 있다면 정말 멋진 일이겠죠. 그것이 불가능한 일이라고는 생각하지 않습니다. 단지 생태계의 특정 조각만이 아니라 전체 생태계가 지원받아야 한다는 사실을 받아들이는 문제일 뿐입니다.

데이터 플라이휠과 스케일링 마일스톤

진행자: 규모의 경제에 먼저 도달하는 연구소가 가장 먼저 치고 나갈 것이라고 짐작해 볼 수 있습니다. 배포가 더 빠른 성장을 돕고, 빠른 성장이 다시 배포를 촉진하는 일종의 선순환(flywheel) 효과가 발생할 수 있죠. 미국이든 중국이든 어느 한 연구소가 특정 돌파구(breakout point)에 도달해 다른 모든 이들을 앞서 나가는 현상이 이 산업에서도 일어날 것이라고 믿으십니까?

세르게이 레빈: 그 말에는 상당한 진실이 담겨 있습니다. 단, 명심해야 할 중요한 디테일이 있습니다. 바로 올바른 대상을 스케일링해야 한다는 점입니다. 더 많은 배포된 로봇이 더 뛰어난 모델 역량으로 직결되는 효과적인 양의 피드백 루프를 갖추는 것이 핵심입니다. 함정은 이를 잘못된 방식으로 수행할 수 있는 경우의 수가 너무나 많다는 데 있습니다.

명백한 예로, 만약 제가 자동차 회사의 경영자이고 조립 라인에서 자동차를 용접하는 로봇 팔을 가지고 있다고 가정해 봅시다. 이 로봇은 매일 자동차를 용접하고 매월 100만 건의 용접을 수행합니다. 만약 제가 그 데이터를 그대로 데이터 플라이휠로 사용한다면, 자동차를 용접하는 로봇보다 더 뛰어난 역량을 가진 무언가를 얻어낼 가능성은 낮습니다. 로봇이 이미 그곳에 존재하며 자동차를 용접하고 있기 때문에, 그 작업에서 얻는 한계 개선(marginal improvement)은 그다지 가치 있지 않습니다. 데이터는 전력이나 석유처럼 균질한(fungible) 자원이 아니기 때문에 올바른 대상을 스케일링해야 한다는 점을 보여주는 대표적인 사례입니다. 데이터를 단순히 더 많이 구매할 수 있는 것이 아니라, 데이터는 이질적(heterogeneous)이어야 합니다. 올바른 기술과 올바른 다양성 있는 학습 소스를 가지고 올바른 대상을 스케일링해야 합니다. 데이터는 대체 가능한 상품이라기보다는 로봇을 위한 교육 프로그램에 더 가깝습니다.

진행자: 그러한 데이터 플라이휠과, 그 플랫폼을 개선하는 데 중요한 데이터를 생성하는 적절한 플랫폼을 구축한다는 관점에서, 이러한 현상이 세상에 본격적으로 나타나는 시기는 언제쯤이 될 것으로 보십니까?

세르게이 레빈: 기술 측면에서 상황은 그 방향을 향해 매우 빠르게 진전되고 있습니다. 그 타임라인을 크게 좌우할 만한 특정한 균형점은 바로 '사람들이 얼마나 많은 구조화(structure)를 감수할 것인가' 하는 점입니다. 극단적인 한쪽 면을 보자면, 가정용 로봇처럼 완전히 비구조화된(unstructured) 배포 도메인으로 곧바로 뛰어드는 것을 상상해볼 수 있습니다. 이 경우 처음부터 엄청난 다양성을 확보할 수 있기 때문에 정말 흥미진진하겠지만, 가정 내에는 사람들이 있기 때문에 안전(safety) 문제가 훨씬 더 중요한 이슈로 대두되어 효과적이고 충분히 안전해지기 위한 기준이 훨씬 더 높아집니다.

반대쪽 극단에는 훨씬 더 구조화된 작업들을 상상할 수 있습니다. 용접 로봇까지는 아니더라도, 복도 저편에서 조금 더 비구조화된 무언가를 수행하는 로봇 같은 것이죠. 훈련된 인간 주변에서 작동할 수 있고 작업이 더 예측 가능하기 때문에 안전 우려가 적다는 점에서 조금 더 쉬운 도메인이 될 수 있습니다. 하지만 해당 도메인에서 얻는 데이터 비트당 한계 가치(marginal value)는 다양성이 적기 때문에 더 낮습니다. 더 작은 기울기로 더 일찍 출발할 수도 있고, 더 큰 기울기로 조금 늦게 출발할 수도 있으며, 이를 조율해야 합니다. 제 생각에는 이 양극단의 어디를 논하든 간에, 현재 시점에서 이는 두 자릿수 연도가 아니라 한 자릿수 연도 내에 일어날 일입니다. 더 구조화된 작업들은 지금 당장이나 내년에 일어날 수 있습니다. 덜 구조화된 작업들은 몇 년 더 걸릴 수 있지만, 아마도 10년이 걸리지는 않을 것입니다.

로드맵, 일반화, 그리고 실세계 테스트

진행자: 많은 사람들이 타임라인에 대해 이야기하지만 모호하기만 합니다. '가정 내 로봇'이라는 북극성(North Star)을 향해 마일스톤을 꼽는다면 그 로드맵은 어떤 모습일까요?

세르게이 레빈: 로보틱스에 대해 이야기할 때 하이프 사이클(hype cycle)과 사람들이 내놓는 데모들에 가려져 자칫 놓치기 쉬우면서도 매우 중요한 사실이 하나 있습니다. 바로 로보틱스에서 진짜 어려운 부분은 언제나 '일반화(generalization)'였다는 점입니다. 누군가가 자신의 시스템 데모를 선보일 때, 그 데모 단독으로는 대체 어느 수준의 일반화를 보여주는 것인지 명확히 드러나지 않는 경우가 보통입니다. 예를 들어 고도의 곡예를 부리는 로봇 데모는 보기에는 정말 흥미진진합니다. 하지만 전형적으로 무대 위에서 리허설된 것이라면, 그것은 말 그대로 하나의 쇼일 뿐입니다. 어떤 가정에서든 매번 안정적으로 작업을 수행하는 것과는 똑같지 않습니다.

일반화라는 조각은 단독으로 볼 때는 그리 인상적이지 않은 경우가 많습니다. 일반화는 단 한 번의 시도가 아니라 수많은 시도(trials)를 거쳐야 드러나는 속성이기 때문입니다. 로봇이 꽤 평범하고 인상적이지 않은 무언가를 하는 것을 볼 수도 있습니다. 하지만 그것이 흥미로운 이유는 한 번도 본 적 없는 물체를 한 번도 테스트해 본 적 없는 환경에서 다루며 해내고 있기 때문입니다. 사실 그것은 백만 번이나 연습해 본 곡예 백플립을 해내는 것보다 훨씬 더 어렵습니다.

로드맵의 핵심은 더 나은 일반화를 달성하고, 일반화가 진행됨에 따라 더 많은 일반화를 얻어낼 수 있는 메커니즘을 갖추는 것입니다. 그 로드맵 상의 한 단계는, 원래 훈련되지 않았던 환경에서 수집된 자율적 경험을 통해 성능이 향상되는 로봇 시스템의 매우 구체적인 데모를 확보하는 것입니다. 백엔드에서 모델을 훈련시키고, 가정이나 공장 등 실제 무언가를 수행하는 새로운 환경에 배치했을 때 처음에는 그럭저럭 해내다가 시간이 지날수록 50% 성능 상한선에 막히지 않고 실질적으로 유용한 수준의 강건성(robustness)에 도달할 때까지 점점 더 좋아지는 것입니다. 그것이 바로 주요 마일스톤이 될 것입니다. 만약 그것이 유용한 경험을 수집함에 따라 개선되는 진정한 자동화 프로세스라면, 여러분은 이를 수많은 다양한 도메인에 배치해 경험을 수집하고, 사람들이 원하는 작업을 수행하며 모델을 개선할 수 있습니다.

또 다른 주요 단계는 강건성을 달성하기 위해 상식적 지식(common-sense knowledge)을 이전(transfer)하는 구체적이고 실용적인 방법을 시연하는 것입니다. 연습해 볼 기회가 아예 없는 시나리오가 바로 그 경우입니다. 도로를 운전하다가 소방차와 교통 콘을 마주쳤을 때, 비록 그런 상황에 처해본 적이 없더라도 상식에 따라 콘을 들이받는 대신 속도를 줄여야 한다는 사실을 알게 됩니다. 로봇이 오븐에 주집개를 집어넣은 후 다시 꺼내야 한다는 것을 깨달아야 하는 것처럼, 로봇이 예상치 못한 상황에서 효과적으로 복구(recover)할 수 있도록 그 상식을 적용할 수 있다면, 이는 우리가 실수를 바로잡기 위해 상식을 활용할 수 있음을 말해줍니다.

진행자: 조립 라인에서 한 가지 단계를 수행하는 휴머노이드 로봇처럼 조금 더 좁은 범위(narrowly scoped)의 로봇을 상상해볼 수도 있을 것입니다. 이해하기로, 당신은 범용 지능(general intelligence)을 향한 진정한 단계가 아니기 때문에 그런 쪽에는 관심이 적으신 편인가요?

세르게이 레빈: 관심이 적어서가 아닙니다. 현실 세계에는 추상화를 새어나가게 만드는 요소들(leaky abstractions)이 너무 많아서 그런 종류의 일들을 생각보다 훨씬 더 복잡하게 만들기 때문입니다. 1990년대 사람들이 자율주행 연구에 전력투구하기 시작했을 때, 고속도로를 따라 자기 센서를 깔고 자동차에 송신기를 부착해 모든 이의 위치를 파악하는 항공기 방식처럼 환경을 계측(instrument)함으로써 수많은 어려운 문제들을 피해갈 수 있을 것이라는 아이디어가 있었습니다. 사람들은 멋진 AI는 필요 없고 센서만 있으면 작동할 것이라고 생각했죠. 하지만 그것은 아무 곳에도 도달하지 못했습니다. 현실 세계에는 너무나 많은 지저분한 예외와 특수 케이스들이 존재하기 때문입니다. 설령 자기 센서가 99%의 시간 동안 작동하더라도, 누군가 도로로 걸어 나오거나 쓰레기 조각이 나뒹구는 단 1%의 순간이 모든 것을 망쳐버립니다.

실제로 효과가 입증된 방법은 어려운 문제를 피해 가기를 포기하고, 샌프란시스코처럼 지저분한 환경에 차량을 직접 배치하여 정면으로 부딪혀 해결하는 것이었습니다. 로봇 조작(manipulation) 역시 마찬가지일 것입니다. 공장의 완전히 구조화된 세계를 벗어나 아주 조금이라도 바깥으로 나가려 한다면, 99%의 시간 동안 단순하다 할지라도 무언가 기괴한 일이 벌어지는 단 1%의 순간 때문에 결국 문제의 전체 범위를 다루어야만 합니다.

진행자: Figure가 패키지를 분류하는 로봇을 라이브 스트리밍으로 시연했던 것이 생각납니다. 당신의 견해로 그것이 일반화를 증명하는 것인가요?

세르게이 레빈: 네, 그렇다고 생각합니다. 제가 매우 고무적으로 바라보는 부분입니다. 비디오만으로는 일반화를 증명하기가 어렵기 때문에, 수많은 사람들이 실시간 데모나 긴 타임랩스를 활용해 한눈에 무언가를 선보일 방법에 대해 창의적으로 고민하고 있습니다. 이는 사람들의 인식 속에서 일반화의 중요성을 높이는 훌륭한 방법입니다.

작년 말 저희가 $\pi*0$ RL 프로젝트를 진행할 때, 우리는 조금 더 긴 호흡의 실험들을 해보고 싶었습니다. 덴들리온 초콜릿 공장(Dandelion Chocolate Factory)에서 로봇이 며칠 동안 상자를 조립하는 작업을 맡겼죠. 또한 로봇이 에스프레소 머신을 이용해 에스프레소를 내리는 커피 작업도 진행했는데, 13시간 동안 음료를 계속 만들었습니다. 환경을 생각해 커피를 버리지 않으려고 노력했지만, 13시간이 지나자 사무실의 모든 이들이 에스프레소를 너무 많이 마셔서 카페인에 찌들어 있었습니다. 커피 찌꺼기를 흘리거나 천으로 닦아내야 하는 상황 등 몇 차례 실수가 있긴 했지만, 13시간 동안 아무것도 폭발하지 않았습니다.

진행자: 커피 찌꺼기를 흘리고 청소할 때, 그것을 혼자서 해낸 건가요?

세르게이 레빈: 그 실험이 진행된 방식은, 의미론적으로 일관된 작업들 사이에서 대략 5분마다 한 번씩 업데이트되는 고수준 프롬프트(high-level prompting)가 존재한다는 점입니다. 에스프레소를 만들라거나 기계를 청소하라는 식의 명령을 내리면 청소 명령은 사람이 제공한 것이었습니다. 원칙적으로는 그 과정도 자동화할 수 있습니다. 우리는 현재 그러한 명령들을 처리하는 고수준 정책(high-level policy)을 개선하기 위해 엄청난 노력을 쏟고 있습니다. 그 실험 당시에는 마치 커피숍에서 라테를 주문하되 다음 음료를 만들기 전에 청소하라고 지시해야 하는 것처럼, 누군가가 5분마다 로봇에게 무엇을 해야 할지 요구사항을 업데이트해 주었습니다.

진행자: OpenAI, Anthropic, Cursor, Vercel 모두 이 제품을 사용하여 더 나은 비즈니스 환경을 만들고 있습니다. 이 제품이 해결하는 문제는 SaaS나 AI 제품을 구축하면서 다른 기업에 판매하고자 할 때 충족해야 하는 SSO, SCIM, RBAC, 감사 로그(audit logs) 같은 수많은 요구사항들입니다. 이런 기능들은 연동하는 데 시간이 걸리지만 앱의 핵심 초점은 아니죠. WorkOS는 단 몇 줄의 코드만으로 이 모든 요구사항을 충족할 수 있게 해주는 API 레이어입니다. workos.com을 방문해 자세히 알아보고 시작해 보세요. 이 팟캐스트를 후원해 준 WorkOS에 감사를 표합니다.

데이터의 유형과 크로스-엠보디멘트(Cross-Embodiment) 이전

진행자: 일반화를 향해 나아가는 과정에서 데이터는 매우 중요한 부분입니다. 시뮬레이션 데이터와 물리적 상호작용 데이터가 존재하죠. 최고의 데이터, 최악의 데이터, 그리고 각각의 장단점에 대한 당신의 견해는 어떠십니까?

세르게이 레빈: 로보틱스 커뮤니티에서는 이와 관련해 토론이 활발하며 사람마다 의견이 엇갈립니다. 제 생각에는 모델이 세상에 대한 철저한 물리적 이해를 바탕으로(ground) 삼을 수만 있다면, 다양한 데이터 소스들을 훨씬 더 쉽게 내면화할 수 있습니다.

비행기 조종을 배우고 싶다면 훈련 과정의 일부로 시뮬레이터를 사용하게 될 것입니다. 진행되는 상황의 바탕이 되는 상당한 세계 지식을 여러분이 이미 가지고 있기 때문에 시뮬레이터가 여러분에게 납득이 가는 것입니다. 여러분은 실제 비행기에서 사용할 지식을 습득하고 있음을 알고 있습니다. 이와 유사하게, 누군가 요리하는 모습을 지켜볼 때 그 사람의 정확한 근육 움직임을 느낄 수는 없더라도 관절 궤적을 일일이 계산할 필요 없이 '소금을 넣는다'는 추상적 수준으로 정보를 분류할 수 있는 사전 지식을 가지고 있습니다. 일단 자신의 신체를 가지고 물리적으로 무언가를 해내는 법을 이해하고 나면, 모든 신체화된 기반(embodied foundation)이 모든 것을 뒷받침해주기 때문에 다른 모든 지식 소스들이 그에 연결될 수 있습니다.

풍부한 실제 신체화 데이터로 훈련되어 기반(grounding)을 제공하는 로봇 파운데이션 모델이 있다면, 이 모델은 실제로 다른 지식 소스들을 훨씬 더 잘 흡수할 수 있을 것입니다. LLM을 위한 인터넷 데이터의 성공을 지켜보면 유튜브 영상을 먼저 시작하고 그 위에 로봇 데이터를 얹고 싶어지는 유혹이 들지만, 제 생각에는 그 반대입니다. 조지아 공대의 사마르스(Samarth)와 함께 제 동료인 수딥(Sudeep)은 저희의 로봇 파운데이션 모델을 가져와, 처음에 로봇 데이터로만 훈련된 모델 위에 인간 비디오 데이터를 추가했습니다. 최소한의 로봇 데이터만 가진 소형 모델을 사용할 때는 인간의 경험과 로봇의 경험이 피처 표현(feature representations) 상에서 완전히 분리되었습니다. 하지만 수많은 서로 다른 로봇들로부터 얻은 방대한 로봇 데이터로 훈련했을 때는, 피처들이 엠보디멘트(embodiment)가 아니라 작업 정체성(task identity)에 따라 완전히 그룹화되었습니다. t-SNE 임베딩에서 로봇 데이터를 100%까지 끌어올렸을 때, 작업 정체성은 엠보디멘트에 대한 민감도를 최소화한 채 깔끔하게 정렬되었습니다. 베이스 모델은 인간 데이터를 전혀 학습하지 않은 상태였지만, 인간 데이터를 추가하자마자 이를 정확히 동일한 방식으로 표현해 냈습니다.

진행자: 베이스 모델이 특정 모터 및 관절 세트를 사용해 수집된 데이터를 가지고 있는 것이 중요한가요?

세르게이 레빈: 우리는 다양한 로봇 유형을 처리할 수 있는 크로스-엠보디멘트(cross-embodiment) 모델에 많은 노력을 기울여 왔지만, 일반적으로 좋은 성능을 얻으려면 타겟 로봇으로부터 얻은 데이터가 어느 정도 필요합니다. 일반화의 지표는 새로운 로봇으로의 제로샷(zero-shot) 전이가 아니라, 다른 로봇들로부터 기술을 전이해 옴으로써 새로운 로봇 위에서 거쳐야 할 경험의 양을 줄이는 데 있습니다.

필요한 특수 아키텍처의 양은 놀라울 정도로 최소한에 그칩니다. 처음에 저는 6자유도 팔과 7자유도 팔의 표현을 팩터화하는 등 다양한 모폴로지(morphology)를 수용하기 위한 긴 연구 아이디어 목록을 가지고 있었습니다. 하지만 우리는 그중 아무것도 하지 않았습니다. 모델은 숫자의 벡터를 출력하고, 로봇의 자유도가 더 낮다면 단순히 출력값에 제로 패딩(zero-padding)을 적용할 뿐입니다. 모든 로봇을 가로질러 훈련을 진행하고, 카메라를 통해 보는 것을 바탕으로 액션을 출력합니다.

로봇 간에 기술을 전이하려면 중간 단계의 사고(intermediate thinking)가 도움이 됩니다. 텍스트로 생각하는 것은 식기류를 치우기 전에 서랍을 열어야 한다는 것을 아는 것과 같은 고수준의 행동 구조를 전이하는 데 좋습니다. 더 낮은 수준의 물리적 작업을 위해, 우리는 생각하는 단계를 이미지로 표현하여 작업의 다음 마일스톤에 해당하는 이미지를 생성하는 실험을 진행했습니다. 이를 통해 UR5 로봇이 해당 특정 로봇에 대한 티셔츠 개기 데이터가 단 한 건도 없음에도 불구하고 티셔츠를 개킬 수 있도록 만들었습니다. 접힌 셔츠의 모습이 어떠한지 이미지를 생성해 내는 것은 제너레이티브 모델을 통해 간단히 해낼 수 있으며, 그렇게 합성된 이미지로부터 필요한 관절 각도를 역산해 내는 것은 비교적 단순합니다. 올바른 모달리티(modality)로 중간 사고 단계를 도입하면 크로스-엠보디멘트 일반화가 훨씬 더 쉬워집니다.

로보틱스 스택의 단순성 대 자율주행

진행자: 앞서 일반화된 로보틱스의 증거로서 웨이모가 고무적이라고 언급하셨습니다. 휴머노이드 로보틱스의 경우, 자율주행 차량이 직면했던 롱테일(long-tail) 엣지 케이스들과 정책적 난관에 비해 어떤 점이 한 자릿수 연도 타임라인에 대한 확신을 갖게 만드나요?

세르게이 레빈: 로봇 파운데이션 모델과 전통적인 엔지니어링 시스템 사이의 가장 큰 차이점 중 하나는 소프트웨어 스택이 정말 얇다는 점입니다. 파운데이션 모델을 훈련하는 것은 데이터 큐레이션과 라벨링 때문에 어렵지만, 로봇 위에서 실행되는 실제 소프트웨어는 매우 단순합니다. 순수한 코드 줄 수(lines of code) 관점에서 볼 때, 전통적인 자율주행 차량 스택보다 훨씬 작습니다. 자율주행 차량은 훨씬 일찍 매우 상이한 레거시 기술들로 시작되었으며 심각한 안전 필수(safety-critical) 제약을 안고 있습니다. 로봇 조작기로 취약한 물체를 떨어뜨리는 것은 자동차가 사람을 치는 것과 비교할 수 없을 정도로 재앙적이지 않습니다.

로보틱스의 안전 과제는 실존하지만, 실용적인 배포를 가로막는 결정적인 중단점(hard stop)은 아닙니다. 그러한 위험을 관리할 수 있는 작업, 환경, 그리고 하드웨어를 선택할 수 있습니다. 근본적으로 더 단순한 소프트웨어 스택, 덜 극적인 안전 허들, 그리고 긍정적인 데이터 플라이휠의 조합이 한 자릿수 타임라인을 현실적으로 만들어 줍니다.

휴머노이드 로보틱스 실패 모드 프리모텀(Premortem)

진행자: 만약 휴머노이드 로보틱스가 한 자릿수 연도 내에 성공하지 못한다면, 실패하게 된 가장 유력한 이유는 무엇이 될까요?

세르게이 레빈: 이러한 시스템이 진정으로 유용해지려면 LLM이나 제너레이티브 비디오 모델에서 기대하는 것보다 더 높은 수준의 신뢰성과 일반화에 도달해야 합니다. LLM은 사용자가 작업이 해결될 때까지 프롬프트를 반복 수정할 수 있는 인간 상호작용 도구입니다. 하지만 로봇의 경우 전체 가치 제안이 자율적 실행(autonomous execution)에 달려 있습니다. 인간이 끊임없이 개입해야 한다면 그 존재 목적이 퇴색됩니다.

가장 큰 위험은 그토록 높은 수준의 강건성(robustness) 바에 도달하기 어렵다는 점입니다. 자율적 경험을 활용하는 강화학습 기법이 95%에서 100%로의 간극을 좁히는 데 도움을 줄 수 있지만, 그 마지막 구간을 돌파하는 것은 여전히 추가적인 알고리즘 혁신을 필요로 하는 미해결 기술 과제로 남아 있습니다.

파운데이션 모델 대 좁은 영역의 스페셜리스트

진행자: 로보틱스 모델링 아키텍처에 있어 모두가 같은 방식을 따르고 있나요, 아니면 의견이 엇갈리는 핫한 견해들이 존재하나요?

세르게이 레빈: 겉보기보다 더 많은 이질성이 존재합니다. 주요 분기점은 파운데이션 모델 철학을 온전히 수용할 것인가, 아니면 좁은 수직 영역(narrow vertical areas)에 집중할 것인가 하는 점입니다. 파운데이션 모델 철학은 특화된 문제를 해결하려면 방대한 데이터에 걸쳐 일반 모델을 학습시키는 편이 낫고, 그것이 결국 엣지 케이스에서 좁은 영역의 스페셜리스트를 능가하게 될 것이라고 주장합니다.

로보틱스 분야에서는 그 아이디어가 사람들을 불편하게 만듭니다. 창고 자동화 시스템을 구축하고 싶다면 주방에서 식기류를 정리하는 데이터를 수집하는 것은 직관에 어긋나 보이기 때문입니다. 하지만 다양한 데이터를 수집하면 창고의 예측 불가능한 엣지 케이스로 전이되는 일반화된 기술이 구축됩니다. 좁은 수직적 최적화보다 폭 넓은 다양성(breadth)이 우세하다는 점을 받아들이는 것은 전통적인 로보틱스 엔지니어들에게 여전히 어려운 일입니다.

물리 세계에서의 AI 안전성

진행자: Physical Intelligence가 엄청나게 유능한 범용 모델을 개발한다면, 물리적 시스템에서의 AI 안전성, 위험성, 그리고 규제에 대해 어떻게 생각하고 계시나요?

세르게이 레빈: AI 안전성은 오랫동안 연구되어 왔지만, 기술이 빠르게 움직일 때 실제 이슈는 사회가 그 도구들을 어떻게 채택하느냐에 크게 좌우됩니다. 우리의 철학은 경험적 실험주의입니다. 물리 세계에 시스템을 배포하고, 무엇이 성공하고 실패하는지 관찰하며, 반복적으로 조정하는 것이죠. 소프트웨어 전용 AI가 상당한 안전 우려를 낳는다면, 물리 세계와 상호작용할 수 있는 물리적 AI 시스템은 당연히 그보다 훨씬 더 큰 검증과 심사를 요구하게 될 것입니다.

경제적 영향과 노동의 미래

진행자: 향후 10년 동안 모든 것이 잘 풀린다면, 휴머노이드 로보틱스는 인간 노동의 종말을 의미하는 것일까요?

세르게이 레빈: 로봇을 단순한 기계 인간으로 생각하는 것은 오답입니다. 개인용 컴퓨터가 급부상했을 때 그것이 인간의 뇌를 대체하지 않은 것처럼, 우리는 편재형 컴퓨팅(ubiquitous computing)이 책상, 주머니, 냉장고, 자동차 속으로 확산되는 것을 목격했습니다. 이와 유사하게, 물리적 AI는 인간을 1:1로 직접 대체하는 역할로 작용하기보다는 일상적인 작업 전반에 걸쳐 자동화된 지원을 제공하는 편재형 물리적 작동(ubiquitous physical actuation)을 도입하게 될 것입니다. 현대의 코딩 에이전트가 좋은 평행 이론을 제공합니다. 소프트웨어 엔지니어들을 도태시키는 대신, 그들은 인간의 생산성을 증폭시키는 레버리지를 제공합니다.

필수 연구 논문: Aloha와 ACT

진행자: 누군가 로보틱스의 혁신 계보를 이해하고 싶어 한다면 어떤 기초 논문들을 읽어야 할까요?

세르게이 레빈: 제가 공동 저자로 참여했던 토니 자오(Tony Zhao)가 주도한 오리지널 Aloha 및 ACT(Action Chunking with Transformers) 논문을 꼽고 싶습니다. 이 논문은 트로센 로보틱스(Trossen Robotics)의 저렴한 7,000달러짜리 취미용 양팔 조작 세트를 양팔 원격 조작(bimanual teleoperation) 설정으로 활용하고, 직관적인 트랜스포머 모델과 결합하여 리모컨 배터리 교체나 마네킹 발에 신발 신기 같은 고도로 섬세한 작업을 해결할 수 있음을 입증했습니다.

학술 연구는 종종 수학적 복잡성을 우선시하지만, 이 연구의 통찰은 단순하고 접근성 좋은 하드웨어가 올바른 엔드투엔드 학습 설정과 짝을 이룰 때 놀라운 결과를 달성할 수 있다는 점이었습니다. 오픈소스 ACT 코드베이스는 단순한 구성 요소들이 얼마나 멀리 나아갈 수 있는지 증명해 주기 때문에 현대 로봇 학습을 위한 표준적인 입문 키트가 되었습니다.

고전적 제어에서 학습된 AI로의 진화

진행자: 현대 머신러닝 이전에는 보스턴 다이내믹스(Boston Dynamics)가 인상적인 데모들로 엄청난 주목을 받았지만, 오늘날 고전적 접근 방식에 대해서는 상대적으로 덜 듣게 됩니다. 이 산업의 전환을 이끈 것은 무엇이었나요?

세르게이 레빈: 로보틱스는 기계적 디자인, 구동(actuation), 그리고 고수준 의사결정에 걸친 풀스택 통합을 필요로 합니다. 고전적인 보스턴 다이내믹스의 데모들은 뛰어난 하드웨어와 정교하게 수동 설계된 제어 엔지니어링을 과시했습니다. 당시에는 기능적인 하드웨어가 없다면 의사결정 소프트웨어는 무의미했기 때문에 그것이 필수적이었습니다.

오늘날 하드웨어는 충분히 훌륭하며, 주요 병목 현상은 비구조화된 환경에서의 폐루프(closed-loop) 의사결정입니다. 고전적 제어와 현대 AI 사이의 분기점은 로봇이 자신의 신체만을 제어하면 되는가, 아니면 외부 세계에 반응해야 하는가로 귀결됩니다. 평평한 바닥에서 백플립을 수행하는 것은 주로 로봇 신체와 관련된 제어 문제입니다. 커피 컵을 집어드는 것은 외부 환경에 대한 이해를 요구합니다. 인간 엔지니어가 특정 행동에 대한 제어 법칙을 수동으로 설계할 수 있다면, 이는 작고 일반화 가능한 정책이 존재하며 머신러닝을 통해 직접 학습될 수 있다는 존재 증거(existence proof) 역할을 합니다.

사전 지식에 관해 과거의 자신에게 해주고 싶은 조언

진행자: 이 산업에 처음 발을 들였을 때로 돌아갈 수 있다면 과거의 자신에게 어떤 조언을 해주고 싶으십니까?

세르게이 레빈: 사전 지식을 훨씬 더 진지하게 받아들이라고 말해주고 싶습니다. 초기에는 저를 포함한 많은 연구자들이 로봇이 완전히 백지상태(from scratch)에서 학습해야 한다고 믿었습니다. 구글의 암 팜(Arm Farm) 프로젝트 당시, 우리는 백지상태에서 수백만 개의 물체를 집어 올리는 로봇 팔들을 운영했습니다. 그것들은 파지(grasping)하는 법을 배웠지만, 그 데이터가 더 복잡한 기술들로 쉽게 부트스트랩(bootstrap)되지는 않았습니다.

동물과 인간은 진공상태에서 학습하지 않습니다. 관찰과 기존의 세계 모델에 의존하죠. 언어, 인터넷 비디오, 또는 크로스-엠보디멘트 데이터를 통해 방대한 사전 지식을 통합하는 것은 효율적인 학습을 위한 필수적인 비계(scaffold)를 제공합니다. 사전 지식 없이 학습을 시도하는 것은 로봇에게 자연이 해결해야 했던 것보다 엄격하게 더 어려운 문제를 풀도록 강요하는 것입니다.

진행자: 시간을 내주셔서 정말 감사합니다, 세르게이.

세르게이 레빈: 질문해 주셔서 감사합니다.

진행자: 이 팟캐스트를 시청해 주셔서 감사합니다. 재미있게 보셨다면 댓글과 좋아요를 남겨주세요. 저는 또한 인체공학적 스플릿 키보드 프로토타입을 제작하고 있습니다. 킥스타터에서 런칭하여 8시간 만에 펀딩 목표를 달성했습니다. 현재 툴링이 진행 중이며 늦은 후원(late pledges)도 계속 열려 있습니다. 시청해 주셔서 감사드리며 다음 에피소드에서 뵙겠습니다.