DruckFin

Physical Intelligence 인터뷰: 범용 파운데이션 모델과 강화학습을 통한 로보틱스 유니버설 브레인 구축

2026년 9월 2일 | 체화된 인공지능(Embodied AI) 분야의 권위자 세르게이 레빈(Sergey Levine)과의 심층 대담

서론 및 피지컬 인텔리전스(Physical Intelligence)의 정의

진행자: 오늘 제 게스트는 피지컬 인텔리전스(Physical Intelligence)의 공동 창립자이자 연구원인 세르게이 레빈입니다. 사전에 밝혀두자면, 저는 로보틱스가 직면한 난제를 해결하는 가장 중요한 기업 중 하나라고 믿기 때문에 피지컬 인텔리전스에 투자한 투자자이기도 합니다. 오늘 대담에서 나누겠지만, 로보틱스에는 이른바 '허수아비 문제(scarecrow problem)'가 있습니다. 다양한 멋진 형태의 놀라운 하드웨어 장치들이 점점 더 많이 구현되고 있지만, 이들에게 정작 절실히 필요한 것은 바로 지능, 즉 '두뇌'이며, 피지컬 인텔리전스 바로 그 두뇌를 개발하고 있습니다. 이들은 어떤 물리적 로봇이든 어떠한 환경에서든 어떤 작업이든 수행할 수 있도록 만드는 파운데이션 모델(foundation models)을 개발하고자 합니다. 이 도전 과제는 엄청나게 벅차며, 세르게이를 비롯한 세계 최고 수준의 연구자들이 이 문제를 해결하기 위해 손을 잡아야만 했습니다. 오늘 우리의 대화는 로보틱스가 직면한 모든 문제와 이 문제를 해결함으로써 전 세계에 가져올 수 있는 모든 가능성을 아우를 것입니다. 세르게이 레빈과의 이 멋진 대화를 즐기시기 바랍니다.

진행자: 오늘 대담은 기술 분야에서 가장 흥미롭고 파급력 있는 영역에 대해 알아갈 수 있는 아주 특별하고 즐거운 시간이 될 것입니다. 과거로 돌아가기에 앞서, 먼저 세르게이의 관점에서 '피지컬 인텔리전스'를 정의해 주시겠습니까?

세르게이 레빈: 근본적으로 피지컬 인텔리전스의 목표는 기본적으로 모든 체화된 시스템(embodied system)을 제어하여 어떤 작업이든 수행할 수 있는 로보틱스 파운데이션 모델을 개발하는 것입니다. 넓게 보면, 언어 모델(language model)이 언어로 표현할 수 있는 모든 작업을 수행할 수 있는 시스템으로 급속히 진화하고 있는 것과 마찬가지로, 물리적 구동 장치(actuated device)가 수행할 수 있는 모든 작업을 처리할 수 있는 새로운 등급의 모델을 구축하고자 하는 것입니다. 이 회사의 핵심 가설 중 하나는, 완전한 범용성 수준에서 이를 구현하는 것이 장기적으로 볼 때 아주 협소하고 특화된 응용 분야를 개별적으로 다루는 것보다 오히려 더 쉬울 수 있다는 믿음입니다. 언어 모델의 경우를 보더라도, 기계 번역이나 감성 분석을 좁게 타겟팅하는 것보다 자연어 작업의 완전한 범용성을 해결하는 것이 여러 면에서 더 수월했던 것과 비슷한 맥락입니다.

범용화 대 도메인 특화 시스템의 트레이드오프

진행자: 설거지만 전담하는 로봇 같은 것과 비교했을 때, 왜 그런 과감한 베팅을 선택하게 되었는지 그 이유가 직관적으로 와닿지 않을 수도 있습니다. 이해해야 할 핵심 트레이드오프는 무엇이며, 왜 그러한 결정을 내리셨나요?

세르게이 레빈: 이 질문에는 두 부분으로 나누어 답해 드릴 수 있겠습니다. 첫째는 언어 모델과의 유추(analogy)이고, 둘째는 그것이 로보틱스 세계에서 갖는 의미입니다. 첫 번째는 경험적 증거에 기반합니다. 자연어의 세계에서 우리는 특정 문제를 해결하기 위해 도메인 특화 솔루션을 개발하려는 수많은 노력을 보았습니다. 예를 들어, 누군가는 영어가 프랑스어와 어떻게 다른지 오랜 시간 고민한 끝에 기계 번역 시스템을 구축하곤 했습니다. 언어 모델이 그러한 다양한 응용 분야를 결국 대체하게 된 이유는 훨씬 더 광범위한 데이터 소스를 활용할 수 있었기 때문입니다.

세르게이 레빈: 이는 단순히 '이 앱을 위한 데이터와 저 앱을 위한 데이터를 모아서 전부 병합했다'는 것만큼 단순하지 않습니다. 그 이상입니다. 언어 모델의 경우 웹에서 수집한 데이터처럼 약하게 라벨링된(weakly labeled) 데이터를 활용할 수 있을 때, 세상에 대해 더 많은 것을 학습하게 됩니다. 세상에 대한 이해의 토대를 구축하게 되며, 그 토대 위에서 다양한 응용 프로그램을 구축하는 것이 훨씬 더 효과적임이 입증됩니다.

세르게이 레빈: 이를 로보틱스의 영역으로 가져와 보면, 로보틱스에는 인터넷 규모의 데이터셋이 존재하지 않기 때문에 계산 방식이 정확히 일치하지는 않습니다. 하지만 이 '세상에 대한 이해'라는 개념은 로보틱스에서 오히려 훨씬 더 중요합니다. 만약 수많은 다양한 작업과 물리적 시스템을 다룬다면, 개별적인 설거지 전문가나 빨래 개기 전문가를 각각 따로 훈련시키는 대신 물리적 상호작용을 실제로 이해하는 모델을 훈련할 수 있게 됩니다. 인간은 물리적 상호작용을 이해하기 때문에 새로운 기술을 매우 빠르게 습득할 수 있습니다. 낯선 새로운 상황에서 어떤 일이 벌어질 것인지 직관적으로 파악할 수 있어 학습을 아주 빠르게 부트스트랩(bootstrap)할 수 있습니다. 만약 우리가 수많은 소스, 다양한 응용 프로그램, 그리고 여러 로봇의 데이터를 활용할 수 있다면, 물리적 이해를 갖춘 모델을 확보할 수 있게 되며, 이는 그 플랫폼 위에 새로운 응용 프로그램을 얹는 것을 훨씬 더 수월하게 만들어 줍니다.

범용 모델의 도전 과제와 좁은 데모의 함정

진행자: 일반 대중이 훨씬 이해하기 쉬운 방식, 즉 로봇이 돌아다니며 특정한 한 가지 동작을 수행하는 다른 접근 방식들과 비교할 때, 이처럼 범용적인 방식으로 구축하는 데 있어 가장 어려운 부분은 무엇입니까?

세르게이 레빈: 이는 제 커리어 내내 겪어온 문제입니다. 로봇 학습을 연구할 때 효과적인 범용화는 사실 정말 흥미진진한 데모를 만들어내는 데 있어 최적의 방법이 아니기 때문입니다. 아주 멋진 데모를 만드는 방법은 아주 멋진 작업을 하나 골라 주변 환경의 모든 요소를 통제하고, 완벽하고 깨끗하게 세팅한 뒤 단 하나의 설정에서 작동하도록 만드는 것입니다. 그것이 고전적인 로봇 데모를 만드는 방식입니다.

세르게이 레빈: 범용성은 단 한 곳에서만 과시될 수 없습니다. 범용성의 핵심은 누구나 할 수 있는 비교적 평범한 일을 어떤 상황에서든 해내는 데 있습니다. 우리는 로봇이 주방을 청소하는 모습을 담은 데모를 공개한 적이 있습니다. 문맥 없이 개별 비디오만 보면 그냥 접시를 줍는 것처럼 보이며, 이는 누구나 할 수 있는 일입니다. 하지만 핵심은 그 데모를 위해 로봇을 그 가정집에 처음 들여놓았고, 로봇은 그 환경의 훈련 데이터를 한 번도 본 적이 없었다는 점입니다. 왜 이것이 기술의 한계를 넓히고 있는지 이해하려면 무대 뒤에서 벌어지는 일들을 알아야 합니다.

장기적 판도와 플랫폼 전환

진행자: 여러분이 하고 있는 일의 파급력과 판도에 대한 본인만의 모델은 무엇입니까? 만약 성공하여 범용 피지컬 인텔리전스의 장벽을 넘는다면, 어떤 일이 가능해질까요?

세르게이 레빈: 정말 흥미진진한 일 중 하나는 사람들이 로봇 및 기타 체화된 시스템을 구축하는 방식에 대한 상상력을 해방시킬 수 있다는 점입니다. 개인용 컴퓨터(PC)는 수많은 사람들이 온갖 멋진 응용 프로그램을 직접 만들어낼 수 있게 만들었기 때문에 정말 중요한 일대 사건이었습니다. 1990년대부터 시작되어 인터넷으로 더욱 가속화된 놀라운 소프트웨어의 캄브리아기 대폭발(Cambrian explosion) 같은 현상이 일어났습니다. 로보틱스의 세계에서도 그와 비슷한 일이 일어날 수 있다고 생각합니다. 하지만 오늘날에는 불가능합니다. 멋진 새로운 로보틱스 응용 프로그램을 만들려면 엄청난 규모의 기술 스택을 직접 구축하고 지능 문제를 사실상 혼자서 해결해야 하기 때문입니다.

세르게이 레빈: 만약 누구나 그 위에 기반하여 빌드업할 수 있는 파운데이션 모델이 존재한다면, 프롬프트를 통해 기본적인 기능을 제공하고 자신의 응용 프로그램에 맞게 미세조정(fine-tune)하거나 조율할 수 있습니다. 이는 수많은 사람, 기업, 그리고 개인이 온갖 다양한 아이디어를 훨씬 더 실현 가능하게 시도할 수 있도록 만들어 줍니다. 우리는 종종 로봇이 금속 인간 같은 단 하나의 형태일 것이라고 생각합니다. 하지만 어떤 기술도 그런 식으로 발전하지 않았습니다. 오히려 온갖 종류의 응용 프로그램을 조립할 수 있는 툴킷(toolkit)에 더 가까울 것입니다. 천장에 매달려 팔이 5개 달린 로봇을 만드는 것처럼 창의력을 발휘할 수 있습니다. 이를 뒷받침할 올바른 소프트웨어 기반 플랫폼이 필요하며, 파운데이션 모델이 바로 그 플랫폼이 될 수 있습니다.

휴머노이드 로봇 대 범용 체화 형태의 장단점

진행자: 로보틱스에 대한 휴머노이드(humanoid) 접근 방식의 장단점은 무엇이라고 보십니까?

세르게이 레빈: 장점 중 하나는 정말 멋지다는 것입니다. 누군가에게 보여주면 바로 이해합니다. 상상력을 자극하고 사람들이 이해하기 쉬운 방식으로 미래가 어떤 모습일지 생각하게 만드는 데는 엄청난 가치가 있습니다. 하지만 제 생각에 휴머노이드는 우리가 갖게 될 수많은 잠재적 로봇 형태 중 하나일 뿐입니다. 근본적으로 지능의 난제는 이 모든 서로 다른 로봇들에게 매우 유사하게 나타납니다. 우리는 단 하나의 특정한 신체 맥락에서만 지능을 다루어서는 안 됩니다. 다양한 시스템 전반에 걸쳐 방대한 데이터가 필요하기 때문에 범용적인 방식으로 다루어야 합니다.

세르게이 레빈: 로봇 제작의 멋진 점은 궁극적으로 인간의 모습과 닮아야만 할 필요가 전혀 없다는 것입니다. 용도에 맞는 올바른 도구를 만들면 됩니다. 1만 대의 쿼드콥터(quadcopter) 무리로 집을 짓는 상상을 해볼 수도 있습니다. 미래에는 불도저부터 휴머노이드, 로봇 팔에 이르기까지 스펙트럼 전체를 아우르는 모든 종류의 응용 프로그램에 적응할 수 있는 로보틱스 파운데이션 모델을 갖추게 될 것입니다. 물체와 상호작용하는 방식, 세상에서 사물이 움직이는 방식, 그리고 인과관계가 작동하는 방식의 근본 원리들은 이 모든 서로 다른 시스템 전반에 걸쳐 보존됩니다.

진행자: 휴머노이드 전용 지능으로는 불가능하지만 진정한 범용 지능이 있다면 가능해질 일에 대해 가장 좋아하는 예시가 있으십니까?

세르게이 레빈: 생각해 볼 만한 몇 가지가 있습니다. 하나는 아주 큰 기계와 아주 작은 기계를 만들 수 있다는 점입니다. 장기적으로 볼 때는 인간의 모습을 한 로봇이나 심지어 인간이 직접 제어할 수 있는 로봇에만 국한되지 않는 의학 및 수술 분야의 흥미진진한 응용 프로그램들이 존재합니다. 현재 로봇 수술은 원격 조작(teleoperation)을 통해 이루어지며, 높은 민첩성을 갖춘 실시간 인간의 제어가 필요합니다. 장기적으로 자율 시스템은 인간의 직접적인 운동 능력을 뛰어넘는 작업들을 처리할 수 있게 될 것입니다.

로보틱스 연구의 역사적 이정표

진행자: 오늘날 우리를 이 자리까지 이끌어온 로보틱스 연구 타임라인에서 가장 중요한 이정표들을 꼽는다면, 그 역사를 어떻게 짚어볼 수 있을까요?

세르게이 레빈: 어떤 측면에서 로봇 시스템을 위한 엔드투엔드(end-to-end) 제어는 오래된 아이디어입니다. 엔드투엔드 학습을 사용한 최초의 자율주행 시스템은 1980년대에 이미 존재했습니다. 1986년이나 1987년경에 개발된 ALVINN은 카메라 입력을 받는 아주 작은 신경망으로 제어되는 고속도로 주행 시스템이었습니다. 개념 자체는 유구하지만, 역사적으로 로봇 학습의 어려움은 여러 요구사항을 동시에 충족해야 한다는 데 있었습니다. 즉, 모든 단일 작업마다 대규모 데이터 수집을 요구하지 않으면서도 비용 효율적으로 응용 프로그램을 처리해야 하고, 상식(common sense)을 바탕으로 롱테일(long-tail) 시나리오를 다룰 수 있어야 하며, 견고하고 빠르고 신뢰할 수 있어야 했습니다.

세르게이 레빈: 머신러닝은 데이터가 많을 때 가장 잘 작동합니다. 설거지 데이터를 엄청나게 수집하여 설거지라는 문제를 순진하게 접근하면, 다음 작업을 위해 그 전체 과정을 반복해야 하기 때문에 비용 효율적이지 않습니다. 범용 모델을 훈련하면 작업당 필요한 데이터가 줄어듭니다. 가장 최근에 바뀐 점은 이례적인 시나리오를 처리하는 능력입니다. 사전에 경험이 부족한 엣지 케이스(edge case)에서는 다른 소스에서 습득한 지식에 의존하여 이를 새로운 상황에 접목(grounding)해야 합니다. 멀티모달 언어 모델(multimodal language models)은 광범위한 웹 지식을 끌어오는 데 능숙합니다. 물리적 상황에 본질적으로 접목되어 있지는 않지만, 로봇 제어에 상식을 이식할 수 있는 경로를 제공합니다.

진행자: 로보틱스 분야에서 알렉스넷(AlexNet)이나 트랜스포머(transformer)에 비견될 만한 타임라인 상의 이정표적 동등물(equivalent)이 있습니까?

세르게이 레빈: 이를 명확히 단정하기에는 아직 이릅니다. 돌이켜보면 1980년대의 최초 엔드투엔드 학습 시스템은 하나의 이정표였습니다. 2010년대 초반의 최초 심층 강화학습(deep reinforcement learning) 시스템은 심층 강화학습이 인간 수준의 성능을 뛰어넘는 방식을 제공했기 때문에 또 다른 주요 이정표였습니다. 보다 최근에는 상식을 공급하기 위해 로봇 제어에 맞게 적응된 멀티모달 LLM의 출현이 결정적인 진전이며, 앞으로 몇 년 안에 몇 가지 주요 돌파구를 더 보게 될 것입니다.

세르게이 레빈의 연구 여정: 백지 상태에서 대형 모델까지

진행자: 이 문제에 처음 관심을 갖게 된 시점부터 무엇에 집중할지 결정하기까지, 이 문제를 다뤄온 본인의 개인적 여정을 공유해 주시겠습니까?

세르게이 레빈: 저는 대학원 과정을 마치고 UC 버클리의 피터 아빌(Pieter Abbeel) 교수님 밑에서 박사후연구원(postdoc)을 시작한 2014년에 로보틱스 연구를 시작했습니다. 그 전에는 컴퓨터 그래픽스와 캐릭터 애니메이션을 연구했습니다. 제가 항상 알아내고자 했던 핵심 질문은 세상과 상호작용할수록 지속적으로 개선되는 AI 시스템을 어떻게 구축할 것인가 하는 것이었습니다.

세르게이 레빈: 초기에는 에이전트가 아무것도 없는 상태에서 시작해 기술을 연습하고 발전시키는 백지 상태(blank slate)의 관점에서 접근했습니다. 이는 좁고 통제된 설정에서는 작동하지만, 아주 작은 변화만 생겨도 처음부터 다시 훈련해야 하기 때문에 개방형 세상(open-world) 설정을 위한 범용 시스템으로 전환하기는 어렵습니다. 그 후 구글에서 일할 때, 저는 이를 수많은 로봇에 병렬화하는 방식, 즉 방 안에 로봇 20대를 배치해 동시에 학습하게 하는 집단 학습(collective learning)을 탐구했습니다. 이는 범용성을 향상했지만, 여전히 엣지 케이스에서 고전하는 좁은 전문가들을 만들어낼 뿐이었습니다.

세르게이 레빈: 다음 단계는 기술을 연습하는 능력과 방대한 사전 지식을 결합하는 것입니다. 이는 AI 전반에 걸쳐 어려운 문제입니다. 최근 수십 년 동안 AI 분야에서 이뤄낸 두 가지 주요 성과란 인간의 능력을 재현하는 LLM으로 대표되는 생성형 AI(generative AI)와 알파고(AlphaGo)가 수 37(Move 37) 같은 초인적 해결책을 찾아낸 것으로 대표되는 심층 강화학습입니다. 피지컬 인텔리전스의 과제는 이 두 가지 패러다임을 결합하는 것입니다. 즉, 방대한 생성형 세계 지식을 가져오는 동시에 강화학습을 활용하여 인간 수준의 성능을 뛰어넘는 것입니다.

비전-언어-행동 모델과 생각의 사슬

진행자: 그 결합을 실현하기 위해 구체적으로 어떤 작업을 하고 계십니까?

세르게이 레빈: 지난 몇 년 동안 우리는 비전-언어-행동(VLA, Vision-Language-Action) 모델을 개발하는 것부터 시작했습니다. VLA 모델은 로봇 제어에 맞게 적응된 LLM으로 이해할 수 있습니다. 텍스트로 사전 훈련되고, 시각적 장면을 이해하기 위해 광범위한 웹 이미지 데이터로 적응된 뒤, 다양한 로보틱스 데이터로 미세조정됩니다. 이것이 웹 스케일의 지식을 로봇 제어로 가져오는 기반 역할을 합니다.

세르게이 레빈: 그 위에 우리는 두 가지 핵심 능력을 탐구합니다. 바로 상식을 통한 이례적인 상황 처리와 강화학습을 통한 개선입니다. 상식을 달성하기 위해 우리는 생각의 사슬(chain-of-thought) 추론을 활용합니다. 로봇이 장면에 직면했을 때 곧바로 모터 명령을 실행하는 대신, 작업을 추론합니다. 주방을 청소하라는 요청을 받으면 시각적 입력을 분석하고, 특정 접시를 집어 들라는 등의 중간 의미적 사고(intermediate semantic thought)를 생성한 뒤 행동합니다. 이러한 중간 추론들은 웹 스케일의 사전 훈련으로부터 이점을 얻습니다.

세르게이 레빈: 강화학습은 견고성, 속도, 정밀도를 향상하기 위해 작업을 반복적으로 연습할 때 적용됩니다. 에스프레소 추출 시연에서 시스템은 처리량(throughput)과 신뢰성을 최적화하기 위해 반복적으로 연습했습니다. 우리는 이 이중의 토대 위에서 계속해서 구축해 나가고 있습니다.

센서 요구사항과 데이터 플라이휠

진행자: 이러한 로봇 플랫폼들을 살펴보면, 데이터는 하드웨어에 장착된 센서를 통해 수집됩니다. 필요한 센서 스위트(sensor suite)에 대해 어떻게 생각하십니까?

세르게이 레빈: 사람들의 생각보다 더 적은 센서만으로도 충분한 경우가 많습니다. 우리의 주요 실험 플랫폼은 카메라 3개를 사용합니다. 양쪽 손목에 각각 하나씩, 그리고 베이스에 하나가 있습니다. 전용 촉각 센서나 힘 센서는 탑재되어 있지 않습니다. 유능한 학습 알고리즘은 하드웨어의 결함을 보완할 수 있습니다. 예를 들어, 손목 카메라는 접촉 시 국부적인 물리적 변형을 시각적 피드백이 포착하기 때문에 효과적으로 터치 센서 역할을 합니다.

진행자: 언어 모델의 경우, 대규모 인터넷 스케일이 돌파구를 이끌어냈습니다. 체화된 인공지능(Embodied AI)을 위해 필요한 데이터 저수지(reservoir)는 어떻게 만드십니까?

세르게이 레빈: 범용 범용화를 달성하기 위해 정확히 얼마나 많은 로봇 데이터가 필요한지는 아무도 모르지만, 사전에 꼭 알 필요는 없을지도 모릅니다. 중요한 것은 시스템이 자율적으로 데이터를 수집할 수 있을 만큼 충분히 유용해지도록 만드는 것입니다. 테슬라는 이미 함대가 유용하게 쓰이며 적극적으로 데이터를 수집하고 있기 때문에 불충분한 주행 데이터 수집에 대해 걱정하지 않습니다. 목표는 다양한 작업을 수행할 수 있는 시스템을 배포하고 데이터 플라이휠(data flywheel)을 구축하는 것입니다.

진행자: 피지컬 인텔리전스를 시작한 이후, 연구의 궤적에 대해 가장 놀랐던 점은 무엇입니까?

세르게이 레빈: 민첩성(dexterity) 측면에서 제가 처음에 예상했던 것보다 훨씬 더 빠른 진전이 있었습니다. 이전의 작업들을 바탕으로 볼 때, 다양한 객체와 장면에 걸친 범용화는 더 많은 데이터와 함께 점진적으로 확장될 것으로 예상했습니다. 하지만 모델들은 복잡하고 특화된 아키텍처를 요구하지 않고도 고도로 민첩한 행동들을 학습해 냈습니다.

세르게이 레빈: 게다가 이 모델들은 아키텍처를 수정하거나 하드웨어 구성에 대한 명시적인 프롬프트 입력 없이도, 다중 손가락 손(multi-fingered hands)과 자유도가 다른 팔을 포함한 다양한 로봇 체화 형태(embodiments) 전반에 걸쳐 일반화되었습니다. 체화 형태별 데이터로 미세조정하는 것만으로도 충분했습니다.

모라벡의 역설과 시맨틱 코칭

진행자: 오늘날의 시스템은 사람들이 예상하는 것보다 어느 면에서 더 발전해 있으며, 어느 면에서 덜 발전해 있습니까?

세르게이 레빈: 이는 모라벡의 역설(Moravec's paradox)과 직접적으로 연관됩니다. 인간은 고급 미적분학처럼 우리에게 어려운 작업은 기계에게도 어려울 것이라고 직관적으로 가정하는 반면, 컵을 잡는 것같이 우리에게 쉬운 작업은 기계에게도 간단할 것이라고 여깁니다. 현실에서 인간의 뇌는 물리적 상호작용과 시각적 인식을 위해 방대하고 특화된 신경망 구조를 진화시켜 왔습니다. 그러한 물리적 기술을 수동으로 프로그래밍하는 것은 엄청나게 어렵습니다.

세르게이 레빈: 머신러닝은 이러한 역학을 변화시킵니다. 데이터 수집이 직관적인 곳에서는 비록 물리적으로 복잡하더라도 작업이 다루기 쉬워집니다. 반대로 추상적 상식, 다단계 추론, 그리고 물리적 실행을 광범위한 세계 지식과 연결하는 작업들은 여전히 어렵습니다.

진행자: 로보틱스의 맥락에서 '상식(common sense)'을 어떻게 정의하십니까?

세르게이 레빈: 로봇 학습에서 상식이란 다른 도메인에서 학습한 시맨틱 추론을 당면한 물리적 작업에 적용하는 것을 의미합니다. 이는 순수한 근육 기억(muscle memory)의 반대 개념입니다. 근육 기억은 반복을 통해 자동으로 작동합니다. 상식은 어떤 상황에 직면했을 때 다른 곳에서 학습한 관련 사실이나 원리를 떠올려 즉각적인 환경에 접목하고 올바른 행동을 선택할 때 적용됩니다.

진행자: 언어 모델은 단일 턴 채팅에서 장기 지평 에이전트 추론(long-horizon agentic reasoning)으로 발전했습니다. 로보틱스에서 이에 상응하는 장기 지평(long-horizon) 능력은 무엇입니까?

세르게이 레빈: 우리는 이 부분에 대해 광범위하게 연구하고 있습니다. 생각의 사슬 추론을 사용하여 우리의 모델은 식기세척기에서 식기를 꺼내 캐비닛에 넣고 조리대를 닦는 것과 같은 확장된 작업을 실행할 수 있습니다. 약 6개월 전에 발견한 중요한 사실은, 고수준의 시맨틱 지침으로 감독(supervising)하기만 해도 장기 지평 작업에서 모델의 성능이 향상될 수 있다는 점입니다.

세르게이 레빈: 주방 청소 작업 도중 로봇이 실패했을 때, 저수준의 원격 조작 궤적을 추가로 수집하는 대신 중간 단계에 대한 시맨틱 라벨을 제공했습니다. 이것이 범용성을 향상시켰습니다. 운영상의 병목 현상이 저수준 물리적 구동에서 중수준 장면 해석 및 단계 선택으로 이동한 것입니다. 이를 통해 인간 운영자는 수동 물리적 시연 대신 언어적 코칭을 통해 로봇의 성능을 향상시킬 수 있습니다.

광범위한 배포를 위한 기술적·실무적 리스크

진행자: 2050년을 내다보았을 때 범용 가정용 로봇이 여전히 보급되지 않았다면, 그 주요 설명은 무엇이 될까요?

세르게이 레빈: 병목 현상은 기술과 인간의 안락함이 교차하는 지점에 있을 가능성이 높습니다. 자율주행 차량도 유사한 도입 역학을 겪었습니다. 가정에 시스템을 배포하는 것은 엣지 케이스와 결함 허용(fault tolerance)에 대한 문제를 동반합니다. 사용자가 가끔 깨지는 접시나 어린아이들 주변에 로봇을 배치하는 것을 편안하게 느낄까요? 그러한 사회적, 안전적 요소를 탐색하는 것이 다양한 환경에서의 배포 타임라인을 좌우할 것입니다.

세르게이 레빈: 순수 기술적 관점에서 볼 때는 개방형 세상의 광범위함을 관리하는 것이 주요 리스크입니다. 호텔 객실 청소나 상업용 주방 보조와 같은 구조화된 상업 환경은 변동 폭이 제한되어 있습니다. 비구조화된 가정 환경은 강건한 추론과 안전한 실패 모드(safe failure modes)를 요구하는 예측 불가능한 이벤트들을 특징으로 합니다.

시뮬레이션 대 현실 세계 데이터 및 로봇 올림피크

진행자: 로보틱스에서 시뮬레이션 사용 대 현실 세계 데이터 사용 간의 논쟁을 어떻게 바라보십니까?

세르게이 레빈: 오늘날 로보틱스 연구에는 명확한 이분법이 존재합니다. 휴머노이드 보행(locomotion) 분야에서 주류 파이프라인은 최소한의 현실 세계 데이터나 데이터 없이 물리 시뮬레이션에 크게 의존합니다. 로봇 조작(manipulation) 분야에서는 시뮬레이션이 거의 없는 상태에서 파운데이션 모델과 결합된 대규모 현실 세계 데이터셋을 사용하는 접근 방식이 주를 이룹니다. 한쪽 접근 방식이 주도할지, 아니면 종합(synthesis)이 부상할지는 여전히 미해결 연구 과제입니다.

진행자: 인상적인 데모 개발과 유용한 제품 구축 사이의 균형을 어떻게 맞추십니까?

세르게이 레빈: 우리의 접근 방식은 '유용해야 한다'는 제약 조건 하에서 시스템을 최대한 흥미롭게 만드는 것입니다. 범용 로보틱스 파운데이션 모델을 발전시키는 기초 연구를 우선시하지만, 어려운 조작 벤치마크에 대해 모델을 스트레스 테스트합니다.

세르게이 레빈: 예를 들어, 전 Everyday Robots 연구원인 벤지 홀슨(Benji Holson)은 인간에게는 사소하지만 로봇에게는 어려운 일상적 조작 작업들—문 열기, 기름때 낀 팬 닦기, 가방을 사용해 쓰레기 줍기 등—으로 구성된 실용적인 '로봇 올림피크(Robot Olympics)'를 제안했습니다. 우리는 이 목록을 사용하여 일반 온보딩 파이프라인을 테스트했습니다. 개별 작업을 위한 특화된 알고리즘을 개발하지 않고도, 우리의 파운데이션 모델은 거의 모든 작업을 성공적으로 해결했습니다. 유일한 예외는 그리퍼 크기로 인해 물리적으로 제약되었던 드레스 셔츠 뒤집기와, 그립 강도 한계로 인해 작은 도구가 필요했던 손가락만으로 오렌지 껍질 까기뿐이었습니다. 이는 다양한 작업을 신속하게 온보딩할 수 있는 범용 모델의 저력을 보여주었습니다.

체화 비독점성과 연구 철학

진행자: 생물학적 시스템에서의 도구 사용 개념을 언급하셨습니다. 그것이 로봇 지능과 어떻게 관련됩니까?

세르게이 레빈: 신경과학 연구에 따르면 원숭이가 도구를 사용할 때 뇌의 신경 표현이 적응하여 도구 끝부분이 신체 손의 연장선으로 취급된다고 합니다. 이는 지능이 체화 비독점적(embodiment-agnostic)이어야 한다는 견해를 뒷받침합니다. 범용 파운데이션 모델은 임의의 운동학적 체인(kinematic chains)과 도구를 제어하도록 적응해야 합니다. 조작, 보행, 산업 제어는 단 하나의 핵심 지능 문제 아래 통합됩니다.

진행자: 오늘날 로보틱스 연구 커뮤니티 내의 주요 철학적 논쟁은 무엇입니까?

세르게이 레빈: 역사적으로 논쟁은 고전적 엔지니어링 및 물리학 모델에 비해 머신러닝이 로보틱스에서 발을 들일 곳이 있는지 여부였습니다. 이제 학습이 널리 수용되기는 했지만, 핸드코딩된 물리학을 통합한 모듈식 시스템 대 엔드투엔드 학습 간의 논쟁은 여전히 존재합니다. 쓰라린 교훈(The Bitter Lesson)은 데이터와 연산력과 함께 범용 메서드를 활용하는 것이 시간이 지남에 따라 인간이 엔지니어링한 도메인 지식을 능가한다는 점을 상정합니다. 명시적 물리 모델을 통합하는 것은 단기적인 구조를 제공하지만, 엔드투엔드 학습은 진정한 개방형 세상 범용성에 필요한 확장성과 자기 개선 능력을 제공합니다.

진행자: 로봇에 의해 가장 마지막에 자동화될 것으로 예상되는 작업 유형은 무엇입니까?

세르게이 레빈: 아이 기저귀 갈기, 노인 돌보기, 침대에서 부상당한 사람 일으키기 등 인간과의 직접적이고 미묘한 물리적 상호작용이 수반되는 작업은 예외적으로 어려울 것입니다. 이러한 작업은 정밀한 힘 조절, 높은 안전 마진, 그리고 깊은 사회적-물리적 상호 감각(common sense)을 요구합니다.

연구 실행, 하드웨어 비용, 그리고 미래 전망

진행자: 이러한 어려운 문제를 헤쳐나갈 때 뛰어난 AI 연구원을 차별화하는 요인은 무엇입니까?

세르게이 레빈: 연구에는 어떤 접근을 계속 고수해야 할지, 언제 피벗(pivot)해야 할지에 대한 중대한 결정을 내리는 과정이 필요합니다. 너무 일찍 피벗하면 코앞에 있는 돌파구를 놓치게 되고, 결함이 있는 전제에 너무 오래 집착하면 수년을 낭비하게 됩니다. 성공적인 연구원은 집중의 깊이와 탐색적 실험 사이의 균형을 잡는 강력한 직관을 배양합니다.

진행자: 하드웨어 비용 또한 극적으로 떨어졌습니다. 그것이 생태계에 어떤 영향을 미치나요?

세르게이 레빈: 10년 전만 해도 PR2 같은 연구 플랫폼은 약 40만 달러에 달했습니다. 제가 UC 버클리에 제 연구실을 차렸을 때 표준 팔은 약 3만 달러였습니다. 오늘날 저비용 로봇 팔은 약 3,000달러 선에서 조달할 수 있으며 비용은 계속해서 하락하고 있습니다. 학습 기반 소프트웨어가 하드웨어 컴플라이언스(compliance)와 센싱 한계를 보완할 수 있기 때문에, 저비용 하드웨어가 복잡한 작업에도 실현 가능해져 진입 장벽을 근본적으로 낮추고 있습니다.

진행자: 단기적으로 피지컬 인텔리전스의 최우선 과제는 무엇입니까?

세르게이 레빈: 우리의 최우선 과제는 중수준의 시맨틱 및 공간 추론을 발전시키는 것입니다. 저수준 물리적 제어는 대체로 관리 가능한 수준이지만, 그러한 모터 프리미티브(motor primitives)를 고수준의 세계 지식과 연결하려면 순수 언어적 토큰보다는 물리적 상호작용에 맞춤화된 내부 표현(internal representations)이 필요합니다.

진행자: 커리어를 돌아보았을 때, 누군가 당신에게 베푼 가장 친절한 일은 무엇이었습니까?

세르게이 레빈: 제 궤적을 형성한 몇 가지 주요한 기회들이 있었습니다. 대학 2학년 때 엔비디아의 채용 담당자가 인턴십 기회로 저에게 기회를 주었습니다. 나중에 피터 아빌은 제가 로보틱스 백그라운드가 전혀 없음에도 불구하고 UC 버클리의 박사후연구원으로 받아들임으로써 제 잠재력에 베팅해 주었습니다. 마지막으로 구글에 재직할 당시 팹 파이브(arm farm) 프로젝트—수십 대의 로봇을 집단 학습용으로 동시에 배치하자는 우리의 제안—를 제프 딘(Jeff Dean)과 빈센트 반후케(Vincent Vanhoucke) 같은 리더들이 지지해 주어 초기 경력 연구원들이 야심 찬 아이디어를 추구할 수 있도록 힘을 실어주었습니다. 에이전시를 제공하고 사람에게 베팅하는 리더들이 있다는 것은 엄청난 차이를 만듭니다.

진행자: 세르게이, 오늘 통찰을 나누어 주셔서 정말 감사합니다.

세르게이 레빈: 감사합니다.