DruckFin

Physical Intelligence: 로봇 파운데이션 모델, 예상보다 빠른 민첩성 확보… 진짜 병목은 상식적 추론 능력으로 이동

Physical Intelligence 공동 창업자 세르게이 레빈, 팟캐스트 인터뷰에서 범용 로보틱스 연구 현황 및 기술 로드맵 밝혀

Physical Intelligence의 공동 창업자이자 연구원인 세르게이 레빈(Sergey Levine)은 범용 로보틱스의 현주소에 대해 이례적일 정도로 상세한 기술적 청사진을 제시했다. 그가 그려낸 모습은 대부분의 외부 관측자들이 예상했던 것보다 민첩성(dexterity) 측면에서는 훨씬 진전되어 있는 반면, 이전에는 핵심 제약 요인으로 거의 지목되지 않았던 문제, 즉 원시적 물리 제어가 아닌 중급 수준의 시맨틱 추론(semantic reasoning)에 의해 여전히 발목을 잡히고 있음을 보여주었다. 장기 인터뷰 시리즈의 일환으로 진행된 이번 대화는 과장된 홍보(hype)보다는 창업 이후 회사 연구진 스스로가 놀랐던 부분과 그렇지 않은 부분에 대한 솔직한 고백으로 주목을 받고 있다.

물리적 기술에서 추론 능력으로 이동한 병목 현상

이번 대화에서 가장 시의성 있는 폭로 중 하나는 Physical Intelligence의 모델들이 이미 임계점을 넘어섰다는 점이다. 추가적인 원격 조작(teleoperation) 데이터를 더 확보하는 것이 아니라, 단순히 로봇에게 말을 건네는 방식으로 성능이 향상되는 단계에 도달했다는 것이다. 레빈은 약 6개월 전 진행했던 내부 실험을 소개했다. 연구팀이 오류를 수정하기 위해 저수준 원격 조작 데이터를 추가하는 것을 멈추는 대신, 기존 로봇의 경험에 더 높은 수준의 시맨틱 명령을 레이블링(labeling)하는 방식을 취했다는 것이다. 그는 "그 방식이 실제로 일반화 능력을 향상시켰다"라며, "병목 현상이 가장 낮은 수준, 즉 로봇이 물리적으로 작업을 수행하는 능력에서, 이제는 시스템이 장면에너지를 해석하고 올바른 다음 단계를 선택하는 능력이 더 큰 병목이 되는 중간 수준으로 이동했으며, 이는 언어를 통해 관리될 수 있다"고 설명했다. 실제로 이는 비싼 물리적 시연 데이터 수집 과정 없이 자연어 코칭을 통해 로봇의 성능을 개선할 수 있음을 의미하며, 이들 시스템을 확장(scaling)하는 데 드는 단위 경제학(unit economics) 측면에서 의미 있는 변화다.

내부 예상을 뛰어넘은 민첩성과 이종 하드웨어 간 일반화

레빈은 민첩성 진전 속도가 자신의 사전 예상을 뛰어넘었다고 명시적으로 밝혔다. 그는 "민첩성 측면에서 우리가 생각했던 것보다 훨씬 더 많은 진전을 이루었다"라며, 동일한 모델이 아키텍처를 변경하거나 심지어 제어하는 로봇의 종류를 알려주지 않아도 자유도(degrees of freedom)가 다르고 다중 손가락(multi-fingered)을 가진 다양한 로봇들에 그대로 이식(transfer)되었다고 언급했다. 새로운 기술이 아닌 새로운 데이터에 대한 파인튜닝(fine-tuning)만으로 달성된 이러한 '이종 하드웨어 간 일반화(cross-embodiment generalization)'는 파운데이션 모델이 다양한 하드웨어 플랫폼에 걸쳐 R&D 비용을 상각(amortize)할 수 있는지 평가하려는 투자자들에게 의미 있는 데이터 포인트이며, 이는 전체 '로봇 파운데이션 모델' 투자 논리의 핵심을 뒷받침한다.

해결되지 않은 중대한 갈림길: 실제 데이터 대 시뮬레이션

가장 날카로운 기술적 공개 중 하나는 업계 내에서 과소평가되어 있다고 레빈이 지적한 '견해 차이'와 관련이 있다. 곡예에 가까운 시연을 수행하는 휴머노이드 로봇은 "실제 세상의 데이터는 사실상 전혀 없이" 거의 전적으로 시뮬레이션에 의존하는 반면, Physical Intelligence의 초점인 로봇 조작(manipulation) 시스템은 최소한의 시뮬레이션과 함께 실제 데이터 및 대규모 파운데이션 모델에 크게 의존한다는 것이다. 그는 "이 두 가지 로봇 도메인에서 지배적인 접근 방식이 이처럼 판이하게 다르다는 점은 다소 놀랍다"라며, 하나의 패러다임이 승리할지 혹은 두 방식의 종합(synthesis)이 나타날지 아직 불분명하다고 덧붙였다. 이는 업계 전반의 자본 배분에 직접적인 영향을 미치는 현재 진행형의 미해결 아키텍처 문제로, 두 접근 방식이 내포하는 데이터 취득 비용 구조와 타임라인이 판이하게 다르기 때문이다.

하드웨어 비용 폭락으로 구조적 장벽 해소

레빈은 현재의 로봇 투자 물결을 뒷받침하는 하드웨어 디플레이션 곡선을 수치로 제시했다. 그가 10년 전에 사용했던 PR2 로봇은 약 40만 달러였고, UC 버클리(UC Berkeley) 실험실을 시작했을 당시 비슷한 로봇은 약 3만 달러였다. 오늘날 단일 로봇 팔의 가격은 그 1분의 1 수준으로 떨어졌으며, 레빈은 추가적인 하락을 예상하고 있다. 그는 이것이 하드웨어와 소프트웨어 발전의 결합 덕분이라며, 전통적인 고정밀 제어 방식으로는 사용할 수 없는 저렴한 로봇 팔들이 저렴하고 정밀도가 떨어지는 액추에이터(actuator)와 최소한의 센싱을 보완하는 학습 기반 시스템과 결합되면 충분히 실용적이 된다고 설명했다. Physical Intelligence의 자체 플랫폼은 학습이 센싱 하드웨어를 대체할 수 있다는 논리에 따라 터치나 힘 센서 없이 3개의 카메라만 사용하는 극도로 간소화된 방식을 취하고 있다.

타임라인의 불확실성, 미해결 데이터 전략과 직결

레빈은 Physical Intelligence의 타임라인 신뢰도가 아직 답변되지 않은 하나의 경험적 질문, 즉 향후 스케일링이 주로 인간의 원격 조작 시연에 의존할 것인지 아니면 배치된 로봇이 수집하는 자율 강화학습(reinforcement-learning) 데이터에 의존할 것인지(그가 '90대 10 또는 10대 90' 비율로 표현한 것)에 달려 있다고 이례적일 정도로 직설적으로 밝혔다. 그는 "창업했을 때에 비해 타임라인에 대한 내 생각은 더 낙관적으로 변했다"라면서도, 어떤 데이터 패러다임이 승리하느냐에 따라 올바른 비즈니스 및 기술적 접근 방식이 "상당히 극적으로 달라지며", 이는 향후 몇 년간 경험적으로만 해결될 것이라고 경고했다. 이는 대규모 자금 조달 서사의 중심에 있는 기업으로서는 의미 있게 정직한 발언이며, 투자자들이 로봇 산업에 대한 벤처 업계의 일반적인 서사보다 더 냉철한 시각으로 타임라인을 바라봐야 함을 시사한다.

기술이 가장 오랜 기간 난항을 겪을 분야: 물리적 복잡성이 아닌 인간 상호작용

가장 어려운 남은 과제가 무엇이냐는 질문에 레빈은 민첩성이 요구되는 허드렛일이 아니라 인간과의 물리적 상호작용이 수반되는 작업들을 지목했다. 그는 노인 돌봄이나 아동 돌봄, 특히 기저귀 교체 같은 작업들이 로봇이 달성할 마지막 역량 중 하나가 될 것이라고 꼽았다. 그는 "그것이 진정한 '모라벡의 역설(Moravec's paradox)'의 정점이라고 생각한다"며, 인류가 진화 과정을 통해 너무나 수월하게 해내도록 설계된 작업들의 난이도를 인간이 체계적으로 과소평가하고 있다고 주장했다. 이는 버티컬별 총주소가능시장(TAM)을 모델링하는 투자자들에게 직접적인 시사점을 준다. 돌봄 서비스 영역은 가치가 높고 지불 용의가 가장 큰 분야이지만 기술적으로 도달하기까지 가장 오랜 시간이 걸릴 수 있는 반면, 호텔 객실 청소나 식당 지원 같은 보다 일상적인 상업적 작업들은 단기적으로 상대적으로 해결 가능한 기회들이다.

비즈니스 채택은 대규모 노동력 대체가 아닌 코딩 코파일럿의 양상을 닮을 것

레빈은 '로봇이 노동자를 대체한다'는 이분법적 프레임에 반대하며, AI 코딩 도구가 소프트웨어 엔지니어링을 재편했던 방식과 직접적인 비유를 들었다. 그는 "코딩 도구가 등장했다고 해서 갑자기 소프트웨어 엔지니어들이 필요 없어지지 않은 것과 같다"며, 로봇의 도입 역시 인간과 로봇이 작업을 주고받는 '댄스'와 같을 것이라고 예측했다. 로봇이 인간과 나란히 일하기도 하고, 때로는 인간이 로봇을 더 생산적으로 만들기 위해 환경을 설정하기도 하며, 그 반대의 상황도 벌어질 것이란 설명이다. 도입 시기를 평가하는 기업들을 향해 레빈은 '그냥 더 많은 데이터를 수집하라'는 순진한 가정은 종종 틀렸다고 경고했다. 데이터의 볼륨보다 품질과 유형이 훨씬 더 중요하며, 이는 업계가 아직 합의하지 못한 미해결 아키텍처 베팅에 크게 의존하기 때문이다.

로봇 시스템이 결국 인간의 능력을 뛰어넘을 수 있는 영역

민첩성 동등 수준(parity)을 넘어, 레빈은 단기적으로 인간을 확실히 뛰어넘을 수 있는(superhuman) 능력들로 작업 속도를 꼽았다. 인간 시연자들은 알고리즘적으로 제거하고 가속할 수 있는 인지 처리 과정 때문에 자주 멈추어 서지만 로봇은 그렇지 않기 때문이다. 또한 그는 시스템이 로봇 수술과 같은 정교한 정밀 작업을 위해 실시간 인간 원격 조작을 더 이상 필요로 하지 않게 되는 장기적인 미래에는, 인간이 제어할 수 있는 인터페이스에 얽매이지 않는 쿼드콥터(quadcopter) 군집이나 수술용 로봇처럼 규모와 폼팩터(form factor) 측면에서도 인간을 능가하게 될 것이라고 내다봤다.