언컨벤셔널 AI 내빈 라오 최고경영자(CEO): "미국의 여유 전력 수년 내 고갈… 다음 효율성 혁신은 실리콘이 아닌 모델과 기기의 공동 설계에서 올 것"
언컨벤셔널 AI 창업자 팟캐스트 인터뷰 (2026년 10월 24일)
언컨벤셔널 AI(Unconventional AI)의 창업자 내빈 라오(Naveen Rao)는 AI 인프라 구축 작업이 조만간 심각한 물리적 한계에 부딪힐 것이라고 경고했다. 미국은 그동안 기존 전력망의 여유 전력을 끌어다 데이터센터에 공급해 왔지만, 그는 그 여유분이 "앞으로 몇 년 안에" 바닥날 것으로 내다봤다. 라오는 모자이크ML(MosaicML)을 데이터브릭스(Databricks)에 13억 달러에 매각한 인물이다. 이후 언컨벤셔널 AI는 수억 달러의 자금을 조달했으며, 가장 최근에는 진행자가 언급한 바에 따르면 50억 달러에 육박하는 기업가치를 평가받았다. 라오는 광범위한 주제를 다룬 이번 팟캐스트 대담에서 물리적 스케일링의 시대가 끝난 이후에도 자사의 '에너지 우선(energy-first)' 칩 설계 접근법이 계속해서 성장할 수 있는 기술적 근거를 제시했다.
쉬운 전력은 이미 다 소진됐다
에너지에 대한 라오의 핵심 주장은 투자자들이 기가와트(GW)를 너무 추상적인 개념으로 취급하고 있다는 점이다. 그는 최첨단 반도체 팹(fab)을 짓는 데 200억~300억 달러가 드는 반면, 1기가와트의 발전 용량을 구축하는 데는 약 50억 달러가 소요된다는 업계 수치를 인용했다. 이어 그는 "사람들은 기가와트라는 단어를 마치 쉬운 일인 것처럼 쉽게 내뱉는다"며 "여러분, 이건 결코 쉬운 일이 아니다"라고 지적했다.
라오에 따르면, 업계는 지금까지 기존 인프라의 가동률을 높이는 방식으로 전력을 조달해 왔다. 미국 전력망의 평균 발전량은 약 900기가와트이지만 피크 시점에는 1조 2,000억~1조 3,000기가와트(1.2~1.3테라와트)까지 치솟으며, 데이터센터들이 바로 이 격차를 흡수해 온 것이다. 그는 이러한 여유분이 곧 소진될 것이며, 그 시점이 되면 전력 공급량 증가율은 신규 발전소 건설 속도에 수렴하게 될 것이라고 전망했다. 미국이 1년에 40기가와트를 추가할 수 있다는 주장에 대해서는 "우리는 그런 일을 해본 적이 없다"며 회의적인 반응을 보였다. 10기가와트만 달성해도 엄청난 성과이며, 이는 약 5,000억 달러의 지출을 의미한다고 덧붙였다.
그는 중국이 지난 2주간 미국의 약 6배에 달하는 속도로 인프라를 구축한 끝에 2023년 총 발전 용량에서 미국을 추월했다고 언급했다. 인프라 구축 측면에서 중앙집중형 계획의 장점은 인정하면서도, 원천 혁신 분야에서는 여전히 미국의 우위가 유지되고 있다고 주장했다.
라오는 가격 책정 측면에서 이미 공급 부족의 초기 징후가 나타나고 있다고 진단했다. 계량기 후단(behind-the-meter) 계약은 맞춤형으로 체결되기 때문에 정확한 수치는 알 수 없으나, 구매자들이 표준 전력망 요금보다 훨씬 높은 비용을 지불하고 있으며, 이로 인해 전기가 일반 사용자보다 데이터센터에 더 높은 가치를 갖는 이원화된 시장이 형성되고 있다는 것이다. 그는 데이터센터 내부의 전력 비용 대비 연산(compute) 능력이 약 5배 높게 판매될 수 있다는 자신의 대략적이고 다소 자의적인 계산을 언급하며, 이를 통해 운영자가 전력에 30~40% 더 높은 비용을 지불하더라도 매력적인 마진을 거둘 수 있을 것이라고 설명했다. 블룸에너지(Bloom Energy)의 애리조나 멀티기가와트 프로젝트에 대해서는 "만약 성공한다면 대단한 일"이라면서도, "아직 제대로 검증되지 않았으며 경제성이 전력망 전력과는 극명하게 다르다"며 신중한 입장을 보였다.
이러한 상황이 AI 버블의 신호인지 묻는 질문에 라오는 부채에 기반한 열기가 한풀 꺾인 것은 "일시적인 현상일 뿐, 어떤 버블이 터진 것이 아니다"라고 선을 그었다. 그는 자신을 "철저히 AI에 매몰된 사람(pretty AI-pilled)"이라고 표현하며, 진짜 시험대는 AI 서비스에 대한 수요인데 아직 그 표면조차 긁어보지 못했다고 생각한다고 덧붙였다.
효율성 혁신은 기술 스택의 상단으로 이동했다
가장 유용한 기술적 분석은 라오가 컴퓨팅 효율성의 세 가지 레이어를 설명할 때 나왔다. 첫 번째는 무어의 법칙(Moore's Law)과 데나드 스케일링(Dennard scaling)을 아우르는 물리적 레이어다. 그는 이러한 발전이 "사실상 멈췄으며", 최근 몇 세대의 GPU는 실리콘 자체의 성능 향상이 거의 나타나지 않고 있다고 말했다. 두 번째는 컴퓨팅 아키텍처 레이어로, 최근의 효율성 향상 대부분은 데이터 형식을 32비트에서 16비트, 8비트, 4비트로 축소하는 과정에서 나왔다. 세 번째는 모델 수준에서 데이터 이동을 줄이고 국소성(locality)을 강제하는 것으로, 그가 보기에 아직 제대로 활용되지 않은 영역이다.
라오는 2년 전으로 돌아간다면 최상단 레이어에 얼마나 많은 '알파(alpha)'가 남아 있는지 제대로 인식하지 못했던 것이 가장 후회된다고 털어놓았다. 이제 컴퓨터는 오직 지능을 제공하기 위해 만들어진 기기로 취급될 수 있으며, 이에 따라 모델, 아키텍처, 물리적 레이어가 상호 공동 설계될 수 있다는 점이 패러다임의 전환이다. 그는 "우리는 모델을 성역으로 여기지 않으며, 전력 우선(energy-first)의 사고방식을 가지고 있다. 즉 우리가 하는 모든 일은 에너지 측면에서 우위를 가져다주어야 한다"고 강조했다. 이는 속도 최우선으로 설계되었고 에니악(ENIAC)까지 그 계보가 이어지는 과거의 모든 컴퓨팅 세대와는 차별화되는 지점이라고 그는 덧붙였다.
그는 순수 소프트웨어 기반의 개선은 그 아래에 있는 하드웨어 성능에 의해 한계가 정해진다고 주장했다. 그가 든 예시는 '희소성(sparsity)'이다. 표준 오프칩 메모리를 장착한 GPU는 어느 정도 이점을 얻을 수 있지만, 하드웨어가 이를 위해 설계되지 않았기 때문에 성능 향상에 한계가 있다는 것이다. 뇌가 진화해 온 것처럼 희소성을 활용하도록 제작된 하드웨어는 "엄청난 성능 향상"을 이끌어낼 수 있다. 그는 이것이 특정 워크로드에 특화된 칩의 지속적인 발전을 이끌어낼 것이라며, 이러한 방향을 추구하는 기업으로 에치드(Etched), 프랙틸(Fractile), 올릭스(Olix), 세레브라스(Cerebras) 등을 언급했다.
라오가 칩의 범용화(Commoditization)를 예상하지 않는 이유
특화 칩의 부상이 엔비디아(Nvidia)의 주소가능시장(TAM)을 위협하는지 묻는 질문에 라오는 엔비디아가 실행력을 발휘해 AI의 중요성을 일찍 알아차렸다고 평가했다. 젠슨 황(Jensen Huang) 최고경영자(CEO)가 2014년 GTC에서 그래픽 전문가들의 반발을 사면서도 인공지능에 대해 이야기했던 사실을 그는 상기시켰다. 또한 하이스케일러(hyperscaler)들의 커스텀 실리콘(자체 칩) 개발이 범용화의 증거라고 보지 않는다고 밝혔다. 그의 논거는 세상이 적대적이기 때문에 지능에 대한 수요는 사실상 무한하며, 에너지가 지능으로 변환되어야 하고, 칩·시스템·클라우드·네트워크를 의미하는 하드웨어가 바로 그 변환 메커니즘이라는 것이다. "이 과정을 더 잘 해낼수록, 더 많은 가치가 내게 쌓인다."
반면 범용화가 어디서 진행되고 있는지에 대해서는 더 솔직하게 진단했다. 에너지는 이미 범용재(commodity)가 되었다. 지능의 일부 영역도 그 뒤를 따르고 있는데, 중국산을 포함해 출시된 지 6개월이 지난 오픈소스 모델들이 "여전히 꽤 쓸만하며" 프론티어 모델의 성능이 그 시차 안에 오픈소스 모델 수준으로 수렴하기 때문이다. 그는 이를 토마토에 비유했다. 범용화되었지만 여전히 거대한 시장이며 마진이 하락하는 품목이라는 설명이다. 그는 오늘날 엔비디아가 전체 스택에서 가장 큰 몫의 마진을 가져가고 있으며, 모델 개발 기업들이 그 마진을 차지할 것으로 보지 않는다고 말했다.
파이어웍스(Fireworks)나 베이스텐(Baseten) 같은 추론(inference) 제공업체들의 경우, 오픈 모델을 하드웨어에 매핑하는 구조이고 모델 자체가 범용재이기 때문에 토큰당 가격은 하락하고 마진은 압축될 것으로 내다봤다. 그의 결론은 명확했다. "향후 10년 동안 하드웨어가 가장 확실한 기회처라고 생각한다."
시장 규모, 오픈소스 대 폐쇄형, 그리고 라오가 과대평가되었다고 보는 것
라오는 추론 시장이 10년 내에 10조 달러 규모에 도달하고, AI 모델 자체만으로도 몇 년 안에 1조 달러 시장이 될 것이라고 전망했다. 그는 제번스 역설(Jevons paradox)을 언급하며, 토큰 전달의 효율성이 10배 향상되면 응용 프로그램의 기반이 확장되면서 시장 전체가 대략 10배 커진다고 설명했다. 로보틱스 분야로 시각을 넓히면, 물리적 세상은 아직 지능의 손길이 닿지 않았기 때문에 코딩 시장보다 "100배 더 커질 것"이라고 내다봤다. 오늘날의 산업용 로봇은 지능적이라기보다 기계적인 반복 작업에 불과하다는 지적이다. 그는 2~3년 내에 작동 가능한 프로토타입이 나오고 5~7년 내에 실제 시장이 형성될 것으로 예상했다. 자신은 애플리케이션보다는 기술 스택에 투자하고 있으며, 결국 모델 개발사들이 엔드투엔드(end-to-end) 기기를 판매하게 될 것으로 본다고 밝혔다. 그러면서 피지컬 인텔리전스(Physical Intelligence)처럼 "작업을 모터 출력으로 변환하는 과정"을 해결하는 기업들에 더 큰 관심을 가지고 있다고 덧붙였다.
토큰 구성 비율에 대해서는, 3년 이내에 전체 토큰 트래픽의 80%가 오픈 모델을 통해 흐르게 되겠지만 지출 규모는 대략 50대 50으로 나뉠 것이라고 전망했다. 그는 스마트폰에 비유를 들었다. 애플이 전체 판매량의 약 20%를 차지하면서도 마진의 80%를 가져가는 것처럼, 프론티어 모델은 소수의 중요한 문제를 해결하기 위해 프리미엄 가격을 유지하고 일상적인 작업은 오픈 모델이 담당하게 될 것이라는 분석이다.
그는 두 가지 범주에 대해서는 부정적인 의견을 피력했다. 스타트업들이 자동화하려고 시도하는 "인간이 수행하는 표준적인 업무"인 고객 지원 자동화는 "지금 투자하기 가장 나쁜 분야"라고 일축했다. 또한 에이전틱 코딩 도구(agentic coding tools) 역시 단독 시장으로서는 "꽤 과대평가되어 있다"고 평가했다. 가치는 모델 제공업체에 쌓이며, 하네스(harness)나 IDE(통합개발환경)는 전환 비용이 낮아 끈끈한 고객 유지력이 없다는 주장이다. "사람들은 이런 도구들 사이를 꽤 유연하게 이동한다." 커서(Cursor)의 엑시트(투자 회수) 성과는 인정하면서도 결국 중요한 것은 모델 그 자체라고 강조했다.
새로운 병목 현상은 '생성'이 아닌 '검증'이다
라오는 AI 덕분에 아이디어를 탐색하는 비용이 훨씬 저렴해졌다고 말했다. 과거 자신의 연구팀이 2주 동안 매달려야 했던 노이즈 전파(noise-propagation) 관련 질문을 이제는 1시간 만에 해결한다는 것이다. 그러나 그는 결과물의 양이 검증 능력을 압도하는 이른바 "AI 슬롭(AI slop, 저품질 생성물 난무) 문제"가 대두되고 있다고 지적했다. "우리는 문제를 '생산'에서 '검증'으로 옮겨왔습니다." 그는 검증 과정을 장악한다고 해서 생산까지 장악하는 것을 의미하지는 않는다고 경고했다. 사양(specification)과 엔드투엔드 프로세스 역시 중요하기 때문이다.
그는 아직까지 AI 에이전트의 결정이 인간 전문가에게 부여되는 수준의 신뢰를 받을 자격은 없다고 본다. 모델은 확률론적이고, 다양한 작업 전반에 걸쳐 다수의 결과물 중 우수한 것을 선택하는 메커니즘이 아직 충분히 규명되지 않았으며, 긴 결정 체인(chain)은 그럴듯해 보여도 "완전히 틀릴 수" 있기 때문이다. 이러한 상황이 바뀌려면 몇 차례의 기술적 돌파구가 더 필요하며, 결국에는 사람들이 자신보다 자신의 에이전트를 더 신뢰하게 될 것으로 내다봤다.
AI 연구소, 강화학습, 그리고 트랜스포머 이후의 시각
라오는 최근의 성능 향상을 이끈 것은 아키텍처가 아니라 데이터와 학습 커리큘럼(curriculum)이며, 사전 학습(pre-training)에서 강화학습(reinforcement learning) 및 파인튜닝(fine-tuning)으로 이어지는 순서가 바로 "핵심 비법(secret sauce)"이라고 주장했다. 데이터 제공업체들은 범용화되는 대신 더 고품질의 데이터셋을 향해 움직이며 특화되고 있다고 평가했다. 그는 강화학습이 컴퓨팅 단위당 혹은 비용당 효율성이 사전 학습보다 떨어진다는 점을 솔직히 인정했다. 다만 그 가치는 대규모로 수집할 수 없는 작업에서 검증 가능한 보상(verifiable rewards)과 함께 작동한다는 데 있다고 설명했다.
그는 대형 AI 연구소들이 모델 출시를 한 달만 지연해도 "재앙"이 되기 때문에 깊은 아키텍처적 위험을 감수하려 하지 않는다고 진단했다. 인재 영입과 실행력을 통해 빠르게 프론티어 수준에 도달한 xAI의 사례를 들며, 이는 원천 발명보다는 통합(integration)의 성격이 강하다는 증거라고 지적했다. 그는 얀 르쿤(Yann LeCun)이나 페이페이 리(Fei-Fei Li)가 이끄는 기업 같은 스타트업들로부터 더 심도 있는 혁신이 나올 것이며, 제약 산업의 신약 개발 사례처럼 대기업들이 이들을 인수하는 형태로 전개될 것으로 예상했다. 아울러 업계가 다중 궤적(traces)의 샘플링과 비교에 의존하기 때문에 추론을 달성하는 데 비효율적인 방식이라고 평가한 트랜스포머(transformer) 아키텍처를 결국 넘어설 것이라고 전망했다.
소프트웨어, 서비스, 그리고 일자리
투자 환경에 대해 라오는 가장 직설적인 비판을 던졌다. "순수 소프트웨어 투자자라면, 당신은 망한 거나 다름없다(f***ed)." 그는 2010년경부터 마찰 없는 전달(frictionless delivery)을 바탕으로 성장해 온 SaaS 붐은 애플리케이션이 지능 레이어를 중심으로 재편됨에 따라 종말을 고하고 있으며, 20년 뒤에는 소프트웨어가 거대한 시장이 되지 못할 것이라고 주장했다. 그 자리를 대체할 것은 AI와 인간을 결합한 성과 기반(outcome-based) 비즈니스이며, 법률 분야의 하비(Harvey)가 그 첫 번째 사례라고 꼽았다. 기업들이 독점 데이터를 활용해 자체 모델을 구축할 것이라는 주장에 대해서는, 오직 대기업만이 가질 수 있는 규모의 경제가 필요하다는 점에서 "다소 테크노 낙관주의적"이라며 회의적인 입장을 보였다. 기업들이 대부분 자체 모델을 만들지 않을 것이라는 진행자의 지적에도 동의했다.
AI가 개발자 지출을 줄일 것인지 묻는 질문에 라오는 예산은 대략 안정적으로 유지되는 대신 생산량이 늘어날 것으로 내다봤다. 고객들은 버그 수정을 일주일 만에, 나중에는 1시간 만에 요구할 것이며, 여전히 검증을 위해서는 인간이 필요하다는 것이다. 그는 이를 초고층 빌딩 건설 기간을 2년에서 8개월로 단축시킨 로봇에 비유했다. 이 경우 업계는 같은 수의 빌딩을 더 빨리 짓는 대신 두 배 많은 빌딩을 짓게 된다는 논리다.
벤처 투자 리스크의 재정립
라오는 지난 1년간 자신의 투자 철학에서 가장 큰 변화가 일어난 부분은 투자 지표와 관련이 있다고 밝혔다. 시장 검증은 SaaS 시대의 습관일 뿐이며, 컴퓨팅, 로보틱스, 생명공학처럼 수요가 명백한 딥테크(deep-technology) 문제에서는 기술적 과제의 진척도가 중요하다고 강조했다. "시장은 이미 명백하게 존재한다." 이를 두고 규율이 없다며 비판하는 성장 투자자들(growth investors)이 한쪽 진영에 있다면, 언컨설셔널 AI는 정확히 반대편 진영에 서 있다고 덧붙였다. 그러면서 시장 규모가 1조 달러 스케일일 때 "가격은 거의 중요하지 않다"고 잘라 말했다.
만약 무한한 자원이 주어진다면 무엇을 하겠냐는 질문에 그는 자체 제조 인프라를 구축하겠다고 답했다. 원자재에 더 가까이 다가가고 범용 공정을 개조하는 대신 자신의 필요에 맞춘 팹을 설계하겠다는 것이다. 그는 이것이 엘론 머스크(Elon Musk)가 하고 있는 일과 비슷하다고 설명했다. 또한 유럽의 투자자들 기반이 야심 찬 아이디어를 뒷받침하기에는 너무 보수적이라며, 이로 인해 유럽에서는 "아이디어의 범용화"가 발생하고 있다고 지적했다.