SemiAnalysis: AI의 진정한 100배 성장은 더 빠른 칩이 아닌 '하드웨어-소프트웨어 공동 설계'에서 나온다
Dylan Patel이 모델, 커널, 실리콘의 통합 최적화가 혁신적 성과를 이끄는 이유와 CUDA의 해자가 사실은 CUDA와 무관했던 이유를 설명한다
SemiAnalysis의 설립자 Dylan Patel은 AI 발전의 통념을 뒤집는 도발적인 주장을 펼치고 있다. 인공지능의 가장 큰 도약은 단순히 더 빠른 칩에서 나오는 것이 아니다. 그 핵심은 소프트웨어와 하드웨어를 전체 스택에 걸쳐 공동 설계(co-design)하는 데 있으며, 이를 통해 곳곳에서 얻을 수 있는 2배의 개선 효과를 100배의 비약적인 발전으로 바꿀 수 있다는 것이다. Sequoia Capital의 파트너인 Shaun Maguire, Sonya Huang과의 폭넓은 대담에서 Patel은 DeepSeek의 전문가 레이어(expert layers)가 왜 Nvidia의 Hopper 아키텍처에 맞춰 최적화되었는지, 왜 Google의 TPU가 특정 모델을 효율적으로 실행하는 데 어려움을 겪는지, 그리고 소위 'CUDA 해자(moat)'가 사실은 CUDA와 전혀 상관이 없었는지에 대해 상세히 설명했다.
하드웨어-소프트웨어 공동 설계가 기하급수적 성장을 견인한다
Patel은 지난 3년간 AI 효율성 향상이 주로 하드웨어 개선과 일부 알고리즘 발전에서 비롯되었다는 견해에 근본적으로 반대한다. 그의 연구 결과는 전혀 다른 양상을 보여준다. DeepSeek의 가장 최적화된 배포 사례를 보면, 지난 3년간 Hopper에서 Blackwell로 넘어가며 약 30배의 성능 향상이 있었다. 그러나 동일 품질 기준 전력 대비 지능(intelligence per watt)은 60배 가까이 개선되었으며, 일부 측정치에서는 비용이 그만큼 감소한 것으로 나타났다. 이러한 격차는 단일 개선이 아닌, 모든 계층에 걸친 공동 최적화(co-optimization)에서 비롯된다.
Patel은 DeepSeek V3의 모든 전문가 레이어 형태가 Hopper 아키텍처에 맞춰 구체적으로 최적화되었다고 설명했다. V4의 경우 Blackwell과 Huawei 칩에 맞춰 최적화가 진행 중이다. 이는 흥미로운 역학 관계를 만든다. Google의 TPU는 DeepMind 전체를 구동하고 Anthropic의 사전 학습을 처리할 만큼 객관적으로 뛰어난 칩임에도 불구하고, DeepSeek 모델을 실행할 때는 성능이 저조하다. 모델 자체가 해당 하드웨어를 염두에 두고 설계되지 않았기 때문이다. 반대로, 다른 모델들은 TPU에서 매우 잘 작동하지만 Nvidia GPU에서는 고전하기도 한다.
최적화의 수준은 일반적인 관측보다 훨씬 깊다. Patel은 전문가 형태, 네트워크 입출력 패턴, 집합 연산(collectives) 처리 방식, 어텐션 메커니즘의 산술적 강도 등을 고려해야 한다고 지적했다. 모델, 하드웨어, 그리고 그 사이의 인프라 소프트웨어까지 모든 것이 공동 최적화된다. 실질적인 돌파구는 이 세 계층을 동시에 최적화할 때 발생하기 때문에, 어디서 성과가 나오는지 분리해서 파악하는 것은 거의 불가능하다.
하드웨어 선택에 따라 갈라지는 모델 아키텍처
Patel의 분석에 따르면 OpenAI와 Anthropic은 확연히 다른 모델 아키텍처로 수렴하고 있다. OpenAI의 모델은 훨씬 더 희소(sparse)하며, 이는 특정 이점을 가져와 하드웨어 최적화 방향을 다르게 만든다. Anthropic의 모델은 여전히 희소하지만 전반적으로 더 조밀(dense)하여 서로 다른 트레이드오프를 생성한다. 이러한 아키텍처 선택은 하드웨어와 분리되어 이루어지지 않는다. 네트워크 토폴로지도 매우 중요하다. Nvidia의 모든 칩은 NVLink 스위치로 연결되는데, 이는 72개의 GPU까지만 연결할 수 있다. 반면 Google의 인터커넥트는 스위치가 없지만 다른 칩을 거치는 방식으로 8,000개의 칩을 초고대역폭으로 연결할 수 있다. 이러한 근본적인 인프라 차이가 각 플랫폼에서 어떤 모델 아키텍처가 가장 잘 작동하는지를 결정한다.
이는 어떤 연구소가 어떤 하드웨어를 선호할지에 대한 결과로 이어진다. Patel은 OpenAI 모델의 발전 방향을 고려할 때 TPU가 그들에게는 최악의 선택지가 될 수 있다고 시사했다. 반면, Anthropic과 Google 모델의 방향성은 GPU를 학습용으로 부적합하게 만들 수도 있다. 그는 이것이 특정 아키텍처가 객관적으로 더 낫다는 문제가 아니라고 강조했다. 결국 공동 설계의 문제다. 최적화가 모델 계층까지 확장되는 상황에서 하드웨어를 분리하여 측정할 수는 없다.
CUDA 해자는 사실 '생태계 해자'다
Patel의 관점에서 Nvidia의 CUDA 해자에 대한 담론은 오해를 받고 있다. 이 해자는 본래 CUDA 자체에 관한 것이 아니었다. 대신 일어난 일은 다운스트림 제품들이 Nvidia 하드웨어에 더 최적화된 것이다. DeepSeek, Qwen, Alibaba, Tencent, Xiaomi 모두 GPU에 맞춰 공동 설계된 모델들을 출시했다. 사용자들이 이 모델들을 TPU에서 실행하려 하면 성능이 잘 나오지 않는 경우가 많다. Google이 TPU 배포를 위해 유사한 네트워크 효과를 구축하려면 Gemma 모델로 시작한 것처럼 자체적인 오픈소스 모델 생태계를 만들어야 한다.
전통적인 CUDA 해자 논리는 프로그래밍 가능성과 호환성이 필요한 수만 명의 고객을 가정했다. 그러나 그 전제는 빠르게 변하고 있다. 수천 개가 아닌, 수십 개의 주요 모델 기업만이 존재할 뿐이다. 이 연구소들은 서로 다른 칩을 위해 커스텀 커널을 작성할 의지가 있다. Anthropic은 학습에 TPU를, 추론에는 Trainium과 GPU를 광범위하게 사용한다. Claude와 같은 모델 기업과 최신 코드 생성 모델들은 최적화 작업에 매우 능숙해져 소프트웨어 스택의 상당 부분을 범용화했다. 실질적인 락인(lock-in) 효과는 만약 당신이 추론 API 제공업체나 비즈니스 용도로 오픈 모델을 커스터마이징하려는 강화 학습 기업이라면, 이미 Nvidia를 주로 사용하는 생태계의 하류에 위치하게 된다는 사실에서 온다. 전문가 차원과 히든 차원이 GPU에 맞춰 구조화되어 있으므로, 개인적으로 CUDA 커널 작성에 관심이 없더라도 효율적인 실행을 위해서는 GPU가 필요하다.
InferenceX, 연간 60배의 비용 개선 추적
SemiAnalysis는 매일 5,000만 달러 이상의 기부받은 하드웨어에서 최신 모델을 실행하는 실시간 벤치마크인 InferenceX를 출시했다. 이 이니셔티브는 Patel이 CoreWeave, Crusoe, Nebius, Oracle, Microsoft, Amazon, Google, OpenAI로부터 기여를 이끌어낼 만큼 생태계 내에서 충분한 신뢰를 쌓았기에 가능했다. 이 벤치마크는 SG Lang, vLLM, 그리고 오픈소스 추론 최적화를 주도하는 Radix Arc 및 Infract와 협력한다. TPU와 Trainium이 추가되면 총 기부 하드웨어 가치는 1억 달러를 넘어설 전망이다.
이 벤치마크는 매일 Moonshot, Alibaba, DeepSeek, Qwen과 같은 중국 연구소의 최고 모델들과 미국의 상위 오픈소스 모델들을 포함해 약 15종의 칩 유형에서 실행된다. 시스템은 다양한 구성과 최적화 유형을 훑은 뒤 모든 결과와 구성을 공개한다. 이는 사람들이 자신의 하드웨어를 더 좋아 보이게 하려고 최적화되지 않은 구성과 비교하는 추론 벤치마크의 고질적인 문제를 해결하며 파레토 최적 곡선을 만들어낸다. 최적의 배포를 원하는 사람은 누구나 InferenceX에서 오픈소스 컨테이너를 다운로드하여 해당 구성을 실행하거나, 각 모델에 가장 적합한 최적점을 자동 다운로드할 수 있다.
Patel은 InferenceX가 측정하는 처리량 대 상호작용성(throughput versus interactivity) 곡선이 업계에서 가장 중요한 지표가 되었다고 주장했다. 작업 부하에 따라 이 곡선상의 위치가 달라진다. 일부 애플리케이션은 배치 크기가 작고 추측적 디코딩(speculative decoding)과 같은 기술이 중요한 개인 사용자용 초저지연 응답이 필요하다. 반면, 밤새 많은 문서를 처리하는 작업 부하는 속도보다 토큰당 비용이 훨씬 중요하다. 인프라는 현재 AI를 일률적으로 대하고 있지만, 시간이 지남에 따라 시장은 이 곡선을 따라 세분화될 것이다. Anthropic의 Claude fast 모드는 일반 모드보다 비용이 상당히 높다. OpenAI는 우선순위 큐를 운영한다. 데이터에 따르면 동일 품질 대비 모델 비용은 소프트웨어 최적화, 하드웨어 개선, 그리고 이들의 공동 설계 덕분에 연간 약 60배씩 하락하고 있다.
메모리 대역폭과 전력 밀도가 핵심 병목 현상
스택 전반에서 추적하는 가장 큰 병목 현상이 무엇이냐는 질문에 Patel은 메모리 용량과 대역폭을 꼽았다. NAND 셀은 약 25년 전, DRAM 셀은 약 40년 전에 발명되었다. 그 기간 동안 근본적인 셀 구조에 큰 혁신은 없었다. 발전은 HBM을 더 많이 쌓고 더 빠르게 작동시키는 방식으로 이루어졌지만, HBM을 칩과 별도로 쌓는 대신 메모리를 칩 위에 직접 쌓는 새로운 혁신이 다가오고 있다. 이는 대역폭을 폭발적으로 증가시키며, 여러 기업이 이 방식을 연구 중이다.
전력 밀도 또한 중요한 제약 조건이다. 지난 20년간 데이터 센터 및 데스크톱 칩은 실리콘 제곱밀리미터당 약 1와트에서 정점을 찍었다. 100제곱밀리미터 칩의 전력 소비는 일반적으로 100와트 내외다. 최신 Nvidia 실리콘과 최신 TPU 실리콘도 여전히 이 1와트/제곱밀리미터 범위에 속한다. 칩은 현재 1,400와트에 도달했으며, 차세대 Nvidia Rubin은 2,000와트, Rubin Ultra는 4,000와트에 이를 것으로 예상된다. 하지만 이러한 증가는 전력 밀도를 높이는 것이 아니라 실리콘 면적을 추가함으로써 발생한다.
흥미로운 발전은 실리콘에 제곱밀리미터당 1와트보다 훨씬 많은 전력을 공급하려는 연구가 진행 중이라는 점이다. 이는 더 높은 전력으로 작동하더라도 동일한 연산을 수행하는 데 필요한 실리콘 면적을 줄일 수 있음을 의미한다. 물론 이는 열 문제와 전기적 간섭 문제를 야기하며, 업계가 오랫동안 1와트/제곱밀리미터 수준에 머물러 있었던 이유이기도 하다. 그러나 이 제약을 해결하면 상당한 성과를 거둘 수 있을 것이다.
모델이 공급보다 빠르게 TAM을 확장함에 따라 연산 부족은 지속될 것
매 분기 이전보다 훨씬 많은 연산 자원이 배포되고 더 많은 데이터 센터가 건설된다. 올해는 지연을 고려해도 20기가와트가 배포될 것이며, 내년에는 30기가와트를 넘어설 것이다. 그러나 Patel은 당분간 연산 부족 사태가 지속될 것으로 예상한다. 이유는 유용한 AI 작업에 대한 총 주소 지정 가능 시장(TAM)이 연산 용량 증가보다 빠르게 확장되는 근본적인 역학 관계 때문이다.
그는 Mythos 5나 Fable 같은 모델의 TAM은 Opus의 2배 수준이 아니라고 설명했다. 모델이 훨씬 뛰어나고 더 많은 작업을 처리할 수 있기 때문에 TAM은 2배 이상 성장했다. 그러나 Opus 4.5 출시와 Fable 및 Mythos 등장 사이의 6~8개월 동안 전 세계 연산 자원이 2배로 늘어난 것은 아니다. 모델의 기능은 연산 규모 확장보다 빠르게 개선되고 있다. Anthropic의 Opus 4.8 토큰 마진은 API 가격 기준으로 80%를 상회한다. 마진이 이렇게 높으면 Anthropic은 확보하는 모든 GPU에 대해 시장 가격보다 높은 비용을 지불할 재무적 능력이 있다. 강력한 단위 경제성을 가진 다른 선도 연구소들도 같은 논리가 적용된다.
문제는 모델 발전이 정체될 경우다. Patel이 Anthropic과 OpenAI 엔지니어들과 나눈 대화에 따르면, 그들은 모델 자체가 인프라 구축과 코드 최적화를 도와 차세대 모델을 더 빨리 출시하게 함으로써 발전 속도가 유지되거나 오히려 가속화될 것이라고 확신하고 있다. 이는 일종의 의사 재귀적 자기 개선 루프를 만든다. 이 평가가 맞다면 연산 부족은 지속된다. 모델 기능이 정체된다면 공급이 수요를 따라잡으며 상황이 반전될 수 있다.
하이퍼스케일러의 전문성이 AI 작업 부하로 이전되지 않아 '네오클라우드'가 등장했다
CoreWeave나 Crusoe 같은 네오클라우드(neocloud)의 등장은 규모와 인프라 면에서 하이퍼스케일러의 이점을 고려할 때 놀라울 수 있다. Patel은 2023년 Amazon을 당혹게 한 'Amazon Cloud Crisis'라는 보고서를 통해 Amazon이 왜 전통적인 작업 부하에는 최고의 클라우드 제공업체였는지 설명했다. 그들의 Nitro NIC은 하이퍼바이저를 NIC에서 실행하고 모든 코어를 고객에게 판매하여 테넌트 격리를 제공했다. 그들은 원자재 NAND를 구매해 스토리지 비용을 낮추는 커스텀 SSD를 만들었고, 커스텀 Graviton CPU로 코어당 비용을 낮췄다. 이러한 혁신은 전통적인 CPU 기반 클라우드 환경에서 완벽하게 작동했다.
그러나 AI 클라우드에서 이러한 전문성 중 상당수는 무의미하거나 오히려 해가 되었다. Nitro NIC은 성능을 저해했으며, 반복적인 개선에도 불구하고 오늘날 여전히 성능이 떨어진다. 다중 테넌트 타임슬라이싱을 위해 설계된 보안 기능은 고객이 단일 GPU를 몇 시간 빌리는 대신 72개의 GPU 랙 전체를 장기 계약으로 빌릴 때는 중요하지 않다. Google과 Amazon의 전통적인 작업 부하에 최적화된 커스텀 네트워크는 오히려 AI 성능을 저해했다. Microsoft는 자체 데이터 센터 구축으로 비용을 절감하려 했으나, 데이터 센터 팀이 급격히 늘어나는 예측치를 감당하지 못해 결국 네오클라우드 용량을 임대해야 했다.
성능 이점과 시장 출시 속도가 네오클라우드 기회의 상당 부분을 설명한다. 이 회사들을 건설하는 사람들은 연산 자원을 더 빨리 제공함으로써 부를 축적하는 고레버리지 지분 소유자들이다. 그들은 비트코인 채굴과 같은 배경을 통해 변동성이 큰 시장에서 운영하는 법을 배웠다. 반면 거대한 하이퍼스케일러 조직은 데이터 센터를 6개월 빨리 짓는다고 해서 개인에게 부를 창출해 줄 유인이 없다. Nvidia의 CEO Jensen Huang은 다극화된 세계를 간절히 원하기 때문에 네오클라우드 생태계를 적극적으로 지원한다. 하이퍼스케일러만 연산을 구축하고 OpenAI, Anthropic, Google만 선도 모델을 가진 세상은 Nvidia의 영향력을 크게 감소시킬 것이다. 5년 후 Crusoe와 CoreWeave가 존재한다는 것은 Google의 TPU와 Amazon의 Trainium이 약화되어 GPU 시장 점유율이 유지됨을 의미한다.
운영 정교함에 따라 극명하게 갈리는 데이터 센터 활용도
모든 기가와트가 동일하게 생성되는 것은 아니다. Trainium은 Anthropic과 OpenAI에 기가와트당 100억 달러 미만의 임대료로 판매된다. 최근 연산 부족 사태 이전, GPU는 네오클라우드와 Amazon에서 기가와트당 120억~130억 달러에 거래되었다. Google과의 SpaceX 계약은 연간 기가와트당 약 250억 달러에 달하는 엄청난 프리미엄을 기록한 것으로 알려졌다. 데이터 센터 코로케이션 가격은 월 킬로와트당 60달러였으나 현재는 120~160달러 수준이며, 신용도가 낮은 고객이 프리미엄 시설을 이용할 경우 200달러까지 치솟기도 하고, 전력망 안정성이 낮은 인도에서는 80달러까지 떨어지기도 한다.
운영의 정교함은 엄청난 가치 차이를 만든다. Google은 작업 부하를 깊이 이해하고 전력을 유연하게 배분할 수 있기 때문에 1기가와트 데이터 센터에 1.5기가와트의 하드웨어를 배치한다. 하드웨어가 60~70%의 전력 소비로 작동하는 대신, 1기가와트를 상시 풀가동한다. 일부 운영자는 전력망이 연중 3일을 제외하고는 2기가와트를 공급할 수 있는 곳에서 유틸리티 업체와 계약을 맺는다. 그들은 2기가와트 용량을 배치하고 백업 발전기와 배터리를 사용하여 피크 제약 일을 처리한다. 이는 작업 부하, 백업 전력, 현장 발전 역량에 대한 최고의 관리를 요구한다. 이러한 전략을 실행하는 기업은 동일한 전력망 연결에서 두 배의 기가와트를 판매하거나, 다른 이들이 구축할 수 없는 위치에서 용량을 판매할 수 있다.
현재 수익화 모델을 기준으로 보면 Anthropic에 제공된 1기가와트가 OpenAI에 제공된 1기가와트보다 객관적으로 더 많은 수익을 창출한다. 물론 두 회사 모두 현재의 속도 제한과 토큰 최대치를 고려할 때 보유한 모든 기가와트를 판매할 수 있다. CoreWeave는 성능 및 신뢰성에 대한 InferenceX 테스트를 기준으로 Amazon, Google, Microsoft보다 객관적으로 더 나은 GPU 연산 성능을 제공한다. 하지만 CoreWeave는 용량이 온라인 상태가 되기 6개월 전에 판매해야 하며, 그 계약을 통해 이미 발행된 구매 주문에 대한 부채 금융을 확보해야 한다. 반면 SpaceX는 고객에게 용량이 지금 바로 가동 중이며 즉시 구매할 수 있다고 말하며, 재고를 감당할 수 있는 대차대조표 강점 덕분에 프리미엄 가격을 받는다.
우주 데이터 센터, 5년 내 중요성 낮을 것
10~15년 내에 추론 연산의 몇 퍼센트가 우주에서 이루어질 것인지 묻는 질문에 Patel은 일부 과장된 기대와는 다른 미묘한 견해를 내놓았다. 그는 우주 데이터 센터가 향후 3~5년 내에 크게 중요해질 것이라고 생각하지 않는다. 실제 요인은 지상에 전력을 구축하는 비용과 지상에서 얼마나 많은 전력을 배포할 수 있느냐에 달려 있다. 그러나 2040년까지는 연산의 대다수가 우주에서 운영될 것으로 예상한다. 2030년이면 OpenAI와 Anthropic만 합쳐도 100기가와트 이상을 사용할 것이다. Meta, Google 및 기타 플레이어를 더하면 추론 전용으로 엄청난 규모의 배포가 이루어질 것이다. 2040년에는 업계가 테라와트 규모로 운영될 것이다.
AI 생산성 향상 곡선은 추론 배포를 석유보다 훨씬 큰 세계 최대 시장 중 하나로 만들 것이다. 그 전망이 맞다면 지상 전력 제약은 결국 우주로의 이주를 강제할 것이다. 하지만 2030년에는 추가 연산의 1% 미만이 궤도 시설로 갈 것으로 예상한다. 우주가 주요 배포 환경이 되려면 기술과 경제성이 10년 더 성숙해야 한다.