Broadcom 대담: 테크 거물들의 Nvidia 탈피와 맞춤형 모듈러 아키텍처 전환으로 커스텀 XPU 매출 1,000억 달러 돌파 전망
2026년 8월 19일 - RAISE 서밋 2026
서론: 범용 AI 연산의 높은 비용
진행자: 네, 좋습니다. 이번이 마지막 세션인가요? 다들 지치신 것 같네요. 조금 더 흥미롭게 진행해 보겠습니다. 파리에 오신 것을 환영합니다. 이곳은 오트 쿠튀르(haute couture, 고급 맞춤복)의 본고장인데, Broadcom은 일종의 반도체 업계의 오트 쿠튀르라고 할 수 있죠.
Charlie Kawwas: 감사합니다. 저도 그렇게 생각합니다.
진행자: AI와 XPU의 부상으로 모두가 자체 XPU를 만들고 싶어 하며, 그 해답을 찾기 위해 Broadcom이라는 오트 쿠튀르 하우스를 찾고 있습니다. 왜 XPU가 전 세계의 모든 하이퍼스케일러와 파운데이션 모델 연구소에 이토록 중요한 요소가 되었는지 논의해 보죠.
Charlie Kawwas: 우선 초대해 주셔서 감사합니다. 오늘 몇 가지 흥미로운 것들을 보여드리겠습니다. 오트 쿠튀르라는 비유는 정말 훌륭하네요. 생각해 본 적은 없지만, 아주 적절한 표현입니다. 결국 이번 AI 물결은 Nvidia가 주도하는 '범용 AI 연산(general AI compute)'에서 시작되었습니다. Nvidia는 거대하고 독점적인 랙 기반 플랫폼을 구축하는 데 탁월한 성과를 냈죠. 하지만 비용의 80% 이상을 지출하는 주체는 프론티어 AI 연구소들입니다. 이들이 하드웨어를 소비하고 그 위에 소프트웨어를 얹는 것이죠. 이들은 범용 연산 플랫폼에 '세금'이 붙어 있다는 사실을 깨달았습니다.
Charlie Kawwas: 그 세금이란 첫째, 연산 플랫폼의 효율성 문제입니다. 범용 플랫폼은 모두를 위해 만들어졌기 때문에, 특정 AI 프론티어 모델에 최적화된 워크로드를 돌릴 때 추가적인 비용을 지불하게 됩니다. 다른 하나는 높은 마진입니다. 수억 달러에서 수십억 달러 규모의 지출을 할 때는 미리 만들어진 랙 형태의 범용 플랫폼을 사용하는 것이 합리적이었습니다. 하지만 이제 지출 규모가 500억, 1,000억, 심지어 1,500억 달러에 달합니다. 미국 상위 4개 기업은 각각 1,500억~2,000억 달러를 투자하고 있죠. 이들에게는 1,000억~1,500억 달러라는 막대한 비용이 토큰 처리 효율성이라는 명목으로 소모되는 셈입니다. 그 결과, 이들은 Nvidia와 같은 빠른 속도(연 1회 출시)로 자체 플랫폼을 구축할 수 있다면 그렇게 하겠다고 결심한 것입니다.
Charlie Kawwas: 우리의 여정은 13년 전 Google의 TPU와 함께 시작되었습니다. 당시 그들의 아이디어는 텍스트 기반 검색을 음성 검색으로 확장하는 것이었고, 이를 위해 TPU가 탄생했습니다. AI가 발전함에 따라 우리는 칩이 점점 더 거대해지고 있다는 것을 깨달았습니다.
쇼 앤 텔: 2025년에서 2028년까지 커스텀 실리콘의 진화
Charlie Kawwas: (실제 반도체 패키지 여러 개를 꺼내 테이블 위에 놓으며) Broadcom의 커스텀 실리콘 설계 과정을 보여드리기 위해 가져왔습니다. 아주 고가의 제품이니 다시 돌려주셔야 합니다. 예를 들어, 이건 작년인 2025년에 출하된 XPU입니다. 잘 보이지 않겠지만, 메모리 기반, 네트워크 기반, 연산 기반 등 여러 칩렛(chiplet)으로 구성되어 있습니다.
Charlie Kawwas: (더 커진 칩을 꺼내 진행자에게 건네며) 이건 올해 2026년에 출하하고 있는 칩입니다. 더 커졌죠. 작년 모델과 올해 모델을 비교해 보세요. 2025년 버전은 메모리 큐브가 2개였지만, 2026년 버전은 6개로 메모리 용량이 3배 늘었고, 중앙의 연산 성능도 거의 3배 강력해졌습니다.
Charlie Kawwas: (2027년 설계를 나타내는 더 크고 복잡한 모듈형 보드를 꺼내며) 내년에는 이 모델을 구축해야 합니다. 메모리 용량이 훨씬 더 커졌죠.
진행자: 메모리가 몇 배나 늘어난 건가요?
Charlie Kawwas: 1배, 3배, 9배입니다. 2년 만에 거의 10배 가까이 늘어난 셈이죠. 연산 블록도 초기 버전은 하나였지만, 여기엔 4개가 들어갑니다. 최신 반도체 기술로 트랜지스터를 미세화하고 더 많은 기능을 집적한 결과입니다. 이것도 한번 들어보시죠.
Charlie Kawwas: (2028년 설계를 나타내는 거대하고 복잡한 다층 시스템 보드를 꺼내며) 이건 2028년형입니다. 2027년형과 비교해 보면, 2028년형은 사실상 플랫폼 전체 크기와 맞먹습니다. 2025년부터 2028년까지의 스케일 변화가 한눈에 보이실 겁니다.
Charlie Kawwas: 이 기술이 얼마나 빠르게 진화하고 있는지, 그리고 얼마나 급격한 혁신이 필요한지 보여드리고 싶었습니다. 이 칩들은 모듈형입니다. 사람들이 우리를 찾는 이유가 바로 이것입니다. 우리는 플랫폼을 미리 설계하고, 칩렛들을 사전에 제작해 생산 준비를 마칩니다. Samsung 같은 파트너들과 협력해 메모리 블록을 만들죠. 메모리 통합이 가격 상승의 한 원인이기도 하지만, 그만큼 많은 기능을 담고 있기 때문입니다. 우리는 이더넷 기반의 I/O 네트워킹 기능을 구현하고 파트너들과 협력합니다. 예전엔 이 정도 규모의 절반 수준이었지만, 이제는 8x2, 즉 16배 규모의 '더블 데커(2층 구조)' 칩을 만듭니다. 칩들을 앞뒤로 맞붙여 2년 전보다 16배의 성능을 단일 칩에서 구현하는 것이죠. 첫 번째 칩은 100만 개를 배포했습니다.
진행자: 이건 칩이라기보다는 거대한 시스템 괴물처럼 보이네요.
Charlie Kawwas: 맞습니다. 사내에서도 '더 비스트(The Beast)'라고 부릅니다. 우리는 가장 큰 4개의 거대언어모델(LLM) 기업을 위해 이런 칩을 만들고 있습니다. 모듈형이기 때문에 오트 쿠튀르처럼 고객이 원하는 형태의 '턱시도'나 '드레스'를 맞춤 제작해 줄 수 있고, 그 과정에서 범용 연산 플랫폼의 세금을 제거할 수 있습니다. 추론 워크로드나 디코드 워크로드에 최적화된 맞춤형 제품을 만드는 것이죠. Nvidia가 매년 훌륭한 기술을 내놓더라도, 고객들이 선택할 수 있는 다른 대안이 바로 우리입니다.
Nvidia의 빠른 주기와 빅파이브(Big Five)의 규모
진행자: Nvidia는 1년 주기로 제품을 출시하고 있습니다. 예전엔 2~3년이었는데, 이제는 매년 가속화되고 있죠. 대부분의 기업은 이 속도를 따라갈 수 없습니다. 오직 당신들만이 이런 모듈형 레고 아키텍처로 대응할 수 있는 것 같군요.
Charlie Kawwas: 정확합니다. 현재 전 세계 자본 지출의 90%를 차지하는 미국 빅파이브(OpenAI, Anthropic, Google Gemini, Meta, xAI)가 시장의 80~90% 이상을 점유하고 있습니다. 이들 중 4곳은 Nvidia 기술이 훌륭하지만, 랙 수준에서만 커스텀이 가능한 범용 플랫폼을 계속 구매할 수는 없다는 점을 깨달았습니다. 그래서 우리에게 와서 "워크로드에 최적화된, 80% 마진이 붙지 않는 플랫폼을 어떻게 만들 수 있을까?"라고 묻습니다. 우리는 레고 블록들이 생산 준비를 마쳤는지 확인하고, 고객이 오면 통합 작업을 수행합니다. 예를 들어, Jalapeno의 경우 사상 가장 빠른 칩을 9개월 만에 완성했습니다.
진행자: 사실상 파운데이션 모델 연구소들이 1년 만에 자체 실리콘을 만들 수 있도록 무기화해 준 셈이군요. 5년 전에는 AI 칩 사업이 제로였는데, 내년에는 1,000억 달러를 넘길 것으로 예상됩니다.
Charlie Kawwas: 1,000억 달러 이상입니다. 1,000억 달러로는 충분하지 않죠. 그보다 훨씬 더 큽니다.
진행자: 5년 만에 1,000억 달러라니 엄청나군요. 이 중 실제 규모를 확장하고 있는 곳은 얼마나 됩니까?
Charlie Kawwas: 2025년 칩은 연간 100만 개, 2026년 칩은 200만 개 수준입니다. 하지만 2026년 칩은 2025년형보다 용량이 3배 크니, 연산 능력은 1년 만에 6배 증가한 셈입니다. 2027년형은 400만~500만 개 규모로, 2025년 대비 9배의 용량을 갖게 됩니다. 2028년의 '더 비스트'는 거기서 또 3배가 커지죠. 이들은 초지능(Superintelligence)과 범용인공지능(AGI)을 향한 경주를 벌이고 있습니다. 이 4~5개 프론티어 연구소들은 GPU, XPU, CPU가 통합된 단일 플랫폼을 가장 먼저 구현하는 기업이 AGI에 도달할 것이라고 믿습니다. 2028년 기술을 통해 우리는 특정 도메인 전문가인 유능한 에이전트들을 보게 될 것입니다. Nvidia 칩도 좋지만, 범용 연산 세금과 마진 세금이 부담스러운 고객들은 우리를 통해 같은 비용으로 2~3배의 연산 성능을 얻어 토큰 가격을 획기적으로 낮추길 원합니다.
진행자: 결국 낮은 세금을 자랑하는 오트 쿠튀르 디자인 하우스라는 말씀이시군요.
Charlie Kawwas: 그렇습니다.
랙 수준의 공동 설계와 개방형 표준
진행자: AI 업계의 화두는 공동 설계(co-design)입니다. OpenAI의 Jalapeno 사례처럼 모델 개발과 칩 아키텍처의 긴밀한 통합이 중요해지고 있는데, 이는 자체 XPU가 있어야만 가능한 것 아닙니까?
Charlie Kawwas: 맞습니다. 오트 쿠튀르 접근법에는 두 가지가 있습니다. 하나는 XPU 수준의 깊은 공동 설계이고, 다른 하나는 랙 수준의 공동 설계입니다. 우리는 네트워킹과 이더넷 역량을 활용해 전체 랙을 개방형으로 설계합니다. 프론트엔드 네트워크를 이더넷 기반으로 시작해, 이제는 Nvidia를 포함한 모두가 개방형으로 가고 있습니다. 다음 전쟁터는 스케일업(scale-up)인데, 이곳에서도 우리의 이더넷 기반 칩렛들이 사용됩니다. 우리는 고객에게 선택권을 줍니다. Broadcom이 최고의 기술을 제공하지 못한다면 고객은 다른 곳을 선택할 수 있죠. 하지만 우리는 2년 전 10억 달러 미만이었던 이 분야에서 3년 만에 1,000억 달러 규모로 성장하며 세대를 거듭해 성공을 거두고 있습니다.
진행자: 인터커넥트 표준의 개방성을 강조하셨는데, 오픈소스 파운데이션 모델을 위한 XPU 개발 시장도 보십니까?
Charlie Kawwas: 네, 그렇습니다. 오늘 논의한 SambaNova가 좋은 예입니다. Rodrigo Liang 팀과 3세대에 걸쳐 공동 개발을 진행했죠. 그들은 XPU로 최첨단 폐쇄형 모델을 돌리면서도, 동시에 Mixtral이나 DeepSeek 같은 오픈소스 모델을 같은 칩에서 구동하는 하이브리드 솔루션을 구현합니다. 굳이 폐쇄형 모델이 필요 없는 경우에는 오픈소스 스택을 사용하여 토큰 비용을 0으로 만들 수 있습니다. 이런 모델은 이미 존재하며, 우리는 몇몇 스타트업들과 이를 증명했습니다.
미래 전망: 전력 수요, 엣지 AI, 그리고 Broadcom의 16개 프랜차이즈
진행자: 향후 몇 년을 어떻게 보십니까? 2028년형 칩은 거대해 보이는데, 어떤 점이 주요 화두가 될까요?
Charlie Kawwas: 그건 2조 달러짜리 질문이군요.
진행자: Jalapeno 외에도 더 많은 것이 있겠죠?
Charlie Kawwas: 네, 더 많은 '매운 맛' 칩과 XPU들이 나올 겁니다. 하지만 제가 보는 핵심은 기가와트 단위의 채울 수 없는 전력 수요입니다. 상위 5개 고객 중 한 곳에 올해 1.5기가와트 규모를 공급했고, 내년에는 5기가와트 이상을 공급하기로 계약했습니다. 3년 뒤에는 매년 10기가와트씩 추가될 것입니다. 총 1기가와트에서 시작해 17기가와트까지 늘어나는 여정이죠.
Charlie Kawwas: 이는 전력, 실리콘 웨이퍼, 메모리 측면에서 엄청난 도전입니다. Broadcom은 16개 프랜차이즈를 운영 중인데, 5개는 AI, 11개는 비(非)AI 분야입니다. AI가 AGI로 진화하는 과정에서 기존 사업들이 생존할 수 있도록 하는 것이 중요합니다. AI는 데이터센터에만 머물지 않고 엣지(edge)로 이동할 것이며, 나머지 사업 부문들이 이 엣지 AI를 가능하게 해야 합니다. 우리는 이 거대한 칩들을 만들기 위해 싱가포르에 자체 공장을 짓고 있습니다. 인터넷이 데이터센터에서 스마트 기기로 확산되었듯, AI도 같은 길을 걸을 것입니다. Broadcom은 실리콘의 오트 쿠튀르 하우스로서 이 모든 영역에서 역할을 할 것입니다.
진행자: 감사합니다, Charlie.
Charlie Kawwas: 감사합니다.