세미분석 "구글 TPUv7, 비용 면에서 엔비디아 블랙웰 압도하거나 맞먹는 에이전틱 추론 결과 내놓아… 엔비디아의 반격 촉발"

세미분석, 11월 5일 자로 4개 모델에 대한 최초의 롱컨텍스트 멀티턴 AgentX 벤치마크 공개

세미분석(SemiAnalysis)은 젠슨 황 엔비디아 CEO가 드와르케시 포드캐스트(Dwarkesh Podcast)에서 다른 칩 벤더들이 InferenceX 벤치마크 결과를 제시하지 못하고 있다고 지적한 것에 대해 구글이 도전장을 내밀었다고 밝혔다. 세미분석은 TPUv7(코드명 아이언우드·Ironwood)을 대상으로 한 최초의 공식 롱컨텍스트, 멀티턴, 실무형 에이전틱 추론(agentic inference) 결과를 4개 모델에 걸쳐 발표했다. 이번 결과에 따르면 TPUv7은 외부 고객 기준 달러당 성능 면에서 경쟁력을 갖췄거나 일부 구성에서는 가장 우수한 성적을 거둔 것으로 나타났다. 세미분석은 이를 TPU 생태계의 '소프트웨어적 측면'이라고 평가했다. 엔비디아의 경제적 해자(moat)는 그동안 실리콘 하드웨어 못지않게 개발자 생태계에 기반을 두고 있었다.

Qwen3.5 결과로 엔비디아의 추가 제출 이끌어내

가장 파급력이 큰 결과는 구글의 첫 AgentX 제출 건으로, 2주 전에 이뤄진 vLLM 기반의 Qwen3.5 397B 모델 테스트다. 세미분석에 따르면 FP8로 구동되는 TPUv7은 일반적으로 처리량에서 큰 우위를 갖는 저정밀 포맷인 FP4 기반의 GB300 NVL72 대비 달러당 성능이 1.67배 더 높았다. llm-d 분산 서빙(disaggregated serving)을 적용할 경우, TPUv7 FP8은 모든 상호작용 수준에서 GB300 FP8을 앞섰으며, 고처리량 영역에서는 2배 이상 뛰어난 성능을 기록했다. 또한 초고속 영역에서는 사용자당 초당 1,000토큰(tok/s/user)을 넘어섰다.

세미분석은 엔비디아가 이에 공세적으로 대응했다고 전했다. 엔비디아는 "미국과 본토 중국 전역에 걸쳐 인간 엔지니어와 에이전트 스웜(agent swarm)으로 구성된 태스크포스를 꾸려 현지 시간 새벽 2시까지 야근과 주말 근무를 불사하며 '997' 체제로 매달렸다"고 밝혔다. 엔비디아의 첫 GB300 FP4 대응 제출안은 디코드 성능 면에서 TPUv7 FP8을 실제로 앞서고 있다. 보고서에 따르면 이 결과는 프리필(prefill) 성능을 희생하면서 디코드 성능에 과도하게 최적화된 결과물로, 엔드투엔드(end-to-end) 결과에는 악영향을 미쳤다. 엔드투엔드 기준으로 볼 때 TPUv7 FP8이 여전히 우위에 있으며, 대응 제출안은 대부분의 구간에서 TPUv7 FP8에 비해 달러당 성능이 1.64배 떨어진다. 세미분석은 엔비디아가 충분한 최적화를 거치면 GB300 FP4로 TPUv7 FP8에 비해 소폭의 우위를 되찾을 수는 있겠으나, 특정 모델의 FP8 대 FP8 비교에서는 엔비디아가 우위를 탈환하기 어려울 것으로 내다보고 있다.

엔비디아는 Qwen3.5가 자사와 무관하다고 주장할 수 있지만, 세미분석은 자사 제출 분석 데이터를 근거로 이를 반박했다. 엔비디아는 특정 SKU(재고관리코드) 모델에 대해 전체 GPU 스윕(sweep) 시간의 20% 이상을 할당했으며, 최고 수준의 추론 엔지니어 다수를 투입했다. 세미분석은 또한 일부 하이퍼스케일러와 AI 연구소들이 Qwen3.5 397B 및 그 아키텍처의 수조 파라미터 파생 모델을 하드웨어 구매 및 용량 계획을 위한 프록시(대리) 모델로 활용하고 있다고 덧붙였다.

GLM-5.2와 Kimi K3: FP8에서는 가장 저렴하지만, FP4 GPU의 우위는 여전

활성 파라미터가 약 390억 개인 7,440억 파라미터 규모의 혼합 전문가(MoE) 모델 GLM-5.2에서 TPUv7은 가장 저렴한 FP8 옵션으로 꼽혔다. 사용자당 초당 60~300토큰 구간에서 B200, B300, MI355X 대비 1.2~2.7배의 달러당 토큰 성능을 제공하며, 사용자당 초당 150토큰 구간에서는 H200 대비 4.4배에 달한다. 다만 보고서는 이 주장의 한계도 직시했다. 대부분의 속도 영역에서 엔비디아의 FP4 GPU가 여전히 비용 우위를 유지하고 있다는 것이다. 사용자당 초당 100토큰 구동 시 GB300 및 GB200 FP4는 TPUv7 대비 3.6배와 3.5배의 달러당 토큰 성능을 낸다. TPUv7은 네이티브 FP4를 지원하지 않으며, 세미분석은 이 같은 상황이 2027년 1분기 TPUv8 이전에는 바뀌지 않을 것으로 보고 있다. GLM-5.3 모델이 블록 스케일(block-scaled) FP4에 맞춰 네이티브 양자화 인지 학습을 거치지 않았기 때문에 해당 모델에서 FP4는 약간의 정확도 저하를 동반하며, 이는 엔비디아의 우위를 완화하되 완전히 지우지는 못하는 수준이다.

vLLM 개발사인 인페랙트(Inferact)와 함께 MXFP4 가중치를 적용해 제출된 Kimi K3 결과는 경쟁 구도가 얼마나 빠르게 변하는지 보여준다. 10월 17일 출시 시점에서 TPUv7은 사용자당 초당 50~200토큰 구간에서 GB300 달러당 토큰 성능의 0.77배에서 0.91배를 기록했다. 단일 사용자 기준으로는 391토큰을 기록해 GB300(251토큰)보다 1.6배 빨랐다. 구글의 내부 원가 기준으로 환산할 경우 사용자당 초당 100토큰 및 200토큰 구간에서 GB300을 앞질렀다. 이후 엔비디아가 4차례에 걸쳐 소프트웨어를 리프레시하면서 현재는 GB300 FP4가 1.5배~2.6배 앞서고 있다. 그럼에도 TPUv7은 여전히 GB200, B200, B300, MI355X 대비 1.15배~2.5배의 달러당 토큰 성능을 제공한다. 프리뷰 단계인 루빈(Rubin) VR200 제출안은 TPUv7 대비 4.3배~5.6배, 일부 비교에서는 최대 6배에 달하는 성능을 보여주고 있다. 세미분석은 루빈이 곧 벤치마킹할 예정인 TPUv8i와 비교되어야 하므로 이는 공정하지 않은 매치업이라고 평가했다. 아울러 루빈 수치는 아직 독자적으로 검증되지 않은 프리뷰 제출안에 불과하다는 점을 강조했다.

메타의 Muse Spark Open, GPU 맞춤형 모델에서 TPU 경쟁력 입증

기술적으로 가장 흥미로운 결과는 SGLang의 수석 메인테이너인 라딕스아크(RadixArk)가 SGLang과 TorchTPU를 이용해 구동하고 제출한 8,160억 파라미터 모델인 메타의 'Muse Spark Open'일 수 있다. 세미분석은 메타가 이미 이 스택을 통해 생산 공정에 TPUv7을 배치하고 있다고 전했다. 프로덕션 추론에는 SGLang을, 강화학습 롤아웃에는 vLLM을 사용하고 있다는 설명이다.

해당 모델은 GPU를 염두에 두고 설계되었다. 64의 헤드 차원(head dimension)으로 인해 롱컨텍스트 어텐션(attention) 시 TPU 시스톨릭 어레이(systolic array)의 25%가 패딩(padding) 처리된다. GPU 매트릭스 코어는 더 작은 타일을 처리하므로 H100이나 B200에서 헤드 차원을 128 대신 64로 설정하는 데 따른 비용은 거의 없는 반면 어텐션 레이어 비용은 낮아진다. 세미분석은 앤트로픽, 구글 딥마인드, 그리고 곧 합류할 오픈AI 등 대규모 TPU 함대를 보유한 연구소들이 어텐션 형태가 하드웨어에 최적화되도록 모델을 공동 설계하는 경향이 있다고 설명했다. 메타의 TPU 구매 원가 기준을 적용하더라도 TPUv7은 여전히 경쟁력 있는 달러당 디코드 성능을 기록했다. 다만 엔드투엔드 지연 시간(latency)은 아직 경쟁력 있는 수준이 아니며, 프리필 커널의 추가 최적화가 필요하다고 보고서는 지적했다.

성능 향상의 원동력

세미분석은 이러한 진전의 상당 부분이 구글과 오픈소스 메인테이너들의 소프트웨어 작업 덕분이라고 분석했다. 디코드 메가커널(megakernel)은 전체 디코드 단계를 단일 커널 안에서 실행하고 현재 레이어가 연산되는 동안 다음 레이어의 가중치를 미리 불러온다(prefetch). 이로 인해 기존 단계에서 수백에서 수문에 달하는 커널 호출 사이에 발생하던 유휴 공백이 제거된다. AMD는 자체적인 버전을 통해 GLM-5.2 디코드 단계의 커널 호출 횟수를 약 2,459회에서 210회로 줄였으며, 배치 1(batch 1) 기준 2.31배 빠른 속도를 기록했다고 보고했다.

Qwen3.5 스택과 관련해 구글은 KV 캐시와 선형 어텐션 상태를 호스트 DRAM으로 스필(spill)하는 프레임워크인 'TPU Sync'도 오픈소스화했다. 구글에 따르면, 각 턴을 접두사(prefix)를 보유한 호스트로 전달하는 llm-d 내 캐시 인식 라우팅(cache-aware routing)을 통해 디코드 캐시 적중률이 56%에서 76%로 상승했다. GLM-5.3의 경우 디코드 컨텍스트 병렬화, 선택된 2,048개의 캐시 항목을 수집하기 위한 TPUv7 스파스코어(SparseCore) 활용, 낭비되는 바이트를 줄이는 재패키징된 인덱서 레이아웃, 그리고 추가적인 소배치(small-batch) 커널 형태 등이 최적화에 포함됐다. 분산 아키텍처 도입에 따른 비용도 존재한다. 가장 빠른 지점에서의 p90 첫 토큰 도달 시간(time to first token)은 GB300 FP4의 11.1초 대비 8.6초를 기록했다. 턴 기반 라우팅은 FP8과 FP4 모두에서 GB300 SGLang보다는 훨씬 앞서 있지만, 엔드투엔드 관점에서는 여전히 TPU가 GB300 TRT-LLM FP4에 미치지 못하고 있다.

엔비디아의 관료주의 문제

세미분석은 보고서의 상당 부분을 엔비디아의 기업 문화를 비판하는 데 할애하며 관료주의를 "젠슨 황이 해결해야 할 엔비디아 해자에 대한 가장 큰 리스크 중 하나"라고 규정했다. 오픈소스 메인테이너들과 고객들에 따르면, PyTorch CUDA 그래프 캡처에 필요한 간단한 드라이버 기능들이 "엔비디아 내부 법무 검토" 단계에 3개월째 계류되어 있다고 전했다. ConnectX, NVSwitch, HGX 보드의 DCGM 전력 텔레메트리 개선 요청 역시 마찬가지로 처리 속도가 더뎠다. 세미분석의 경험에 비추어 볼 때, 엔비디아는 외부의 제안, 커밋, 피드백에 대해 이제 AMD, 구글, 아마존보다 더 느리게 대응하고 있다.

클러스터 접근성 또한 불만 사항 중 하나다. 세미분석은 커뮤니티 메인테이너들에 대한 엔비디아의 연산 자원 기여가 "미국 차량등록사업소(DMV) 스타일의 관료주의에 갇혀 인색하기 그지없다"고 비판하며, 시총 5조 달러 기업의 행보치고는 납득하기 어렵다고 꼬집었다. 이와 대조적으로 구글은 메인테이너들에게 풍부한 칩을 제공하는 엔비디아의 과거 플레이북을 그대로 활용하고 있다. Muse Spark Open과 Kimi K3.1 Pro에 대한 Day 0 TPU 지원이 이미 제공된 상태다. AMD 역시 업스트림 메인테이너들에게 더욱 관대해졌다. 다만 보고서는 엔비디아의 일부 팀, 특히 AMD와 TPU의 메가커널 작업에 일주일 만에 발을 맞춘 전직 센트ML(CentML) vLLM 그룹 등의 노력은 긍정적으로 평가했다.

증거 자료에 대한 단서 조항

투자자들은 몇 가지 요인을 신중히 저울질해야 한다. 벤치마크인 InferenceX는 광범위한 바이어, 연구소, 오픈소스 프로젝트들의 지지를 받고 있긴 하나 세미분석이 자체 제작한 것이다. 보고서는 구글의 내부 원가 산정 방식과 외부 고객이 지불할 가격 책정을 구분하고 있으며, 이러한 비교 중 일부에서는 TPU의 우위가 좁혀지거나 역전되기도 한다. 루빈 결과는 아직 검증되지 않은 프리뷰 성격이며, 엔비디아는 지금까지 자사 결과를 신속하게 개선할 수 있음을 입증해 왔다. 보고서 역시 TPUv7이 FP4를 지원하지 않으며 일부 구성에서는 엔드투엔드 지연 시간에서 뒤처진다는 점을 시인하고 있다. 그럼에도 불구하고 세미분석은 vLLM, SGLang, llm-d, PyTorch를 통해 구현된 에이전틱 워크로드 상의 신뢰할 만한 TPU 가격 대비 성능이 CUDA만이 유일한 프로덕션 경로라는 통념을 약화시킨다고 주장한다. 아울러 가속기 모델(Accelerator Model)이 전망한 바와 같이 오라클, 오픈AI, 앤트로픽, 메타 모두 TPU 고객사로 합류했다고 덧붙였다. 라딕스아크의 추가적인 AgentX 제출안과 최초의 TPUv8i 벤치마크도 곧 공개될 것으로 예상된다.