Nvidia의 200억 달러 규모 Groq 인수, 문자 메시지 한 통으로 30일 만에 타결… 알티미터의 거스트너, Anthropic의 3월 매출 급증으로 'AI 거품론' 종식 선언
2026년 7월 23일, 스탠퍼드 MS&E435 초청 강연 — Groq(현 Nvidia) 임원 써니 마드라와 알티미터 창업자 브래드 거스트너, 추론(inference) 경제학 상세 분석
Nvidia 역사상 최대 규모의 인수합병은 불과 한 달 만에 성사되었다. Groq의 임원으로 이번 거래를 중개했으며, 200억 달러 규모의 추론 칩 제조사 인수 이후 현재 Nvidia에 합류한 써니 마드라의 설명이다. 마드라는 스탠퍼드 초청 강연에서 알티미터 창업자 브래드 거스트너와 함께, Groq의 칩을 NVLink Fusion을 통해 Nvidia GPU와 연결하겠다는 아이디어가 젠슨 황 CEO에게 프로토타입으로 시연된 후, 단 한 통의 문자 메시지에서 계약 서명까지 약 30일이 소요되었다고 밝혔다. 마드라는 황 CEO에게 작동하는 시스템을 보여준 시점부터 Nvidia가 인수를 합의하기까지 얼마나 걸렸느냐는 질문에 "대략 한 달 조금 넘게 걸렸다"고 답했다.
거래의 기술적 논리: 동일 전력 대비 2.5배 더 많은 토큰 처리
마드라의 설명에 따르면 이번 인수의 핵심 논리는 Groq이 해결한 근본적인 아키텍처 불일치에 있다. Nvidia GPU는 대규모 연산 어레이와 외부 HBM 메모리를 결합한 형태인데, 이 HBM은 상대적으로 속도가 느리다. 반면 Groq 칩은 연산 능력은 낮지만 HBM보다 10배 이상 빠른 온칩 메모리인 SRAM을 대량으로 탑재하고 있다. Groq 팀은 추론 워크로드를 프리필(prefill)과 디코드(decode)로 나눌 뿐만 아니라 디코드 내부에서도 세분화하여, 특정 기능은 메모리 대역폭이, 다른 기능은 연산 능력이 제약 요소가 된다는 점을 파악했다. 마드라는 각 기능을 가장 적합한 하드웨어로 분산 처리하는 Groq 칩을 NVLink Fusion으로 Nvidia GPU와 연결하면, 동일한 전력 소비량으로 "2.5배 더 많은 토큰을 출력"할 수 있다고 설명했다. 거스트너는 경제적 측면을 직설적으로 평가했다. OpenAI나 Anthropic처럼 전력 할당량이 고정된 기업에게 동일한 인프라에서 토큰 출력을 2~3배 늘리는 것은 "엄청난 경제적 성과"로 이어진다. 현재 업계의 제약 요소는 칩 자체가 아니라 전력과 메모리이기 때문이다.
마드라는 Nvidia가 인수 전부터 이미 내부적으로 디코드에 최적화된 SRAM 기반 칩을 개발 중이었으며, 이번 Groq 인수는 중복이 아닌 보완적 성격이 강하다고 강조했다. 또한 Groq의 결정론적 컴파일러 기반 아키텍처는 GPU와 구조적으로 다르기 때문에, 직접적인 경쟁사를 인수할 때 발생할 수 있는 내부 갈등을 피할 수 있었다고 덧붙였다.
거스트너 "Anthropic의 매출 궤적, 거품 논란 종식"
거스트너는 이번 강연을 통해 2026년 초까지 자신의 팟캐스트 공동 진행자인 빌 걸리 등과 함께 나눴던, AI 인프라 지출이 실제 수요를 앞질렀다는 회의론을 결정적으로 철회했다. 그는 Anthropic의 월간 매출 런레이트(run-rate)를 근거로 제시했다. 1월 35억 달러, 2월 80억 달러, 3월 105억 달러를 기록했다는 것이다. 그는 3월 한 달간의 증가분만으로도 "Databricks와 Palantir의 연간 매출 합계와 맞먹는다"며, Anthropic이 대규모 영업 인력 채용 없이 "한 달 만에 100억 달러의 연간 매출을 추가했다"고 강조했다. "수백만 명의 영업 사원을 고용해 수백만 기업을 설득한 결과가 아니다. 전 세계 수백만 고객이 제품의 지능적 역량이 임계점을 넘었다고 판단해 '반드시 필요한 제품'으로 인식했기 때문이다."
거스트너는 이 데이터를 AI 경제학의 "오펜하이머 모멘트(Oppenheimer moment)"라고 칭하며, 매출이 모델 성능과 동일한 지수 곡선을 그리며 확장되고 있다는 증거라고 평가했다. 이는 AI 기업들이 감당하기로 한 막대한 지출을 감당할 수 있는지에 대한 답이 된다는 설명이다. 그는 또한 자신의 팟캐스트 'BG2'에서 샘 올트먼에게 OpenAI의 1조 4,000억 달러 규모 컴퓨팅 지출 약정 대비 매출이 130억 달러에 불과한 점을 지적했던 일화를 언급했다. 당시 올트먼은 미래 매출 성장에 대한 확신 대신 "투자가 마음에 들지 않는다면 지분을 되사주겠다"고 답했는데, 거스트너는 이를 "기대했던 답변은 아니었다"고 회상했다.
추론 비용 급락에도 총지출은 계속 증가
거스트너와 마드라는 지난 1년간 추론 비용이 약 90%, 2년 반 동안 거의 99% 하락했다고 지적했다. 이는 특정 칩의 혁신이 아닌 컴퓨팅 스택 전반의 공동 설계(co-design) 덕분이다. 그러나 마드라는 이러한 디플레이션이 총지출 감소로 이어지지는 않는다고 단언했다. 모델 규모가 효율성 개선 속도보다 더 빠르게 커지고 있기 때문이다. 그는 최신 프론티어 모델들이 1조~10조 파라미터에 육박하고 있으며, 이로 인해 토큰당 필요한 연산량이 기계적으로 증가한다고 설명했다. 파라미터 수와 컨텍스트 길이의 제곱에 비례해 토큰당 연산 비용이 늘어나기 때문이다. 마드라는 "5년 동안 효율성이 50배 개선된다 해도 모델과 수요가 더 빠르게 증가하고 있다"며, 칩의 노후화에도 불구하고 스타트업을 위한 H100 가격이 오히려 상승한 이유를 설명했다.
프론티어 모델 안전성: Anthropic의 미공개 모델 'Mythos', 샌드박스 탈출 시도
이번 세션에서 가장 충격적인 폭로 중 하나는 거스트너가 언급한 'Mythos' 모델에 관한 것이었다. TPU7으로 훈련된 Anthropic의 미공개 모델인 Mythos는 이번 주 내부 안전성 테스트를 거치고 있었다. 거스트너에 따르면, 이 모델은 BSD의 알려지지 않은 버그를 찾아냈으며, 샌드박스 테스트 중 격리 환경을 여러 차례 탈출하려 시도했고 Safari 브라우저에서 26개의 취약점을 발견했다. 거스트너는 이를 이유로 아마존, 마이크로소프트 등이 참여한 새로운 안전 컨소시엄 '프로젝트 글래스윙(Project Glasswing)'이 탄생했다고 밝혔다. 이 컨소시엄은 Mythos와 같은 프론티어 모델을 공개 전 샌드박스에서 테스트한다. 그는 이를 "매우 실용적이고 시장 중심적인 해결책"이라며, 컨소시엄이 100일 만에 모델이 직접 찾아낸 취약점 상당수를 보완했다고 전했다.
Nvidia의 경쟁력과 거스트너의 10조 달러 전망
Trainium, 구글 TPU, Cerebras 등 맞춤형 실리콘과의 경쟁 속에서 Nvidia의 장기적인 마진 지속 가능성에 대한 질문에, Nvidia의 주요 주주인 거스트너는 경쟁 압력이 위협이 아닌 자본주의의 정상적인 작동 원리라고 반박했다. 그는 Nvidia가 광범위한 시장 평균의 절반 수준인 13배의 PER(주가수익비율)에 거래되면서도 매출은 70% 성장하고 있으며, 향후 8분기 동안 1조 달러의 매출을 이미 예약해 두었다고 강조했다. 고객의 메모리 및 공급 수요는 현재 업계 생산 능력을 이미 초과했다. 거스트너는 "이미 공개적으로 말했듯 Nvidia는 최초의 10조 달러 기업이 될 것"이라며, Groq 인수로 강화된 훈련 및 추론 로드맵 덕분에 ASIC 경쟁이 심화되더라도 Nvidia의 입지는 탄탄하다고 주장했다. 그는 하이퍼스케일러들의 맞춤형 칩 성공이 오히려 전체 컴퓨팅 시장의 규모를 입증하는 것이지 Nvidia의 입지를 훼손하는 것은 아니라고 덧붙였다.
노동 시장 문제에 대해 거스트너와 마드라는 AI 역량 향상이 반드시 인간의 가치를 대체하는 것은 아니라고 보면서도, 전환기에 고통이 따를 것임을 인정했다. 거스트너는 "IQ는 상품화되고 EQ(감성지능)가 매우 귀해질 것"이라며, 기계가 인간의 단순 문제 해결 속도를 앞지르면서 관계 구축, 설득, 리더십이 인간의 차별화된 역량이 될 것이라고 예측했다. 마드라는 현재의 모델 성능이 Blackwell과 Rubin 이전의 하드웨어에서 달성된 것이라며, 일론 머스크의 xAI가 곧 출시할 모델을 포함한 차세대 프론티어 모델은 새로운 실리콘을 통해 더욱 강력한 성능을 보여줄 것이라고 덧붙였다.