DruckFin

SemiAnalysis 인터뷰: 하드웨어-소프트웨어 공동 설계가 AI 효율성을 100배 높이는 핵심인 이유

2026년 7월 5일 - 세쿼이아 캐피털(Sequoia Capital) 팟캐스트, 딜런 파텔(Dylan Patel) 인터뷰

서론 및 SemiAnalysis의 성장

숀 맥과이어(Shaun Maguire): SemiAnalysis 내부를 보면 정말 흥미롭습니다. 90명의 인력 중 상당수가 전체 공급망을 아우르는 기술자와 엔지니어들이고, 또 다른 큰 축은 헤지펀드 출신들입니다. 엔지니어들이 "이 기술이 가장 최고다"라고 하면, 다른 쪽에서는 "비용은 어쩔 건가"라고 반박하며 치열하게 논쟁하는 모습을 볼 수 있죠. 저희는 상당히 격식 없는 분위기인데, 당신이 포럼 운영자 출신이라는 점을 생각하면 어떤 환경인지 짐작이 갑니다.

딜런 파텔: "돼지와 씨름하지 마라. 돼지는 씨름을 즐기니까요." 정확합니다.

숀 맥과이어: 여기 SemiAnalysis 사무실에서 딜런 파텔과 함께합니다. 저는 세쿼이아의 숀이고, 제 파트너 소냐 황(Sonya Huang)도 함께했습니다. 당신이 이룬 성과는 정말 놀랍습니다. 5년 전만 해도 서구권에서 반도체는 그다지 매력적인 분야가 아니었습니다. 동양에서는 인기였지만, 서구권 사람들은 반도체를 잊고 있었죠. 하지만 당신은 달랐습니다. 매우 공격적으로 투자했고, 기술적 세부 사항부터 공급망, 거시적 관점까지 업계의 최신 현황을 전 세계에 알리는 최고의 리서치 기업을 만들었습니다. 최근 SemiAnalysis의 매출이 1억 달러를 돌파했다는 소문이 있는데, 정확한 수치는 알 수 없지만 여러분이 엄청난 성과를 내고 있다는 점은 분명합니다.

딜런 파텔: 정보가 정확한 만큼만 정확하겠죠. 뭐, 알 수 없는 일이니까요.

숀 맥과이어: 벤처 펀드를 시작할 것이라는 소문도 들립니다. 업계 곳곳에서 SemiAnalysis와 협력하고 싶어 하는 목소리가 끊이지 않죠. 당신은 신뢰받는 브랜드를 구축했고, 무엇을 하든 성공하고 있습니다. 이제 시작일 뿐이죠. 축하합니다. 그런데 어떻게 이런 일이 가능했나요? 첫 번째 질문입니다. 당신의 배경은 무엇이며, 어떻게 지금의 위치에 오르게 되었나요?

모텔 아이의 어린 시절

딜런 파텔: 제가 태어났을 때부터... 농담입니다. 저는 소규모 자영업 환경에서 자랐습니다. 부모님이 모텔을 운영하셨고, 저희는 그 모텔에서 살았죠. 나중에는 주유소도 운영하셨습니다. 그래서 저는 어릴 때부터 장사를 했습니다. 제가 처음 훈련시킨 신경망은 주유소에 들어오는 손님들을 인종과 외양으로 프로파일링해서 어떤 담배를 집어야 할지 예측하는 것이었다고 농담하곤 합니다. 담배 진열대가 너무 높아서 제가 손이 닿지 않았거든요. 사실 그 나이에 담배를 파는 건 불법이었지만, 어쨌든 저는 발판을 적절한 위치로 옮겨야 했습니다.

숀 맥과이어: 저도 법적으로 일할 수 있는 나이가 되기 전에 첫 일을 시작했습니다. 좋은 경험이죠.

딜런 파텔: 저는 돈을 받지는 못했죠. 가족 사업이었으니까요.

숀 맥과이어: 저도 마찬가지였습니다.

딜런 파텔: 어쨌든 모텔 건너편에 주유소가 있었는데, 곱슬머리의 백인 할머니가 들어오시면 저는 재빨리 발판을 'Camel' 담배 쪽으로 옮겨놓곤 했습니다. 손님의 나이, 인종, 직업 등에 따라 발판을 미리 옮겨두는 것이었죠. 손님이 담배를 달라고 할 때 움직이는 것보다 미리 준비하는 게 효율적이었으니까요. 멘솔인지, 100 슬림인지 등을 미리 예측하는 것, 그게 제가 훈련한 첫 신경망이었습니다. 제 어린 시절은 가족 사업과 모텔 생활로 가득했습니다. 모든 것은 제 8번째 생일부터 시작되었죠.

Xbox 수리와 하드웨어 열정의 불꽃

딜런 파텔: 제 생일은 5월인데, Xbox 360이 발표된 건 4월이었습니다. 부모님이 생일 선물을 물으셨을 때, 저는 생일 선물 대신 크리스마스에 Xbox를 받고 싶다고 했습니다. 크리스마스가 오고, 저는 Xbox를 선물받았습니다. 몇 달 후, 앨라배마에 사는 사촌이 봄방학을 맞아 놀러 오기로 했습니다. 사촌에게 제가 멋져 보이고 싶어서 전화로 Xbox가 있다고 자랑을 많이 했죠. 그런데 하필 그때 Xbox가 고장 났습니다. '레드 링 오브 데스(Red Ring of Death)'라는 하드웨어 결함이었죠.

딜런 파텔: 결론부터 말하면, 저는 기기를 분해해서 온도 센서를 쇼트시켜 문제를 해결했습니다. 그전에 여러 시도를 해봤지만 다 실패했었죠. 그렇게 하드웨어의 세계에 발을 들였습니다. 판도라의 상자를 연 셈이죠. 12살 때부터는 포럼에서 글을 읽고 쓰기 시작했습니다.

인터넷 포럼에서 반도체까지

딜런 파텔: 당시 Reddit이 다른 포럼들을 흡수하던 시기였습니다. 저는 안드로이드, 애플, 구글, 그리고 하드웨어 포럼의 운영자가 되었고, Intel, Nvidia, AMD에 관한 글들을 지켜봤습니다. 스마트폰이 단순한 기기에서 PC보다 더 뛰어난 아키텍처를 가진 기기로 발전하는 과정, 그리고 GPU의 변화를 지켜보며 경제적 관점에서 분석했습니다. 당시 인터넷의 많은 이들이 AMD GPU를 좋아했고 저도 가격 대비 성능 때문에 AMD 제품을 샀지만, 기술적으로 무엇이 더 나은지를 따질 때면 저는 항상 "Nvidia가 더 작고 효율적인 칩으로 더 높은 성능을 내며 마진율도 좋다"고 주장했습니다. 그런 논쟁이 정말 즐거웠죠.

숀 맥과이어: 당시 당신은 12살이었군요.

딜런 파텔: 운영을 시작한 건 12살 때였고, 10대 시절 내내 그런 활동을 했습니다.

숀 맥과이어: 다른 취미는 없었나요? 오직 반도체뿐이었나요?

딜런 파텔: 스타크래프트를 엄청나게 했습니다. 한때 스타크래프트 2 북미 래더에서 그랜드마스터까지 올라갔었죠. 아주 진지하게 했습니다.

숀 맥과이어: 여러 분야에서 강박적일 정도로 몰입하는군요.

딜런 파텔: 네, 몰입은 좋은 것이죠.

숀 맥과이어: 학교 성적은 어땠나요?

딜런 파텔: 괜찮았습니다. 대부분 A였지만, 지루한 과목은 성적이 좋지 않았죠. 예를 들어 스페인어는 성적이 별로였는데, 정작 지금은 스페인어를 유창하게 합니다. 참 아이러니하죠.

숀 맥과이어: 그래서 성적이 안 나왔나 봅니다.

딜런 파텔: 사실 스페인어는 나중에 배웠습니다. 성적은 아시아 부모님 기준에도 통과할 수준은 됐습니다. 학교에서 상위권이었지만, 만점을 받기 위해 죽어라 노력하는 스타일은 아니었습니다.

숀 맥과이어: 당신은 인터넷을 통해 배운 학생이군요. 어떤 계기로 SemiAnalysis를 시작하게 되었고, 창업 후 가장 놀라웠던 점은 무엇인가요?

퀀트에서 창업자로

딜런 파텔: 대학에서 반도체와는 무관한 전공으로 학위를 몇 개 받았습니다. 그 후 2년간 작은 퀀트 리스크 관리 회사에서 일했죠. 그러다 여러 사건이 겹쳤습니다. 회사에 1,000만 달러 이상의 무위험 수익을 안겨줬는데도 보너스를 제대로 받지 못했고, 제 성과를 다른 사람이 가로채는 일이 있었습니다. 결국 회사를 떠나게 되었죠. 가족과도 같았던 할머니께서 치매로 돌아가시는 아픔도 겪었습니다. 2020년 초, 모든 것이 힘들던 시기에 코로나19가 터졌고, 내슈빌에 사는 형의 집에 머물게 되었습니다.

딜런 파텔: 형 집에 머물면서 저는 직장에 대한 의욕을 잃었고, 평소보다 더 인터넷에 글을 많이 올렸습니다. 주식 거래도 활발히 했죠. 코로나19 상황을 이용해 수익을 많이 냈습니다. 그러다 인터넷에서 누군가와 논쟁하다 제 신상이 공개되는 '도싱(doxing)'을 당했습니다. 3주간 글을 쓰지 않았죠. 그러다 문득 '내가 왜 이걸 신경 쓰지?'라는 생각이 들었습니다. 그래서 진짜 블로그인 SemiAnalysis를 시작했습니다. 24번째 생일에 글 두 편을 올렸죠. 익명이 아닌 실명으로, 평소보다 훨씬 많은 노력을 들여 쓴 글들이었습니다. 그 글들은 당시 인터넷에서 찾을 수 있는 반도체 관련 정보 중 최고였고, 계속 글을 쓰면서 컨설팅 의뢰가 들어오기 시작했습니다.

떠돌이 연구 여행

딜런 파텔: 2020년, 저는 다시 방황하며 트럭 뒤에 텐트를 싣고 미국 전역의 국립공원을 돌았습니다. 주중에는 모텔에서 하룻밤 30달러에 협상해 묵으며 일했고, 주말에는 반도체와 AI 관련 교과서와 오디오북을 들으며 공부했습니다. 6개월 동안 그렇게 지내며 엄청나게 공부했죠. 사람들은 "대체 뭘 하는 거냐"고 물었습니다.

숀 맥과이어: 스타링크(Starlink) 이전인가요, 초기인가요?

딜런 파텔: 스타링크 이전입니다. 그 후 라틴 아메리카를 여행했고, 2022년부터 2024년까지는 전 세계 컨퍼런스를 찾아다녔습니다. 1년에 40개 이상의 컨퍼런스에 참석했죠. 전문가들과 대화하는 것이 정말 즐거웠습니다. 반도체 업계는 고령층이 많아서, 열정적인 젊은이를 보면 기꺼이 많은 것을 알려주곤 했습니다. 그냥 묻기만 하면 됐거든요.

숀 맥과이어: 반도체 세계관을 바꿨거나, 지금도 과소평가되었다고 생각하는 공급망 분야가 있나요?

딜런 파텔: 컨퍼런스마다 성격이 다릅니다. NeurIPS는 2만 명의 AI 연구자가 모이는 곳이라 정말 즐겁고 배울 점이 많습니다. 반면 일본의 한 화학 컨퍼런스는 300명의 일본인 중 영어 하는 사람이 60명뿐인 곳도 있었죠. 하지만 그곳에서도 배울 점은 있었습니다.

딜런 파텔: 저는 누구와도 소통할 수 있는 능력이 있습니다. 가장 흥미로운 곳은 규모가 큰 컨퍼런스들이지만, 정말 깊이 있는 곳은 SPIE 같은 곳입니다. SPIE Advanced Lithography 컨퍼런스는 처음 갔을 땐 90%를 이해하지 못했지만, 계속 공부하며 다시 가니 이해도가 50%, 75%로 높아졌습니다. 지금도 여전히 배우는 중입니다. 반면 NeurIPS는 몇 번 가보면 전체 흐름을 파악하기 쉽죠. 공급망의 어떤 부분은 너무나 난해해서 이해하는 데 오랜 시간이 걸립니다. 하지만 발로 뛰며 네트워크를 쌓으면, 공개되지 않은 기업 간의 관계나 화학 물질의 수급 문제 같은 핵심 정보를 얻을 수 있습니다.

InferenceX와 성능 벤치마킹

소냐 황: 추론(Inference)이 지구상에서, 아니 지구를 넘어 가장 큰 시장이 될 것이라고 보시나요?

딜런 파텔: 토큰 사용량과 그로부터 창출되는 가치가 가장 큰 시장이 될 것입니다. AI의 도입과 토큰 경제는 가장 중요한 흐름이며, AI 추론은 석유보다 더 큰 시장이 될 것입니다. AI 추론은 GDP의 상당 부분을 차지하게 될 것입니다.

소냐 황: 당신이 만든 InferenceX는 업계 표준이 되었습니다. 왜 시작했는지, 그리고 사람들이 추론 성능 벤치마킹에 대해 흔히 오해하는 점은 무엇인지 말씀해주시겠어요?

딜런 파텔: SemiAnalysis는 기관 고객을 위한 리서치도 하지만, "이걸 알아내면 재밌겠다" 싶은 것들을 공개적으로 분석하기도 합니다. GPU 벤치마킹과 추론 성능 테스트가 그랬죠. 기존의 추론 벤치마킹은 특정 시점의 데이터에 머물러 있어 느리고 낡았습니다. 모델은 매주 새로 쏟아져 나오니까요. 소프트웨어 레이어인 PyTorch, vLLM 등도 계속 변하고 있습니다.