SemiAnalysis 訪談：為何軟硬體協同設計才是 AI 實現百倍效率的關鍵
2026 年 7 月 5 日 - Sequoia Capital 播客專訪 Dylan Patel
前言與 SemiAnalysis 的成長
Shaun Maguire：我覺得在 SemiAnalysis 內部工作非常有趣，因為你們有 90 名員工，其中很大一部分是橫跨整個供應鏈的技術專家與工程師，另一部分則是出身避險基金的專業人士。你會看到他們之間激烈的爭辯，有人會說「那根本不重要」，接著有人會反駁「但成本呢？」，而工程師則會說「不，這項技術才是最酷的」。這種有機的碰撞非常精彩。我們團隊內部相當隨興，考慮到你過去曾擔任論壇版主，你應該能想像那種環境是什麼樣子。
Dylan Patel：跟豬打架只會讓自己滿身泥巴，對吧？沒錯。
Shaun Maguire：我們現在位於 SemiAnalysis 的辦公室，與 Dylan Patel 對談。我是來自 Sequoia 的 Shaun，我的合夥人 Sonya Huang 也在場。你所取得的成就簡直不可思議。五年前，半導體在西方世界並不被視為熱門產業。雖然在東方很熱門，但西方人幾乎已經遺忘了它。然而你沒有忘記，你選擇了長期深耕。你創立了該領域首屈一指的研究公司，從極其細緻的技術細節到供應鏈，再到宏觀格局，教育了全世界。有傳言稱 SemiAnalysis 最近營收突破了 1 億美元。我不確定數字是否準確，但無論如何，你們的表現非常亮眼。
Dylan Patel：資訊有多準確，數字就有多準確。沒錯，挺酷的。你永遠說不準。
Shaun Maguire：還有傳言說你可能要成立創投基金。我經常在生態系中聽到人們希望與 SemiAnalysis 建立連結。你已經建立了這個值得信賴的品牌，所以無論你做什麼，都奏效了。這顯然只是你旅程的開端。恭喜你取得這些成就。但這一切是如何發生的？我的第一個問題是：你的背景是什麼？你是如何走到今天這一步的？
汽車旅館成長的歲月
Dylan Patel：嗯，當我還是個剛出生的嬰兒時……不，好吧。我是在小型家族企業中長大的。我父母經營一家汽車旅館，我們就住在裡面。後來我們還開了一間加油站。所以我很早就開始做生意了。我常開玩笑說，我訓練的第一個神經網路，就是根據人們走進加油站時的種族和外貌特徵，來判斷該拿哪種香菸給他們。基本上，香菸都陳列在上方，但我當時太矮，根本夠不到。嚴格來說，那個年紀賣菸並不合法，但管他的，我得把腳凳移到正確的位置。
Shaun Maguire：我第一份工作也是在合法年齡之前開始的。這是很好的經驗。
Dylan Patel：嗯，我沒拿到薪水，對吧？那是家族企業。
Shaun Maguire：我也是。
Dylan Patel：但沒錯，我們有汽車旅館，對面就是加油站。有時有人走進來，如果是一位捲髮的白人老太太，我就會把梯子或腳凳移到 Camel 香菸那邊。根據年齡、人口統計、職業、種族等不同因素，我會移動腳凳。我開玩笑說這是第一個我訓練的神經網路，因為如果我等他們開口才行動，我就得先移腳凳再爬上去，而不是直接準備好。薄荷菸對上 100mm 細支菸等等。我開玩笑說那是第一個我訓練的神經網路。但我是在家族企業長大的，住在汽車旅館，這一切真的要追溯到我 8 歲生日的時候。
Xbox 維修與對硬體的熱情火花
Dylan Patel：我的生日在 5 月，而 Xbox 360 是在 4 月發表的。生日時，我沒有要求要 Xbox，也沒有要生日禮物。父母問我想要什麼，我說想把它當成聖誕禮物。我們雖然慶祝聖誕節，但在當時，我認為他們不可能會送我 Xbox 360 當聖誕禮物，所以我才把生日願望留到聖誕節。總之，聖誕節到了，我收到了它。快轉幾個月，住在阿拉巴馬州的堂兄弟要來過春假，他們也住在汽車旅館。他年紀介於我和哥哥之間。我哥比較愛運動，所以他對 Xbox 不太感興趣。他偶爾會玩，但不在乎。但我希望堂兄弟覺得我很酷，對吧？所以我在電話裡吹噓了好幾次，說：「沒錯，我有 Xbox。」結果 Xbox 就壞了。那是一種叫做「死亡紅環」（Red Ring of Death）的硬體缺陷。
Dylan Patel：長話短說，我必須拆開它並短路溫度感測器，這才修好了它。我嘗試過很多其他方法，但都沒用。所以，這就是我進入硬體領域的方式。這打開了潘朵拉的盒子。到我 12 歲時，我已經經常在論壇上閱讀和發文了。
從網路論壇到半導體
Dylan Patel：那大約是 Reddit 吞噬所有其他論壇的時期，我成為了 Android、Apple、Google 以及硬體論壇的版主，同時也在關注 Intel、Nvidia 和 AMD 的其他論壇。我會看 Build a PC。我一直在觀察、閱讀並發布大量內容，其中一些論壇我還擔任了管理工作。看著智慧型手機從簡單的設備演變成競速機器，在架構上以多種方式超越 PC，GPU 也是如此，我只是持續追蹤、觀察，閱讀每一則評論，因為我在家族企業長大，所以總是帶著經濟視角。當時網路上的「技術宅」都熱愛 AMD GPU，我個人也因為性價比買過 AMD GPU。但當談到技術上什麼更好時，我總是會說：「不，Nvidia 更好，因為他們用更小的晶片就能以更好的功耗效率獲得更好的性能，而且他們的利潤率更高。」所以我總是在討論 Nvidia 的 GPU 利潤率如何優於 AMD，這非常有意思。
Shaun Maguire：你當時才 12 歲。
Dylan Patel：我 12 歲開始擔任版主，但這貫穿了我的青少年時期和高中時代。
Shaun Maguire：你有其他奇怪的愛好嗎？還是只有半導體？
Dylan Patel：我玩了很多《星海爭霸》（Starcraft）。有段時間，我在《星海爭霸 2》北美天梯達到大師級（Grandmaster）。非常認真。
Shaun Maguire：所以你在多個領域都達到了痴迷的專業程度。
Dylan Patel：沒錯，痴迷是好事。
Shaun Maguire：你的成績如何？
Dylan Patel：還不錯。我大部分科目都拿 A，但有些我覺得很無聊或不感興趣的課，成績就沒那麼好。比如西班牙語，成績沒那麼漂亮，順帶一提，我現在西班牙語說得很流利，所以這真的很蠢。
Shaun Maguire：也許這就是你沒拿到好成績的原因。
Dylan Patel：老實說，我是後來才學西班牙語的。但沒錯，我的成績還行。對亞裔父母來說是過關的。我比學校裡大多數人都強，但並不是那種為了全 A 而拼命的「努力型」學生。
Shaun Maguire：好的，所以你確實是網路的學生。你就是這樣發展出專業知識的。你是在什麼時候決定創立 SemiAnalysis 的？創立公司以來，最大的驚喜是什麼？
從計量金融到創業者
Dylan Patel：是的，我上大學獲得了幾個與半導體無關的學位。我曾在一家小型量化風險公司擔任量化分析師（quant）兩年。後來，一系列事件接連發生。首先是我被公司坑了獎金。我為公司創造了數百萬美元的營收——無風險營收——因為我利用了市場中的一個風險漏洞，金額遠超 1,000 萬美元，結果卻被別人搶走了功勞。最終我被裁員了，但我與該公司的社會契約也徹底破裂。我的祖父母從小就和我們住在一起，住在汽車旅館裡，所以我與他們非常親近。我祖母患上了失智症，她忘記了我是誰，還摔下樓梯，發生了悲劇性的意外並去世了。這一切都發生在 2020 年初。此外，還有一些感情上的問題，所以當時發生了幾件讓我非常難過的事。接著 COVID 爆發了，我哥哥說：「老兄，過來跟我住吧。」他住在納許維爾，所以我去那裡和他住在一起。我們當時想：「喔，封城頂多幾週。你可以趁這段時間住我這，然後再回家。」這真是名言。封城持續的時間長得多。
Dylan Patel：和哥哥住了幾個月，我不知道自己該做什麼。我現在在他家，一切都得聽他的。他和當時的未婚妻（現在的妻子）也在那，所以我基本上得小心翼翼。但我不在乎我的工作，所以我發文的頻率比平常更高。我一直都有在網路上大量發文。我也一直頻繁交易股票。我在放空 COVID 以及做多 COVID 等操作中賺了很多錢。半導體短缺也是在那時發生的。總之，我非常沉迷於發文之類的事情。
Dylan Patel：最終，大約在那個時候，一個我在網路上與之爭論的人肉搜了我。他們公開了我的匿名帳號身分。當時我很害怕，停止發文了三週。我心想：「我在做什麼？為什麼要在乎？」所以，我乾脆開始發文。我之前有部落格之類的，但我建立了一個真正的部落格——SemiAnalysis，並在我 24 歲生日那天，發布了兩篇文章。從那之後，它獲得了巨大的關注，因為現在不是用匿名帳號發文，而是用真實姓名，而且我在那兩篇文章上投入的精力比平時多得多。這不再只是隨便在網路上發文，而是對部落格投入了真正的努力。如果你想的話，現在還可以回去讀那些文章。它們雖然不算非常出色，但在當時已經很好了。那是網路上你能找到關於半導體最好的內容，我就這樣持續發文、發文、發文。我開始接到很多諮詢業務。
流浪式的研究公路旅行
Dylan Patel：2020 年，我再次陷入低潮，不知道自己想做什麼，所以我打包了一切。我開著卡車，買了一個能裝在卡車後方的帳篷，買了氣墊床，然後開車繞遍了美國所有的國家公園。每週有兩、三或四天，我會住在隨機的汽車旅館，談判價格大約每晚 30 美元，然後我就會研究這些東西。週末，我會讀書，通常是在某個國家公園或健行時讀教科書，並聽關於半導體、AI 的有聲書，以及所有我真正關心的事物。在那六個月裡，我只是一個人去每個國家公園，這讓我學到了更多。全程我都獨自一人，而且一直都在發布部落格。每個人都問：「Dylan，你在做什麼？」
Shaun Maguire：那是 Starlink 之前還是 Starlink 的早期階段？
Dylan Patel：Starlink 之前。沒錯，所以當時大家真的很困惑：「你在做什麼？」我後來又在拉丁美洲旅行了一年，最初是和朋友，後來是和前女友。到了 2022、2023 和 2024 年，我自 2020 年年中以來一直處於「無家可歸」的狀態。但我會去參加全球每一場會議。我一年參加超過 40 場會議，不管它在供應鏈的哪個環節。我會想：「喔，那個看起來很有趣，我想我會去參加。」我去參加了一場會議，心想：「哇，這太棒了。」你可以與專家交談，他們願意跟你談，因為在半導體領域，大家都是嬰兒潮世代，這很棒。他們沒見過對此感到興奮的年輕人，所以他們很樂意告訴你一些事情。你只需要開口問。
Shaun Maguire：關於這點，有沒有哪個供應鏈環節或會議特別改變了你對半導體世界的看法，或者你當時覺得、現在也覺得特別被低估的？
Dylan Patel：我覺得貿易展和會議的差異非常大。顯然，我最喜歡參加的包括 NeurIPS。
Shaun Maguire：為什麼？
Dylan Patel：因為那裡有 2 萬名 AI 研究人員，他們大多和我年紀相仿，所以非常有趣，而且他們是 AI 研究領域的領軍人物。你能學到很多。那裡也有很多派對。然後範圍一直延伸到日本一場隨機的化學會議，那裡有 300 個日本大叔。只有 20 個來自 ASML、20 個來自 TSMC、20 個來自 Intel 的人會說英語。其他人只會說日語，你會想：「呃，我想他們還是很有趣的。」
Dylan Patel：我認為我的一項技能是能夠與任何人建立連結，無論他們的背景是誰。我能夠與他們交談，找到感興趣的話題，通常是技術相關的。我認為最有趣的會議通常是規模非常大的那些，因為那裡正在發生最重大的事情。但真正令人興奮的利基領域是像 SPIE 這樣的會議。有 IEEE（國際電機電子工程師學會），還有 SPIE，這是另一個生態系。SPIE 會議深入細節。我參加的每一場，特別是 SPIE 先進微影（Advanced Lithography）或 SPIE 光罩（Photomask），第一次去時，我甚至聽不懂 90% 的內容。然後我讀啊讀，讀了很多，下次再去時，我聽懂了一半。第三次去，我聽懂了 75%。即使到現在，我去參加還是無法完全聽懂所有正在發生的事。
Dylan Patel：相比之下，你去參加 NeurIPS，幾次之後你就能聽懂：好的，什麼是神經符號推理（neurosymbolic reasoning）？這是什麼？那是什麼？你可以很快掌握所有內容的架構。但供應鏈的某些部分太過深奧、晦澀且技術化，你需要花很多時間才能理解正在發生什麼。對於每一篇研究論文，你參加會議有幾個原因。你理解研究內容，但你真正關心的是理解這項研究如何與技術交集，以及這項研究與當前技術有何不同？這些研究論文都沒有告訴你現在正在發生什麼，但你只要去問人，建立人脈，了解供應鏈，就會發現這家公司供應給那家公司，儘管這在任何地方都沒有公開說明。或者你了解到這種化學品大約要多少錢，一個工具大約使用多少量。你會聽到關於這種化學品如何短缺並徹底打亂供應鏈某個部分的恐怖故事，然後發現世界上只有三家公司生產這種化學品。
Dylan Patel：我最喜歡的一個例子，是我在那場幾乎沒人會說英語的日本會議上，從一位日本人那裡學到的。他用非常生硬的英語告訴我，他父親在 1980 年代從事這個行業，當時世界上唯一一家生產這種特定化學品的工廠被燒毀了，這導致記憶體價格翻倍或漲了三倍。我心想：「哇，跟今天沒什麼兩樣。」一點也不瘋狂。
InferenceX 與性能基準測試
Sonya Huang：推論（Inference）將會是地球上最大的市場，甚至超越地球。你同意還是不同意？
Dylan Patel：我是說，顯然 Token 的使用將會是最大的市場，而從 Token 中創造的價值將會是最大的市場。但我認為 Token 經濟學、Token 的使用以及 AI 的採用，是目前正在發生的最重要的事情。而推論，無論是開源模型還是閉源模型，都將成為世界上最大的市場之一，遠大於石油，遠大於許多其他領域。AI 推論將佔 GDP 的好幾個百分點，沒錯。
Sonya Huang：我認為你在 InferenceX 上所做的工作已經成為產業標準。或許可以談談你為什麼創立它，它的功能是什麼，以及人們對推論性能基準測試有什麼誤解？
Dylan Patel：是的，回過頭來說，SemiAnalysis 為機構客戶和訂閱產品做了很多研究，但其中很多也只是：「嘿，弄清楚這件事會很酷。讓我們想辦法搞清楚並公開發布吧。」這規模越來越大。我們在 GPU 基準測試、訓練性能和推論性能方面做了很多工作。但最終，我們發現推論基準測試只是「時間點」的快照。你測試它，花點時間，發布它，結果它就變慢、晦澀且過時了，因為模型一直在變。每週都有新模型，無論是中國的模型，還是今天 Mythos 5、Fable 發布了，新模型不斷湧現。
Dylan Patel：在軟體層面，PyTorch、vLLM、S