The Compute 100 Podcast,來賓:瑞銀集團(UBS)Timothy Arcuri

引言

Brian Shakar:今天的來賓是 Timothy Arcuri。他是瑞銀集團(UBS)的董事總經理。Tim 在今年夏天表現亮眼,他對 Micron 做出極具遠見的預測,精準掌握了該公司的記憶體爆發成長與未來發展路徑。在這場精彩絕倫的對話中,我們將聆聽他對 Micron 以及其他眾多議題的獨到見解。

Gabby Lorenzi:沒錯,Tim 對半導體產業以及 AI 資本支出(capex)的擴張有著宏觀的鳥瞰視野。他的思考尺度是以 GW(gigawatt,十億瓦)為單位,並放眼 2027 年、2028 年及未來的數百億美元規模。聆聽他的觀點令人大開眼界。他非常大方,特地走過 27 街來我們的辦公室作客。我們非常期待大家收聽這集節目。

Brian Shakar:The Compute 100 是一檔探討 AI 領域中最具影響力市場的 Podcast。我們將與產業建構者和投資人對話,深入探討推動史上最大規模基礎設施建設的技術與資金。我是 Brian Shakar。

Gabby Lorenzi:我是 Gabby Lorenzi。我們是 Primary 的投資人,本節目由 The Compute 100 的創始法律合夥人 Gunderson Dettmer 支持贊助。

Brian Shakar:本 Podcast 僅供資訊參考,並不構成投資建議或買賣任何有價證券的要約。讓我們正式進入 The Compute 100。Timothy Arcuri,瑞銀半導體產業資深股票研究分析師兼董事總經理,歡迎來到我們的辦公室。謝謝你跨過 27 街前來。

電力能否跟上半導體的預期?

Timothy Arcuri:這很輕鬆。

Brian Shakar:非常感謝你撥冗前來。我們剛剛正準備討論推動技術前沿與放緩技術前沿的話題。請跟我們談談這對你的世界帶來什麼影響。讓我們深入探討。

Timothy Arcuri:好的。顯然,每個人都在關注半導體產業的預期。如果你把數據中隱含的預期倒推回去,計算出這需要增加多少 GW 的電力,再看看電網能負荷的容量與離網(off-grid)供電潛力之間的差距,你就會得出一個結論:要達到半導體產業預期已經內含的水準,你必須對基礎設施的成長抱持相當樂觀的看法。所以問題在於,如果成長放緩會怎麼樣?

Brian Shakar:你的意思是說,為了達到各大 AI 實驗室所提出的成長預期,除了大家目前認為可能實現的電力之外,還需要額外併網龐大的電力?這就是你的意思嗎?

Timothy Arcuri:是的。大家都認為 NVIDIA 會成長到 X 規模,Micron 會成長到 Y 規模。如果你倒推這背後隱含需要多少 GW 的電力,你會發現電網根本無法負荷這一切,目前獲批的電力容量也遠遠不及這個水準。因此,你必須相信目前尚未獲批的電力將會轉化為可用電力,並且還必須有相當大規模的離網發電容量上線,才能支撐半導體產業目前的預期。這並不是說這不可能發生,而是說任何可能導致進度放緩的因素——例如安全性疑慮,或是最近浮現的各種問題——都會讓人們開始懷疑,由於地緣政治因素以及新電力審批等問題開始放緩,我們或許無法實現那麼高的轉化率。

Gabby Lorenzi:我們現在處於什麼階段?我一直在試圖對這些事情建立一些直覺,但對於這相當於多少 GPU,以及根據 NVIDIA 的預測未來大約三年的發展方向,我並沒有很好的概念。

Timothy Arcuri:今年我們認為他們的 GPU 出貨量大約在 600 萬到 700 萬顆之間。現在情況有點不同,因為晶片裸晶(die)和出貨單元(units)並不完全是一回事,但我們認為今年大約是 600 萬到 700 萬顆。

Gabby Lorenzi:也就是說一個出貨單元實際上包含兩個裸晶?

Timothy Arcuri:對,沒錯。如果看今年 ASIC 的情況,以 Broadcom 來說,我們對他們明年出貨量的預估大約是 600 萬顆。他們今年大概會出貨 350 萬到 400 萬顆。從出貨單元的角度來看,ASIC 正在接近市售 GPU(merchant GPUs)的水準。正如我在我所發表的報告中所展示的,ASIC 的成長速度快於市售 GPU。當然,從金額來看,NVIDIA 的營收市佔率顯然會高於其單元市佔率,因為其平均售價(ASP)較高。

Brian Shakar:所以我們正在朝大約 1,200 萬顆單元的方向前進?

Timothy Arcuri:是的。

Brian Shakar:這需要多少電力?

Timothy Arcuri:我得回去查一下我們的模型才能知道具體需要多少電力。

Brian Shakar:我們會把它寫在節目簡介裡,或者由你來介紹。我們會把這個數據算出來。

Timothy Arcuri:因為獲批電力與實際需求之間存在巨大的落差。這不完全是今天的問題,甚至也不是 2028 年的問題——儘管要達到人們對 NVIDIA 加 AMD 加 Broadcom 加 MediaTek 加 Amazon 的期望,確實需要龐大的電力。你不能只看電網目前獲批的容量,再看看你能看到的資源,然後說這符合市場預期。不,根本不符合。因此,在現在到 2028 年(不是 2027 年,而是更偏向 2028 年,甚至是 2030 年)之間,基礎設施端必須發生額外的轉變,才能支撐半導體產業屆時的規模。公開市場正在權衡瓶頸在哪裡。有一陣子,大家認為瓶頸在半導體本身,所以所有的資金都湧入這個領域。現在,我認為大家逐漸意識到,半導體的預期已經來到這裡,而市場其他部分的預期則在另一個水準,因此這成了將資本投向何處的一個更有趣的瓶頸。正如你在 5、6 月份的這波修正中所看到的,資金從這個族群(我的研究族群)撤出了。大家對於重新增加曝險部位一直抱持猶豫態度。我交流過的大多數大型基金,目前都已經恢復了大約一半在修正前持有的部位。普遍的感覺是,市場現在提出了更多問題,不像 5、6 月份那時充滿追高效應,當時大家都在看 2028、2029 年。我是這樣看待的:當時幾乎確立了一個歷史高點。儘管股價已經回落,也沒有回到 5、6 月的水準,但那個歷史高點已經確立了,而且沒有改變。現在市場的想法可能是,我們必須重新成長以追上那個歷史高點。而這個電網限制,正是人們擔心會阻礙產業達到 2028 年及以後既定預期的主要因素之一。

Brian Shakar:有沒有可能,這種「放緩技術前沿推進速度(pacing the frontier)」的概念,實際上能在電力方面幫我們一把?如果我們透過人為或其他方式限制實驗室的推進速度,好讓我們能夠把電力問題往後推延幾年?市場是如何看待這最終會產生的影響的?

Timothy Arcuri:我今天沒有聽到太多這方面的討論,但我認為這確實有其道理。我今天跟 NVIDIA 開了個會,他們也提到這一點,認為這確實可以把問題稍微往後推遲。當然,接著還有開源(open-source)與閉源(closed-source)模型的辯論。人們普遍認為前沿模型功能強大得多,也消耗大量電力,但這些開源模型相當具有競爭力,它們同樣也會消耗大量電力。如果開源模型成為放緩前沿模型推進速度的替代方案,那實際上可能會對電力問題產生相反的影響,使情況以更快的速度惡化。

Brian Shakar:很有意思。電力的缺乏最終可能成為一種自然的煞車機制。

從製程工程師到華爾街

Brian Shakar:你是怎麼走上現在這條路的?你從事這行很久了,所以你為這個時刻做好了充分準備。帶我們回顧一下你是如何開始涵蓋半導體產業的,並為我們簡述你走到 2026 年的心路歷程。

Timothy Arcuri:我大學主修化學工程,畢業後當了幾年工程師。我曾效力於一家工業氣體公司,負責設計製程。我是一名製程工程師,我們基本上是開發了一項技術來處理各種氣體。在製造晶片時,你會使用大量有毒氣體,而其中許多氣體根本沒有被消耗掉。事實上,可能高達 90% 的氣體都從煙囪排出去了,其中有些物質的半衰期長達 50 年。在 1990 年代中期到末期,產業界正全力推動環塵與環保。那是最初的推動力。他們找上銷售這些氣體的工業氣體公司,說:「幫我們設計一個製程來更好地利用這些物質。」在我工作的公司裡,有一個秘密的內部小組,專門開發了一套捕捉和純化這些氣體的製程。我是其中的工程師之一,我們還為此申請了專利。我有專利和整套技術。這項成就加上 5 美元剛好夠買杯咖啡。但這就是我當初開始與設備公司合作的由來。我們當時與晶片公司和設備公司合作,因此我在 1995、1996、1997 年就結識了他們。後來我發現自己不想當工程師。我發現我很擅長寫作,也很擅長與人溝通。我決定華爾街有買方(buy side)和賣方(sell side)這個產業。我最終選擇了賣方。我寫了一份研究報告,心想:「我辦得到。我沒有 MBA 學位,但我可以做到。」1998 年,有人給了我一個機會,於是我就一直幹到了現在,快 30 年了。

Gabby Lorenzi:這段時間基本上都是在看半導體產業嗎?

Timothy Arcuri:是的,因為如果不追蹤半導體產業的動向,就無法涵蓋整個供應鏈。當然,我並不是在那段時間的每一刻都在追蹤 NVIDIA。我大概是在過去 10 年左右才開始涵蓋 NVIDIA 的。我的研究範圍從供應鏈一路擴展到直接涵蓋晶片製造商本身。

Gabby Lorenzi:大約五年前,你有沒有什麼醍醐灌頂的時刻?我猜你當時的工作徹底改觀了,或者這完全符合你前 15 年的預期?我一直很喜歡聽深耕這個市場的人分享,當你驚覺世界即將改變的那一刻是什麼情景。

Timothy Arcuri:說來好笑。我甚至不知道自己當時是否真正理解這件事的嚴重性,但我記得 Jensen(黃仁勳)曾在我們位於舊金山加州街 555 號的辦公室裡。那大約是 2023 年 2 月,房間裡大約有 30 位投資人。當時的情景是我和 Colette、Jensen 以及投資人關係(IR)團隊坐在同一輛車裡,在舊金山市區穿梭。

Brian Shakar:當時 NVIDIA 市值大概是 5,000 億美元左右?

Timothy Arcuri:市值可能比那還要低。大概只有 700 億或 800 億美元。ChatGPT 剛問世,但沒有人真正知道它會變得多大。Jensen 當時看著窗外說:「未來太光明了,我甚至無法形容未來有多光明。」他在那場會議中表現得極度看好。

Brian Shakar:不過我想這種豪語你應該聽過很多次吧?

Timothy Arcuri:是的,但在某些時刻,你當下並不知道這意味著什麼。我走出會議室時心想,哇,這裡面有些東西我真的必須好好掌握,因為我在職業生涯中打過交道的高階管理團隊很多,而這裡正在發生一些特別的事情。回過頭來看 GPT 的用戶數據,你會發現情況正在發生變化,一環扣著一環。當然,在那個時候,我從未料到 NVIDIA 會變得如此龐大,我想他當時可能也沒料到。事情就這樣一步步發展,演變成我每天收到 100 到 150 個投資人的提問。要應付這些實在是不可能的任務。為了回應所有的開會請求,我幾乎需要把自己複製好幾份,所以這算是一個幸福的煩惱。後來我甚至收到了一些死亡恐嚇,當你說了一些某些人不喜歡聽的話時,就會收到威脅,這在行裡也是有的。我常對我太太說,總有一天我要寫一本書,記錄過去五年所發生的點點滴滴。

Brian Shakar:我們非常期待看到第一版。

衡量 AI 需求與快速推論定價

Brian Shakar:我很好奇你對如何理解當前局勢的思考模型是什麼?你是如何著手思考這整個問題的?

Timothy Arcuri:我想首要之務是確保在建造了這麼多運算容量的同時,有一點對我來說非常明顯:需求遠遠大於供給。為什麼?因為我觀察到那些已經使用 7 到 8 年的執行個體(instances)、正在約滿退租的 Ampere 執行個體、A100 晶片,我只需要知道一件事:這些舊晶片重新出租的價格竟然更高。光是這一點就說明了一切,你不需要知道其他任何事情——只要舊設備約滿退租時還能以更高價格租出去,就證明了需求遠遠大於供給。因此,我並不需要過度擔憂需求問題,因為重點完全在於供給。我的大部分工作都圍繞著台積電擴充晶圓產能的速度以及設備製造商能生產多少機台。這主要是供應端的工作。現在,工作重心稍微轉移到試圖審視需求並說:市場預期已經不斷增長,而我們現在到了這個位置。首先,我較少關注的其他環節是否有能力在我們預期的時間框架內負荷這一切?其次,市場對此真的有需求嗎?這就是接下來大家紛紛在問的問題:「Tim,那需求呢?」我今天早上發表了一份數據,指出未來將新增 380 GW 的電力,但這是一個電力數據,而不是 IT 運算數據;其中包含了 PUE(電源使用效率)因素。問題在於,如果我們在未來五年內要增加 380 GW 的電力,必須創造多少營收才能回本?這正是討論正在延伸的方向。你可以參考一些公佈了每 GW 平均經常性收入(ARR)數據的實驗室,然後做一下數學計算。這就是我接下來必須花更多精力去解答的問題,好讓大家相信這一切對全球 GDP 的貢獻,進而相信市場能夠消化這所有的 GW。

Gabby Lorenzi:我們之前做過一場簡報,當時推估採購、架設並交付一 GW 的電力需要 300 億到 500 美元不等的資金,這意味著在 4 到 5 年的週期內,你需要創造大約 800 億美元的毛利。這大體符合你對交付一 GW 電力所需成本以及能賺取多少利潤的思考方向嗎?

Timothy Arcuri:是的,沒錯。

Gabby Lorenzi:其中一個較大的槓桿在於人們願意支付的每個 token 價格。你是如何看待這個問題的?你如何理清這個價格的走勢?

Timothy Arcuri:我自己對此也有很多疑問,因為在任何科技產業中,每個 token 的成本終究會下降,問題在於下降的速度有多快。現在市場上出現了像程式碼編寫(coding)這樣的工作任務。目前存在一個龐大的「快速推論(fast inference)」市場。Jensen 出資收購了 Groq,Cerebras 已經上市,還有 SambaNova。有許多公司都在為快速推論市場提供服務,因此這不單單只是每個 token 的成本問題,市場中還存在一個效能導向的區塊。

Brian Shakar:而且客戶總是願意支付更高的價格。市場永遠存在願意為高階 token 及其交付速度支付溢價的意願。

Timothy Arcuri:看起來確實如此。問題在於這個市場佔總市場的 10% 還是 20%。Andrew Feldman 會說這就是整個市場,根本不存在慢速推論市場,只有快速推論市場。我當然理解 Andrew 的說法。Jensen 在不同時期給出的數字有所不同,但他認為大約佔市場的 10% 到 20%。我對於市場在每個 token 價格上所能承受極限的看法正在不斷演進。

Brian Shakar:你是如何在這些問題上建立自己的信念的?特別是在 token 這一塊,你是透過花時間與各大實驗室交流、與晶片公司接觸,還是與開發者對話來建立論點?你是如何建構出像 token 經濟學這麼細緻的論述的?

Timothy Arcuri:身為半導體分析師,我是一個關注「價格乘以數量(P times Q)」的人,當我試圖把橋樑搭到未來的 token 經濟學會是什麼樣子時,這就有點超出我的舒適圈了。這也是為什麼我會試圖調動我們團隊中軟體、網際網路和公用事業分析師的資源來協助。我不敢說我擁有所有答案,但這正是我試圖解答的問題,因為我可以告訴你未來會增加多少運算容量。但我比較難告訴你的是,屆時需求是否會存在。我懷疑在五年內需求會出現,但究竟是什麼樣的殺手級應用(killer app)來驅動這項需求?我其實不太確定。如果你拿各大實驗室公佈的每 GW 營收數據來看,雖然聽起來是個大數字,但放眼五年後,它其實只佔全球增量 GDP 的幾個百分點。如果你這樣提出問題,並對一般投資人說:「股票市場目前的預期是 AI 將在五年內為全球 GDP 貢獻幾個百分點」,這聽起來很瘋狂嗎?我不這麼認為。

AI 如何改變半導體研究工作

Gabby Lorenzi:我對分析師的工作方式非常著迷,因為你必須消化大量的資訊,同時還要撰寫備忘錄和筆記。在一個充斥著各種 AI 內容、每個人都試圖高效利用 AI 來提升工作成效的世界裡,這一切可能變得十分擁擠。你覺得你的工作正發生什麼樣的變化?是變得更好了,還是這個產業必須針對 AI 對半導體分析師實際工作的衝擊做出正確調整?

Timothy Arcuri:我們現在做的很多事情,其實也是每個研究部門都在做的:做一些非常基礎的事情,讓我們的內容更容易消化、讓寫作更輕鬆,並且從法律合規的角度出發,不用逐字閱讀就能更快將報告發布出去。這些都是非常基礎的應用。但回到我骨子裡「P times Q」的思維,我現在必須扮演一些我過去從未扮演過的角色。在你們面前班門弄斧了,因為你們每天、無時無刻都在這麼做,隨時切換不同的角色。對我而言,我必須成為半導體以外領域的專家——我必須了解投資報酬率(ROI),以及 AI 的實際應用場景究竟是什麼——這並不是我過去一向擅長的領域。我發現自己被迫去嘗試成為更廣泛領域的專家。我過去的工作不是「寬度一英寸、深度一英里」,也許是「寬度一英尺、深度一英里」,或者可能是「寬度五英尺」。而現在,我必須掙扎著如何做到「寬度一百英尺、深度一英里」,這真的非常困難。

Gabby Lorenzi:在閱讀研究筆記時,利用 AI 來理解文獻對消費者端來說很有價值。但對於一個需要持續寫作和閱讀的人來說,這徹底改變了工作流程。

Timothy Arcuri:正如 Elon Musk 所說,未來將不再有各種 App,AI 將為你搞定一切。也許你只需要問:「我該買什麼?」然後就不再有什麼個股了,只剩下一團巨大的 AI 智慧體。我們最終可能會走向那樣的世界。

NVIDIA、AMD 與 Intel

Brian Shakar:如果我們退一步,思考處理器領域的核心玩家——運算格局——NVIDIA 一路領先,AMD 緊追在後,而 Intel 則迎來某種程度的重生。你對這三家公司的前景、市場地位以及各自的優勢有何看法?讓我們宏觀地看一下整個運算領域的版圖,然後再跳到記憶體板塊。

Timothy Arcuri:以 NVIDIA 來說,憑藉 CUDA 和龐大的安裝基礎(installed base),令我驚嘆的是,他們今天出貨的每一張 GPU——AMD 也是如此——仍然全部屬於「綠地出貨(greenfield shipments,即全新增量市場)」。我們甚至還沒有開始升級既有的安裝基礎。NVIDIA 特別具備這種對安裝基礎進行變現的能力,這是其他競爭對手所不具備的,原因非常簡單,就是因為他們的基數太龐大了。從一開始,CUDA 和軟體護城河就讓他們脫穎而出,而這種安裝基礎變現的機會對他們來說是極其獨特的。至於 AMD,起初他們的 ROCm 軟體生態並未到位,但現在他們打交道的絕大多數公司其實並不在乎 ROCm。對於超大規模雲端服務商(hyperscalers)來說,這並不是一個大障礙,因為他們擁有自己的軟體資源。ROCm 對企業級客戶(enterprise customer)很重要,但對超大規模業者而言則不然。所以我認為這不再是那麼大的阻礙。AMD 在硬體方面對許多工作負載來說都極具競爭力。現在的問題在於,是否存在某種令人信服的理由讓 AMD 比 NVIDIA 更好?在大多數應用場景中,我認為依然沒有。NVIDIA 在機櫃工程(rack engineering)方面也處於領先地位,當你開始組裝機櫃並處理整個生態系統時,NVIDIA 已經跨越了許多 AMD 目前才剛要跨越的障礙。AI 工廠的故事在 NVIDIA 這邊非常清晰。NVIDIA 正在創造數季的產能領先,從這個角度來看,他們領先了兩步。如果他們能夠持續執行年度產品疊代節奏(annual cadence),將使任何人幾乎都難以追趕。我對 AMD 依然抱持很高的預估,因為市場規模實在太大了,所以在未來幾年內 AMD 將會成為一家規模大得多的公司。至於 Intel,我對 Intel 的晶圓代工(foundry)業務和製造能力的看好程度,遠高於他們的產品藍圖。Lip-Bu Tan(劉德音/福武燦?此處指 Tan Lip-Bu,即陳立武)非常出色,他正在力挽狂瀾並將持續推動轉型。但對於客戶而言,無論是在先進封裝的 EMIB 技術還是在前端晶圓代工方面,與 Intel 合作製造都有著更令人信服的理由。這才是我對 Intel 感到興奮的地方。

客製化晶片、Broadcom 與 MediaTek

Gabby Lorenzi:那麼超大規模雲端服務商和客製化矽晶片(custom silicon)呢?這感覺像是拼圖中 equally important(同等重要)的一部分。

Timothy Arcuri:我將 Broadcom 視為超大規模雲端服務商的賦能者。ASIC 的發展歷程是這樣的:起初你沒有自己的基礎設施或半導體團隊,於是你隨著時間慢慢建立。你一開始會找一家可以信賴、能夠大批量製造晶片的全面服務 ASIC 供應商:Broadcom。以 Google 為例,他們花了七個世代的時間,才終於摸索出自己擁有足夠的資源來親自動手,並直接採購 HBM。Google 在這條道路上已經走了 7 到 10 年。Amazon 在這條路上可能走得更遠,因為他們在 10 多年前就收購了 Annapurna。我把 Amazon 和 Google 歸入與其他人不同的類別。這條發展路徑都是一樣的:沒有人想付給 NVIDIA那麼多錢,但許多人別無選擇。他們希望掌握自己的命運,但你絕對不可能將全部的基礎設施都押注在 ASIC 上。組合中永遠會包含多元配置。在 ASIC 領域,每個超大規模業者都處於該演進過程的不同階段。如果你看 Broadcom 的 Google 業務,Hock Tan(陳福陽)所透露的言外之意是,Google 在 2028 年的成長將持平或微幅成長,但隨著增量業務轉向 MediaTek 和其他公司,其成長速度將會趨於平緩。Google 不會消失,因為他們仍然會依賴 Broadcom 來做其他人無法完成的事情,但這是一個演進的過程。

Brian Shakar:你能解釋一下轉向 MediaTek 是怎麼一回事嗎?那是什麼?

Timothy Arcuri:客戶自有設計(Customer-owned tooling,簡稱 COT)。當你想自己動手、採購 HBM,而且不希望別人幫你製造整顆晶片(因為你想在晶片中加入大量的工程設計),這就是他們與 MediaTek 合作的做法。MediaTek 是他們在 COT 這端的合作夥伴。Broadcom 的作法則是走過來對你說:「我幫你把整顆晶片全部做完。我來搞定記憶體、我來搞定晶圓,然後我向你收取 60% 的毛利率。」Google 正在開始將其 ASIC 開發業務從 Broadcom 分散出去,轉向與 MediaTek 合作更多項目。

Brian Shakar:這是因為他們擁有更強的議價能力,可以與 HBM 及下游合作夥伴達成更好的交易,並且希望在內部投入更多資源嗎?

Timothy Arcuri:是的,完全正確。

Brian Shakar:NVIDIA 最近也跟 MediaTek 達成了一筆大交易,對嗎?那是不是關於筆電晶片的合作?

Timothy Arcuri:歸根結底,看看 NVIDIA 正在達成的交易。他們正在與 Broadcom 陣營以外的業者建立合作夥伴關係。超大規模業者那邊有 Broadcom,而另一邊則有 NVIDIA 與新一代雲端服務商(Neoclouds)。NVIDIA 希望更多 ASIC 能採用 NVLink Fusion。他們找上 Broadcom 以外的 ASIC 玩家與之合作,並對他們說:「跟我簽約,你就可以使用 NVLink Fusion 和我的矽智財(IP)。」我想 MediaTek 的合作案大概就是圍繞著這個方向。

Brian Shakar:雖然當時是在筆電晶片的脈絡下被討論,但它其實是為了鞏固實力、挑戰 Broadcom 在客製化 ASIC 領域崛起的一項更廣泛的布局。

Timothy Arcuri:是的。半導體產業中存在的「競合關係(coopetition)」簡直瘋狂。你以為兩個玩家勢同水火,結果卻發現他們彼此完全依賴對方。

推論新創公司與 Cerebras 的商業模式

Brian Shakar:你如何看待目前所有進攻這個市場的新創公司?

Timothy Arcuri:這真的非常有趣。快速推論與解構式推論(disaggregated inference)正在創造龐大的商機。預填階段(prefill)受限於運算能力(compute-bound),而解碼階段(decode)受限於記憶體(memory-bound),因此你可以在 ASIC 領域看到所有這些創新。我們談到了 Cerebras、SambaNova 以及其他擁有分層記憶體架構(tiered memory architectures)的公司。你看到了大量圍繞著解構式推論的創新,Etched 就是你們很熟悉的一家公司。提高現有 GPU 機隊利用率的機會實在太巨大了。如果你跟這些雲端業者交談,他們會告訴你,在實際操作中,GPU 的利用率只有 30%、40% 或 50%。要加速整個運算叢集的效能,存在著巨大的機遇。

Gabby Lorenzi:在 Cerebras 剛完成 IPO 之後,從私人市場跨入公開資本市場的轉變,對你的研究涵蓋範圍以及市場的認知產生了什麼影響?

Timothy Arcuri:Cerebras 一直非常成功。當他們簽下 OpenAI 的合約時,他們的命運發生了重大轉變,這在我的研究報告中都有記錄。現在他們也與 Amazon 簽署了框架協議。大多數公司都想採用解構式推論來加速其現有的安裝基礎。Cerebras 幫助點亮了快速推論市場的明燈。就在他們簽署那筆合約後不久,Jensen 就收購了 Groq。過去六個月發生了巨大的變化,Cerebras 迎來了海量的商機。市場規模如此之大,以至於他們根本不需要佔據太大的市佔率,就能成為一家規模大得多的公司。

Brian Shakar:市場將密切關注 OpenAI 的部署進度。其中的關鍵細節是什麼?

Timothy Arcuri:以 Cerebras 來說,與 OpenAI 的框架協議包含三個階段,每個階段 750 MW,並附帶一些選擇權。起初,這筆交易是一筆雲端服務合約,因為 OpenAI 自己沒有基礎設施,所以他們要求 Cerebras 尋找一個共置機房(colocation facility)並負責營運。隨著時間推移,我們將看看它會如何演變。我的假設是,隨著時間推移,Cerebras 的業務將呈現 50% 雲端服務與 50% 硬體銷售。這是他們商業模式中的一個重大演進,因為同時銷售硬體和雲端服務讓他們顯得獨一無二,儘管我認為這目前更多是出於現實需要,而非長期的戰略偏好。市場上有些人主張,對於超大型模型來說,由於必須將所有資料儲存在單一裸晶(wafer)上,一旦你把資料移出裸晶,某些競爭優勢就會消失。我對這種說法表示理解,但我不認為這是什麼大問題。其他人,包括 Elon Musk,也曾嘗試過整塊晶圓級(wafer-scale)的方案,但未能成功。Cerebras 確實點燃了私人企業進攻解構式推論的導火線。

Micron、HBM 與記憶體週期

Brian Shakar:我們來談談記憶體。對你以及整體記憶體市場來說,這都是意義重大的一年。聊聊 Micron,這家公司是如何演變的,以及涵蓋它的研究是什麼體驗。

Timothy Arcuri:如果你看這檔股票,它的股價漲幅驚人,但其獲利也同樣暴增。市場交易這檔股票時,彷彿一切都沒有改變,給予它大約 4 倍本益比的極低估值。市場不知道該如何應對獲利成長如此迅速的公司,尤其是對一家歷史上具有高度週期性的公司而言。NVIDIA 曾經歷過週期,例如當加密貨幣熱潮興起又消退時,其本益比曾在谷底獲利時達到 40 倍,但記憶體一直以來都是高度週期性的,因為它是由供給而非需求驅動的。市場總是會過度建設產能;建立一座晶圓廠需要兩年時間,這造就了巨大的週期。而改變這一點的是 HBM(高頻寬記憶體)。HBM 遵循年度產品節奏,因為每一代新的 ASIC 或 XPU 都需要不同版本的 HBM。記憶體生產商與客戶之間必須保持持續的緊密溝通,每年都要針對新規格指定需求。當一顆新晶片推出時,舊款的 HBM 通常就無法再使用了。這種情況下產生了過去所沒有的「過時風險(obsolescence)」。在傳統 DDR 的世界裡,DDR 的規格可以使用 7 到 8 年,因此客戶會在價格低迷時建立庫存,並在價格上漲時消耗庫存,從而造成巨大的供需週期。HBM 徹底改變了這種動態。

Brian Shakar:所以 HBM 將記憶體直接與運算技術藍圖綁定在一起了。

Timothy Arcuri:沒錯。在 AI 世界中,推論成本很大程度上是由記憶體驅動的。在解構式推論中,我常用一個比喻:當你小時候摸了熱爐子,你會使用邏輯細胞來學會以後不要去摸它。此後每次你走進廚房,你都會產生一個有價值的推論 token,但它是從你的記憶庫(memory bank)中提取出來的。推論高度依賴記憶體,這使得記憶體在 AI 世界中的價值遠高以往。市場看著 Micron 的獲利,假設它們會崩盤,於是給予其很低的本益比。目前,其本益比非常接近帳面價值比(book multiple),這種情況在過去幾乎見不到,因為獲利成長太快,導致帳面價值根本來不及跟上。

Gabby Lorenzi:在這種脈絡下,帳面價值(book value)指的是什麼?

Timothy Arcuri:有形帳面價值(tangible book value)由廠房與設備(PP&E)、現金及資產負債表上的資產組成。在景氣上升期,獲利推動股價;在景氣下行期,股價則依據帳面價值交易,因為人們擔心記憶體製造商會燒掉現金,進而侵蝕帳面價值。投資人會退守至帳面價值作為底部支撐,因為它比獲利波動來得小。那些在市場打滾多年的分析師看到 Micron 的毛利率高達 85% 時,會認為上行勢頭已經耗盡。它不再是一場方向性的交易,而變成了一場關於「能見度持續時間(duration)」的辯論:這些獲利的持續性有多高?歷史上來看,它們並不持久,但超大規模雲端服務商現在正在簽署長期合約。

長期記憶體合約帶來了什麼改變

Timothy Arcuri:由於成本漲得太兇,超大規模雲端服務商簡直叫苦連天。他們需要對輸入成本有確定性,因此他們承諾提供高達 100 億美元的預付款,以買斷未來三年的產品。

Brian Shakar:這是最大的結構性轉變:記憶體產業過去從未簽過長期合約。

Timothy Arcuri:從來沒有像這樣過。過去,你可能在 1 月 1 日坐下來,透過框架協議討論年度採購量,但在一個價格導向的市場中,如果現貨價格下跌,買家就會以半價在現貨市場買進,而放棄合約量。而現在,各大 HBM 製造商的記憶體產能已經被預訂一空好幾年,這在過去的週期中從未發生過。這是因為 HBM 的年度產品節奏,而且生產一片 HBM 晶圓所消耗的產能大約是非 HBM 晶圓的四倍。當 GPU 的需求將產能吸向 HBM 時,它就像一個供應錨點,從更廣泛的市場中抽走了晶圓產能,因為每層良率達 95% 的垂直堆疊(vertical stacking)會大量消耗晶圓廠的產能。需求上升了,而可用的標準品供應卻減少了。

Brian Shakar:所以這個週期變得更具持久性了。你認為這是一種結構性轉變,而不僅僅是標準的景氣循環嗎?

Timothy Arcuri:在景氣的另一端,最終還是會出現週期性衰退。在業界待了 30 年後,每當有人說「這次不一樣」,通常情況往往大同小異。記憶體價格最終還是會崩盤。但考慮一下這些合約是如何運作的:如果你在 3、4 個月前簽署了一筆合約,到年底時,合約價格大約只有公開現貨市場價格的一半,因為現貨價格持續攀升。合約中包含了一個遠低於當前水準的保底價格(floor price)。即使公開市場價格暴跌 70% 到 80%,客戶仍然會根據這些合約提領產品。Micron 即使在重大產業下行期也能持續賺取可觀的利潤,產生現金並複利累積帳面價值,這將以實力硬生生地把股價推高。

Brian Shakar:相較於 SK 海力士(SK Hynix)和三星(Samsung),你如何看待 Micron?

Timothy Arcuri:我沒有涵蓋韓國的公司;我們的亞洲團隊負責追蹤他們。但 Sanjay Mehrotra(行政總裁)已經將 Micron 轉型成一家矽谷風格的公司步調。它過去是一家來自愛達荷州博愛市(Boise)、步調較慢的公司,但 Sanjay 從 SanDisk 引入了優秀的人才。技術差距已經縮小,在許多方面,Micron 甚至已經從落後者變成了領導者。這裡面還有地緣政治的因素:美國政府希望支持國內半導體製造,這使得 Micron 的戰略利益與美國國家利益高度契合,與 Intel 並駕齊驅。

Brian Shakar:他們在紐約州北部等地的晶圓廠擴建計畫,對你的看法有何影響?

Timothy Arcuri:歷史上,投資人看到大規模晶圓廠宣佈擴建時往往會感到厭惡,因為這通常預示著產能過剩。但在過去,背後從來沒有長期合約作為支撐。過去的產能過剩是由於生產商盲目追逐現貨價格、進行投機性的產能擴充所造成的。有了長期合約(LTAs)提供營收能見度,資本支出變得更加紀律嚴明,並與具體承諾掛鉤,從而降低了大規模過剩建設的風險。如果這次真的出現下行週期,那也必然是由於需求崩盤所驅動,而不是由非理性的供應激增所引發。

### 設備、封裝與晶圓廠經濟學

Brian Shakar:對於應用材料(Applied Materials)和科林研發(Lam Research)等半導體設備公司,市場忽略了什麼?

Timothy Arcuri:應用材料或科林研發與 Micron 的股價相關性高達 0.9 左右。設備股往往被拉入關於「毛利率見頂與持續時間」的記憶體辯論中。但晶圓廠設備(WFE)在其產能擴充週期中所處的階段,要比運算晶片早得多。台積電多年來一直擁有足夠的運算晶片產能可供成長,而設備公司則才剛開始填滿新的無塵室。從根本上講,設備能讓你為未來多年的成長進行承保。根據我們的計算,每一 GW 的運算容量大約需要 40 億美元的前端設備投資。

Brian Shakar:而我們之前估計到 2030 年或 2031 年累計將增加 380 GW?

Timothy Arcuri:是的。如果你在某個遠期年度增加了 100 多 GW 的電力,100 乘以 40 億美元意味著超過 4,000 億美元的晶圓廠設備支出。這已經超出了我的官方預測視野,但它展現了相較於今年 1,550 億至 1,580 億美元的全球晶圓廠設備市場,未來潛在的龐大規模。

Brian Shakar:設備領域的核心創新發生在哪裡?是在新的記憶體單元設計、用於缺陷分類的機器學習,還是在其他地方?

Timothy Arcuri:許多傳統上屬於前端(front-end)的製程正在向後端(back-end)轉移。先進封裝、垂直堆疊以及新材料正推動著重大創新。各家公司正在記憶體中採用全新的材料組合,這需要專門的設備。其他人則在重新思考晶圓廠架構與晶圓流徑(wafer routing)。許多晶圓廠仍然依賴 40 年前的批次處理模式,即晶圓盒(cassettes)閒置等待工具處理。高深寬比蝕刻(high-aspect-ratio etching)領域也存在創新。科林研發很早就意識到架構正朝著垂直化發展,正如 3D NAND 和矽通孔(TSVs)所見,並據此調整了他們的產品組合。

Gabby Lorenzi:先進封裝、材料、供電以及散熱技術正被直接整合到矽晶片中,這進一步鞏固了掌控整個技術堆疊(stack)的行業巨頭如台積電和 Intel 的地位。

Timothy Arcuri:過去,這個產業大約每 10 年就會過渡到更大的晶圓尺寸,以降低裸晶成本,因為成本並不會隨著晶圓面積等比例擴大。大型晶片製造商或聯盟會資助設備供應商為下一個直徑尺寸製造機台。300mm(12吋)晶圓大約是在 2002 年左右引入的。如果在 2005 年你告訴我,20 年後我們依然停留在 300mm,我會覺得你瘋了。鑑於台積電的規模,我感到很驚訝為什麼至今還沒有人資助下一次尺寸過渡。然而,限制因素已經從晶圓尺寸轉變為 ASML 微影設備的曝光視場大小(scanner field size)。

Brian Shakar:什麼是視場大小?

Timothy Arcuri:光罩極限(reticle limit)定義了曝光機可列印的最大區域。電晶體是在這個固定的光學窗口內被圖案化的。這就像光學底片一樣:你只能曝光一定的面積,然後就必須把多個裸晶拼接(stitch)在一起,這就是為什麼像 NVIDIA 最新晶片這樣的處理器,都是受到光罩極限限制的多裸晶封裝。

Brian Shakar:你有直接涵蓋 ASML 或台積電的研究嗎?

Timothy Arcuri:我沒有直接涵蓋 ASML 或台積電。ASML 由我們的歐洲團隊負責,台積電則由亞洲團隊負責,但理解他們的產品藍圖是涵蓋供應鏈其餘部分的基礎。

新型運算公司的競爭空間

Gabby Lorenzi:對於看到新創公司湧入這個領域的早期投資人,你有什麼問題想問嗎?

Timothy Arcuri:我很想知道你們對運算架構有什麼看法?我們是否已經在既有的軌道上走了太遠,以至於如果你現在還沒有投資運算架構,就已經太遲了?未來五年內的早期創新究竟會圍繞著處理器展開,還是會轉向系統級技術或光學運算(photonics)?

Brian Shakar:我們投資了 Etched 的種子輪。鑑於龐大的資金需求以及現有巨頭的規模,直接在通用矽晶片(general silicon)領域與現有藍圖正面競爭是非常困難的。光學運算代表了一種真正的典範轉移(paradigm shift),任何引人注目的方法都值得獲得早期資金支持。後期創投投資人正在將資金投向運算領域,為擁有龐大資金、處於獲利前夕的矽晶片公司提供 B 輪和 C 輪融資,其中甚至有像貝萊德(BlackRock)這樣的機構參與。

Timothy Arcuri:記憶體的限制正在推動架構上的轉變。NVIDIA 正在調整規格以建構更大規模的擴展網域(scale-up domains),這將把價值進一步推向網路、光學和互連技術。

Gabby Lorenzi:在種子輪階段,我們專注於先進共封裝(co-packaging)、電光材料(electro-optical materials)、新型記憶體架構以及生物運算。隨著私募與公開市場估值的攀升——SpaceX 達到 2 兆美元,NVIDIA 達到 5 兆美元——龐大的資金規模將後期資本吸引到了運算衍生領域,而早期資本則在尋找基礎性的賦能技術。

Timothy Arcuri:半導體目前大約佔標普 500 指數的 18%,這驅動著投資人去工業和散熱基礎設施領域尋找衍生投資機會。這在你們公司是如何體現的?

Brian Shakar:我們每個團隊都有各自的運算切入點。工業組關注資料中心的發電與電網效率;金融科技組評估運算期貨與定價指數;企業 AI 組評估相對於運算支出的投資報酬率歸因。邊緣運算、實體 AI(physical AI)和硬體安全也正在看到類似的跨領域活躍度。

協作型機器人、人形機器人與晶片需求

Gabby Lorenzi:在實體 AI 和機器人領域,有哪些趨勢正在轉化為公開市場的動能?

Timothy Arcuri:協作型機器人(cobots)目前已經實現商業化。Teradyne 透過 Universal Robots 擁有相當規模的協作機器人業務。儘管成長面臨總體經濟的逆風,但採用率仍在不斷擴大,正如 Amazon 在倉庫分揀與存放作業中部署協作機器人所見。人形機器人正引發高階主管們的大量討論。從半導體內含價值的角度來看,人形機器人本質上就是一台會走路的電動車。如果出貨量達到規模化,其矽晶片內含價值將構成一個龐大的市場,儘管廣泛的商業化落地還需要更長的時間。

政治反彈與客戶集中度

Brian Shakar:你是如何看待政治逆風的,例如反資料中心的聲浪以及圍繞 AI 安全性的監管壓力?

Timothy Arcuri:在過去這一年裡,人們經常詢問關於黑天鵝風險的問題。我並不擔心近期的需求或供給。我主要的擔憂是社會與地緣政治的反彈——這相當於現代版的「手持草叉抗議」,起因於對工作機會被取代或電力消耗過大的擔憂。這可能會動搖政治界對 AI 基礎設施的支持。這個產業需要更好的溝通,並與政府行政部門建立更緊密的合作,不過與中國的競爭動態在某種程度上限制了開發速度可以放慢的程度。

Gabby Lorenzi:市場同時也對經濟權力高度集中在少數幾家超大規模雲端服務商手中感到擔憂。

Timothy Arcuri:NVIDIA 高度集中的資本支出,在下游為應用材料、Micron 及整個價值鏈帶來了高度的客戶集中度。投資人經常質疑這種客戶基礎的長期可持續性。

Brian Shakar:如果你沒有從事半導體研究,你現在會做什麼?

Timothy Arcuri:我可能會成為一名 DJ 並打高爾夫球。我熱愛 1980 年代的音樂,並將其與現代科技電音融合來製作混音帶。只是我現在實在沒有時間。

Brian Shakar:希望你還能為我們下一季製作開場音樂。你對未來一兩年有什麼非共識的預測嗎?

NVIDIA 的安裝基礎與景氣下行時優先砍單的對象

Timothy Arcuri:人們低估了 NVIDIA 安裝基礎的長期價值。今天每一美元的營收都代表著全新的綠地部署;沒有一美元是棕色地帶(brownfield)的舊機換新。隨著時間推移,這些安裝基礎將透過升級和效率提升來實現變現。當前的 Blackwell 和 Rubin 出貨量純粹是對全球運算容量的增量貢獻,但最終舊架構(如 Ampere)將被取代。這將創造一個升級週期,即使整體資本支出放緩,也能為營收提供緩衝。

Timothy Arcuri:此外,我曾與某位資訊長(CIO)辯論過一個問題:當超大規模業者的資本支出趨於平緩時,究竟什麼會最先被砍單:客製化 ASIC 還是市售 GPU?大多數投資人都假設市售 GPU 會先被砍單,以保護內部客製化矽晶片的毛利率。我的看法剛好相反:客製化 ASIC 會先被砍單。ASIC 是專為狹隘的工作負載而建構的,而市售 GPU 則具備在產業緊縮期間所需的架構靈活性。

Brian Shakar:非常感謝 Tim 今天撥冗分享你的見解與觀點。

Timothy Arcuri:謝謝大家。

Brian Shakar:身為研究分析師,Tim 必須提供某些關於他本人以及瑞銀集團與他所評論之任何公司之間關係性質的揭露聲明。這些聲明可在 ubs.com/disclosures 查閱。