Google 訪談實錄：Jeff Dean 談論推論硬體專門化與自我改進的 AI 系統
2026 年 Y Combinator 創業學校（Y Combinator Startup School 2026），2026 年 9 月 20 日
AI 模型已經是初階工程師了嗎？
Diana Hu：好的。我們開始吧，Jeff？
Jeff Dean：沒問題。聽起來很好。
Diana Hu：好的。Jeff，歡迎。再次非常感謝你來到這裡。特別是我剛好感冒了，非常謝謝你出席。
Jeff Dean：對啊，我恐怕嗓子有點啞。我平常聽起來不太是這樣的，但我們會盡力而為。
Diana Hu：你打造了 MapReduce、Bigtable、TensorFlow、TPU、Gemini。我們可以用整整一個小時來細數你所做過的所有成就，但我最欣賞的是，你依然敢在公開場合做出大膽預測。去年 2025 年 5 月在 AI Ascent 大會上，你曾說過 AI 的水準已經達到初階工程師（junior engineer）的程度。那是大約一年前的事了。我們距離實現這個預測還有多近？
Jeff Dean：對，我是覺得，這些模型在基於代理（agent-based）、執行時間較長的編碼任務上變得越來越好了。很顯然，它們現在確實具備相當的能力。根據你對初階工程師的精確定義，我覺得這個說法還蠻準確的。
Diana Hu：你當時的預測有什麼低估了的地方？
Jeff Dean：我覺得模型處理越來越複雜任務的能力，成長速度比我預想的還要快。我也認為，在編碼之外，這些基於代理的系統在其他領域也真的開始展現光芒。我覺得這會是未來的一個重要趨勢。
Diana Hu：再給我們一個大膽的預測。你認為 2027 年的版本會是什麼？
能夠自我改進的 AI 系統
Jeff Dean：我想你會看到機器學習（ML）系統本身出現更多的自動化。基本上就是讓 ML 系統透過執行大量實驗、將問題拆解成子問題、在緊密的自動化實驗迴圈中執行這些子問題、將結果組合起來，然後從這種完全自動化的問題拆解與自動化實驗中，產出一個改進後的系統。我覺得這會非常令人興奮。我也認為這不僅適用於 ML，同樣適用於其他科學與工程領域。基本上，任何擁有可衡量目標的領域，我認為如今都能取得很大的進展。
Diana Hu：現在我們把時間稍微拉回歷史。早在 2001 年時，Google 搜尋引擎還是在硬碟上運作的。
Jeff Dean：沒錯。
Diana Hu：而你跟 Sanjay 當時算了筆帳，發覺在某個時間點，整個搜尋索引最終將能夠完全裝進你們所有運行中電腦的 RAM（隨機存取記憶體）裡。你們有了這個激進的體悟，結果基本上只花短短幾天時間，就與 Sanjay 共同在生產環境中推出了一個全新的搜尋版本——它是在 RAM 中運作，而不是在硬碟上。就是這件事讓 Google 搜尋變得如此迅速。歷史總是會重新混音。此時此刻在 2026 年，所有在場的人都應該思考並著手設計的「它裝得進記憶體」時刻究竟是什麼？
改變一切的 Google 搜尋突破
Jeff Dean：對，雖然有點不同，但我認為你會看到越來越多高效能、低功耗的推論硬體系統。我想大家現在都意識到，推論是讓這些基於代理的系統能夠普及給越來越多人的關鍵，延遲（latency）真的非常重要，而硬體的專門化（specialization）則是打造出比 GPU 或 TPU 等更具通用性運算裝置更具能源效率、更低延遲設備的關鍵途徑。這裡每個人都習慣等待模型的回應。等待可一點都不好玩。
Diana Hu：掌握速度。所以你的意思是，如果我們不再需要等待呢？
Jeff Dean：對啊。試想一下，如果延遲縮短 50 倍，你能做到什麼樣的事情？
AI 代理將能連續運行數週
Diana Hu：很有意思的想法。那麼，在座大約 6,000 人目前對於 AI 的認知中，已經過時的錯誤假設是什麼？
Jeff Dean：這是一個好問題。我想其中一點可能是，大家還不太清楚要讓基於代理的系統針對你在乎的問題運行不只是 1、2 個小時，而是針對某些問題領域，並搭配底層高度強大的模型，讓它們能夠運行數天甚至數週、去執行非常非常複雜的任務，這件事是多麼可行。有些人已經開始看到端倪了，但我認為並不是每個人都真正內化了這個概念。這將會是一件大事。
Diana Hu：你有親自執行過運行數週的特定任務嗎？那是什麼？你指示代理去解決什麼問題？
Jeff Dean：你可以下達指令讓代理去以不同的程式語言實作全新版本的軟體，這些版本可能具備更好的安全性或效能特性，然後它們就能夠以相當嚴謹的方式去完成這件事。
催生 TPU 的餐巾紙數學
Diana Hu：這真的很酷。現在，你廣為人知的事蹟之一，就是你非常擅長「餐巾紙數學」（napkin math）。聽起來很有趣。關於你的傳奇故事之一是，早在 2013 年當語音辨識開始在 Google 運作時，你透過餐巾紙上的計算發現，如果每個 Google 用戶都用手機開口說話、每天只使用語音辨識系統 3 分鐘，你就會發現必須將 Google 的伺服器規模擴充雙倍，光是為了做語音轉譯就會付出非常、非常高昂的代價。
Jeff Dean：對。
Diana Hu：相反地，你基本上打造了一顆自訂晶片，這就是 TPU 的起源故事。
Jeff Dean：對。我們當時開始看到我們所訓練的深度學習語音模型取得了非常優質的成果，但跟舊的語音系統相比，它們的運算成本非常高昂。不過，它們將錯誤率減半了。這簡直就像只花了幾個月的時間去調整模型、稍微擴大規模並取得更好的資料，就取得了相當於語音辨識領域 20 年的技術進步。因此我們開始擔心，如果語音功能變得好用得多，大家就會更常使用它。那個餐巾紙上的背後計算，確實就是圍繞著這點。萬一大家開始更頻繁地使用語音辨識來口述電子郵件、跟手機對話或做其他事情呢？結果我們意識到，我們需要比當時在 CPU 上運行更好的解決方案。於是我們想出了 TPU，它們針對低精確度密集線性代數（low-precision dense linear algebra）進行了高度專門化，而這正是我們今天幾乎所有現代機器學習演算法的核心。如果你針對低精確度密集線性代數打造一顆專門晶片、且什麼其他事都不能做，事實證明，這對機器學習推論非常有用，儘管它沒辦法執行 Chrome、Word 或其他程式。幾年後，這催生出了一款晶片，其能源效率比當代的 CPU 和 GPU 高出 30 到 80 倍，延遲也低得多，大約低了 20 到 30 倍。
Diana Hu：TPU 發展到今天所奠定的基礎真是令人驚嘆。你當時絕對不可能預料到，在 Transformer 架構發明之後——該架構是在你實際發明 TPU 的很久之後才問世——TPU 會變得如此具有基石地位。
Jeff Dean：對，這也就是為什麼我們當初打造的是一個通用線性代數系統，這正是 TPU 的本質。我們知道 ML 演算法仍在不斷演進，你不會想要過度專門化，但你希望專門化到足以獲得擁有超大型乘法單元所帶來的巨大效能優勢。我們可以擁有高速記憶體。我們可以為後續的 TPU 配備高速互連（interconnect），讓許多、許多的晶片高效率地共同應付同一個問題。我們一路將它們擴大規模，並在許多、許多的世代中持續提升它們的效能。
如何尋找突破性的點子
Diana Hu：不可思議的餐巾紙數學。餐巾紙真是好東西。那麼實際上，在座每一位想成為未來創辦人的人，今晚應該動手計算什麼樣的餐巾紙數學，才有可能打造出像 TPU 這樣具有影響力的東西？
Jeff Dean：這很難說。去思考你在任何你正在思考的問題中看到了什麼問題、看到了什麼瓶頸，並且思考是否有非常不同的方式來解決其中某些問題，能夠為你帶來一個數量級或兩個數量級的效能、能力或其他方面的提升。因為有時候，如果你稍微瞇起眼睛審視一個問題，想的不一定是被錨定在該問題今天是如何被解決的，而是你該如何從第一原理（first principles）出發去解決它，你就能夠想出非常好的點子，而這些點子可能不是其他人正在思考的方向。
AI 工程師的新心智模型
Diana Hu：這是一個好建議。在座如果有人不知道的話，Jeff 幾年前寫了一份非常著名的清單，叫做「每個電腦科學家都應該知道的延遲數字」（Latency Numbers Every Computer Scientist Should Know）。這些數字例如快取未命中（cache miss）需要花多久時間、磁碟搜尋（disk seek）、網路封包從加州傳輸到荷蘭等，許多關於分散式系統與系統工程的數字。這份清單被列印出來並張貼各處，成為許多分散式系統工程師的聖經。現在快轉到 2026 年，這份清單準備要更新了。請給我們現在 2026 年的 AI 版本。
Jeff Dean：如果你看看如今在 AI 系統中什麼是重要的，你會想知道像是：你的加速器上的主記憶體系統到晶片內記憶體（on-chip memory）、再到乘法單元之間的頻寬（bandwidth）。你會想知道執行單一乘法運算需要消耗多少能量。晶片之間的互連頻寬是多少，你可以用這種頻寬連接多少顆晶片？然後，如果超越這個領域，當你需要跟 1,000 顆晶片通訊而不是 500 顆時，網路頻寬的衰減又是多少？我認為這些都是非常重要必須學習的數字，它們確實影響了你如何思考解決特定類型問題的方式。
Diana Hu：我聽過你談論的一個有趣觀點是，如今你衡量一切的單位是「能量」。
Jeff Dean：對。
Diana Hu：你指出執行一次計算或數學運算大約消耗 1 皮焦耳（picojoule），但移動資料和執行資料 I/O 的成本卻是其一千倍。
Jeff Dean：對。就是把它從加速器上的 HBM（高頻寬記憶體）拉進處理器裡，好讓它實際進行計算。
為什麼 AI 其實是一個能源問題
Diana Hu：沒錯。這種差距默默地決定了哪些產品是可行的，以及 AI 中的這些演算法是如何被建構出來的。創辦人常常把哪些問題稱為模型問題，但實際上卻是能源或資料 I/O 問題？
Jeff Dean：你剛才提到在能量方面移動資料與實際計算相差 1,000 倍的例子，就是一個相當顯著的例子，它塑造了我們在機器學習中所做事情的許多面向。因為如果你沒有這 1,000 倍的差距，你就不需要進行批次處理（batching）。但你必須一次對許多範例或許多 tokens 進行批次處理，以便分攤（amortize）該資料移動的成本，這樣才不會付出 1,000 倍的速度減緩代價，而是付出 1,000 倍除以批次大小（batch size）的能源成本。對於極低延遲來說，批次處理其實並不太好。這類事情以及我們所使用電腦硬體中各項決策背後的能量消耗，確實深深影響了我們在建構更高層級系統時所做出的許多決策。
Diana Hu：一個非常具體的例子就是訓練模型的方式。這裡有一個完整的概念，叫做將資料集進行批次處理（batching datasets）並執行訓練週期（epochs）。人們可能會把它們誤認為是模型問題，但它其實是系統資料 I/O 問題，對吧？
Jeff Dean：對。你必須組合批次來獲得更好的硬體效率。理想情況下，你可能會進行批次大小為 1 的訓練，但在效率方面並不是最好。所以現在大家都會使用相當大的批次。
Diana Hu：你很擅長利用漫長的週末或幾週時間抽身投入，然後想出絕佳的解決方案。有沒有可能 Jeff 去鑽研個幾週，就把「批次大小等於 1」的訓練給搞定？
Jeff Dean：其實我最近一直在思考推論。推論是一個相當有趣的問題，因為你確實需要非常低的延遲。至於訓練，你則不一定需要極度低的延遲。我認為，比起現在，我們還有很大的空間可以讓硬體針對推論進行更多專門化。
Diana Hu：關於推論，有哪些你一直在深入思考的有趣之處？
Jeff Dean：試圖最小化資料移動、思考極低精確度的運算，而且或許不需要支援大量、各種不同種類的精確度。如果你覺得你已經對自己需要的精確度種類有了很好的答案，也許就直接把它建構進硬體裡，而不要做太多其他多餘的東西。
Diana Hu：這歸結出我從著名電腦科學家那裡聽到的一個核心類比：實際上，AI 的整個過程就是一個大型的壓縮問題。為了讓資料帶有失真（lossy）並將其壓縮然後還原，你基本上必須理解它。
Jeff Dean：如果你真的理解了資料，你應該就能夠把它壓縮得非常好。
Diana Hu：而現在 Transformer 架構基本上就是證明運作得非常好的方法之一。
Jeff Dean：對，到目前為止運作得相當不錯。我同事們幹得好。
上下文工程是下一個前沿
Diana Hu：是的。現在我們把鏡頭拉遠一點。過去，AI 的進展意味著更好的模型。你有更多資料、用更大參數訓練模型。但在過去這一年左右的時間裡，情況越來越轉向模型周邊的一切。不僅僅是模型大小、參數數量或更多資料，而是諸如檢索（retrieval）、工具、記憶體、代理工具等周邊的一切，而這可能會被整合成為人們所稱的「上下文工程」（context engineering），對吧？
Jeff Dean：對。模型其實只是你試圖做的事情的一部分，你試圖做的是建構一個能夠解決極其有趣問題的整體系統。這涉及一個知道如何使用各種工具的模型。它或許知道如何檢索相關資訊，或許擁有過去為了解決以往問題而檢索過的的其他資訊歷史，並且能夠將資訊放入模型的上下文中。這樣做的好處是，這些資訊對模型來說非常清晰，這與模型受訓時所使用的訓練資料不同——在訓練資料中，數兆個 tokens 全部被攪拌進一個由數千億或數兆個參數組成的湯裡，其清晰度遠不及模型針對這個特定問題或使用情境直接看到的實際上下文。
Jeff Dean：然後，能夠理解手邊有哪些工具、哪些工具將有助於模型解決問題的下一個階段、如何將問題拆解成一系列的工具呼叫、也許嘗試多種方法來解決問題並觀察哪種方法有效、同時能夠進行評估。這就是複雜代理與多代理系統的整體編排（orchestration），我認為這將會變得越來越重要。這是一個超級令人興奮的時代，我會這麼說。
Diana Hu：這特定問題領域組合有趣的地方在於，這其實是座房裡每個人都能做到的事。以前，要訓練一個模型需要驚人的資源，需要驚人地取得 GPU 和資料的管道。但對於上下文工程來說，這裡每個人都能做到。你只需要取得像是 Gemini 之類的 API，然後著手打造你自己的設置來進行你自己的檢索、你自己的工具呼叫等等。大家有什麼訣竅嗎？每個人要如何變得更擅長、並在上下文工程中成為佼佼者？
Jeff Dean：一個非常好的方法就是使用這些模型、介面與工具來嘗試解決問題，然後有時候你確實能看出模型在哪些地方失敗了。通常，你不僅僅是調整模型參數（這從外部很難做到），而是透過為模型建立更好的指導方針、為模型編寫技能讓它知道如何使用對解決這類特定問題極度有用的不同工具，就能夠讓模型運作得更好、在該類問題上取得成功。當你這麼做時，你就會走上這種自我改進的設置，並試圖用它來解決問題。這是深入理解模型需要什麼額外資訊才能變得更強大的一個絕佳方法。
讓 AI 更擅長優化的技能
Diana Hu：你能舉出一些你親自做過的上下文工程範例嗎？像是你寫過的技能或真正對你的工作流程產生巨大影響的工具？
Jeff Dean：Sanjay 和我在幾週前一直在工作，我們經常會針對極低階的程式庫進行一定程度的效能改進。我們在 Google 內部寫了一個微效能測試程式庫（microbenchmark library），你可以在其中編寫微效能測試，來測試不同類型的操作需要花費多長時間，或者填入這個資料結構需要花費多長時間。有時候，這些資料結構被用在 Google 各地的數百萬個行程中，因此確保它們具備高效能其實非常重要。你可以編寫微效能測試，但如果沒有基於代理的系統，你通常的做法是：在你在乎的一些基準測試上測量目前的效能、進行一些修改以提升效能、然後重新執行基準測試看看哪些地方獲得改善、執行更廣泛的基準測試，並測量事物的快取佔用空間（cache footprint）。
Jeff Dean：我們寫了一個技能，基本上教導模型如何以各種順序執行大部分這些事情，好讓它能夠進行自我改進的基準測試測量、程式碼修改、測量效能提升，然後在此基礎上進行迭代。對於某些類型的問題，這似乎運作得相當不錯。這實際上只是把我們身為人類所會使用的方針，以模型能夠使用的方式傳遞給它。
Diana Hu：哇，這看起來非常令人印象深刻。所以你是說，你有這樣一個技能，如果有人能取得它，它就能執行像 Jeff Dean 一樣的優化。看起來全世界都會很愛這個，而且對某人來說，擁有這個的管道簡直價值連城。
Jeff Dean：我們其實在幾個月前發表了一份名約《效能提示》（Performance Hints）的文件，那是我和 Sanjay 寫的。這是一份大約 30 頁的文件，內容關於各種效能技巧。有些人拿去了這份文件，並將其摘要版本提供給各種模型，結果發現模型現在變得更擅長對程式碼中的效能問題進行推理。
Diana Hu：大家都在這裡聽到了。如果你們採用這篇你們發表的論文《效能提示》，你實際上也可以像 Jeff Dean 一樣優化你自己的程式碼。
Jeff Dean：沒錯。這是可以免費取得的，所以你們統統應該試試看。
為什麼長期運行的代理會失敗
Diana Hu：非常酷。現在，你正在談論代理。在座每個人可能都在打造一個代理，或是在某個時間點打造過。我確信大家都見過自己的代理在大概第 30 或 40 步時徹底失控。代理在處理前 10 步左右時表現優異，但到了第 50 步就開始搖搖欲墜。你認為今天的限制是什麼？是上下文評估器（context evaluators），還是單純因為它基本上是一個開迴路系統（open-loop system）而導致錯誤不斷累積？
Jeff Dean：很顯然，我們希望代理能夠長時間運行，因為這就是它們解決越來越複雜問題的方式。但正如你今天所觀察到的，它們有時在與工具互動 10 次後就會停止工作。有時候這是因為模型試圖去做一件它沒有太多經驗的事情。它受訓於一整套事物，而一旦你稍微偏離了它知道如何處理的事物的分佈（distribution），就像大多數機器學習模型一樣，它的效能就會開始退化。你距離它知道如何處理的舒適圈越遠，它表現不佳的可能性就越高。
Jeff Dean：你可以做很多事情。其中之一就是賦予模型技能與提示，傾向於將它保持在它確實知道如何處理的明亮道路上。擁有一個多代理系統（multi-agent systems），讓多個代理嘗試不同的方法，然後也許由另一個模型或另一個代理評估其中哪些方法看起來很有前途，這是搜尋可能的解決方案空間的另一種方法——堅持那些看起來最有前途的方法，並丟棄那些看起來不管用或失控的方法。這是一個非常有用且通用的技術：利用推論時運算（inference-time compute）來對解決問題的合理方式進行搜尋，這可以在長時間運行的代理流程中獲得更高的效能或更高的可靠性。
Diana Hu：你有哪些在內部為你的代理實作這個特定工作流程的方式？
Jeff Dean：我們有介面（harnesses），然後我們有一整套技能，特別是在 Google 內部的開發環境中。我們擁有技能，好讓代理知道如何使用我們許多的內部工具來進行編碼、程式碼審查、測量效能或獲取日誌檔案（log files）。這些單純就是你可以添加的技能，藉此讓基礎模型變得更有能力，儘管它不見得受訓於 Google 內部工程師從我們的專有系統中獲取日誌檔案的精確方式。有了正確的技能定義，你實際上就能讓它運作，而這提升了代理的實用性。
新創公司還能在哪裡擊敗 Google
Diana Hu：現在我們來談談新創公司可以在哪裡獲勝。這個章節是我個人非常關心的，因為在座每一位如果是未來創辦人，都需要決定未來要打造什麼。Google 的厲害之處在於，你對系統中的一切進行共同設計（codesign），從處理器到產品都是如此。哪些是像 Google 這樣的人會持續建構、累積並表現得更好的層級，而兩、三人團隊又在哪裡仍然可以獲勝？
Jeff Dean：很顯然，Google 還有我們的 Gemini 模型以及我們的硬體基礎設施，確實正在努力打造能夠幾乎做任何事情的非常通用模型。但在許多情況下，這意味著我們可能無法對特定領域投入太多注意力——在這些領域中，一個設計得非常精良的介面、加上一個模型與一套技能，或是針對我們模型做得很好的通用組合之外的專門模型，實際上可以具備顯著的優勢。你可以為一個你真心熱愛的領域打造出令人愉悅、極高準確度且極高品質的東西。這就是兩三個人聚在一個房間裡打造產品能夠擁有優勢的地方。
Jeff Dean：但我同時也要警告，通用模型在更廣泛的各種事情上確實變得越來越好。因此你必須弄清楚：你正在著手的事情會具有持久性嗎，還是你認為前沿模型在未來 6 個月或 12 個月內就會在這方面變得更好，抑或是這是它們在 2 年或 3 年內都做不到的事情？當你決定要投入什麼時，你必須權衡這點。
Diana Hu：當然，通用模型你們會持續運作並讓它們變得更好。觀眾應該如何理性思考該挑選哪些領域來投入？
Jeff Dean：最重要的事情是挑選一個你超級興奮、想要動手打造、並且認為對世界有用的領域。如果你這麼做了，相比於醒來後心想「我其實不想做這個」，或者你打造的東西對世界或許多人其實沒那麼有用，你已經遙遙領先了。這是我嘗試用來決定接下來該解決什麼問題的第一號篩選標準。
Jeff Dean：其次，我認為你會想要看看目前更通用的模型在該問題領域中能做到什麼程度。你可以測試它們：它們有能力把這件事做好嗎？如果它們完全失敗，那可能是一個好跡象。如果它們有點能力做到其中一部分、但做得不是很好，那可能不是個好跡象。這或許是一個跡象，表明該能力正開始出現在這些模型中，並且透過更多訓練資料、更大規模的模型或其他方式，它很可能會變得更好。尋找模型成功率是 0% 或 1% 的領域，而不是 20%。
Diana Hu：你如何找到這些領域？這些東西是否實際上超出了訓練集的分布（out of distribution），而符合這種情況的問題形貌究竟是什麼？
Jeff Dean：有時候它是你所打造的一款產品，它可能可以存取通用模型可能無法存取的特定種類資料。情況可能是你正在打造某個東西來協助使用者組織他們自己的所有個人資訊，而通用模型不見得能存取這些資料。在這裡，你可以擁有巨大的優勢，因為你的產品突然之間就擁有了對重要資料的能見度。
Jeff Dean：它可能是某個極端困難的問題，如果你取得了正確的訓練資料，並且能夠訓練一個比通用目的模型更具針對性的模型，你實際上就能以非常符合經濟效益的方式做到這一點。或許為這個特定問題訓練一個小眾模型並不需要耗費那麼多運算資源，但你可以獲得高度準確的東西。有時候，這可以成為解決一個重要問題的絕佳積木，而這個重要問題或許無法被通用模型很好地處理。
Diana Hu：基本上有兩條路。第一條路有點有趣：你們正在組織全世界的資訊，這部分已經涵蓋得很全面了，但組織個人資訊則是開放的。第二條路：你談到了在某些領域中更專門化的模型。你能跟我們多談談其中一些領域是什麼嗎？
Jeff Dean：如果你看看我同事在 AlphaFold 上的工作，那是一個針對蛋白質摺疊（protein folding）非常特定的模型。它取得了巨大成功，並且能夠相當好地處理該領域，以至於你突然之間就有了這個驚人的工具和模型，能夠極其有效地為你解答關於蛋白質及其結構的問題。但它不是一個通用模型；它是一個非常特定的模型。還有其他領域這種方法也可以運作得非常好，也許是在材料科學或晶片設計中，這將使你能夠利用一個高度準確但屬於小眾模型的強大能力，去做今天很難做到的事情。
如何成為原生 AI 創辦人
Diana Hu：如果你們之中有人找到類似 AlphaFold 形貌的問題，那可能會是一個值得投入的好問題。現在假設你們已經找到了一個要投入的問題。我們接下來要談談你如何成為一個原生 AI 創辦人。過去，你曾說過管理一隊 50 或 100 個代理的艦隊，全在於撰寫非常優秀、清晰的設計文件或規格說明（specs）。大家要如何變得擅長這件事？這些文件長什麼樣子？
Jeff Dean：當你與你的虛擬代理合作時，如果你能清楚指定你想要的是什麼，你將會獲得更多成功。你對自己想要的東西越清晰，代理就會擁有越多指導方針和它試圖完成的事項的大綱。相反地，如果你沒有指定太多東西，代理就必須推斷你的意思。在許多情況下，它推斷出來的東西可能會跟你想像的不同。我們從一開始就一直告訴電腦科學家，在動手寫程式之前，先明確指定你正在編寫的軟體試圖完成什麼是非常重要的。現在我們實際上有了能夠動手撰寫的基於代理的系統，但明確指定你想要什麼的重要性實際上反而上升了。以前，你會把任務交給一個或許擁有上下文或能向你提出追問的高智商人類。代理有時也能做到這一點，但清晰的規格說明真的是一個好主意。
Diana Hu：舉個運作得極為成功的編碼代理使用案例：你今天可以要求模型非常有效地將軟體從一種電腦語言翻譯成另一種。在這種情況下，你實際上擁有一個極其詳細的規格說明：你有整個軟體，它說明瞭系統應該做什麼。如果你有一段某物的 Python 實作，而你想要它的 Go 實作，這似乎是當今模型能力極強的事情。它可以獲取 Python 中的所有測試、將測試翻譯成 Go、確保它們在 Go 版本中通過、比較兩種實作之間的行為差異直到毫無差異為止，並且因為規格說明如此清晰而展現高度的有效性。
Diana Hu：現在假設每個創辦人都變得擅長同時運行數百個代理，而且所有的程式碼都由代理幫他們寫好。什麼會變成稀缺技能？
Jeff Dean：對你要求代理去處理的事情擁有極佳的品味（taste）。這就是我背景出身的研究問題的核心。研究人員可以擁有一切工具和一切技術，但通常大部分的戰鬥在於你打算把時間花在什麼問題上。如果你把問題挑選好並成功解決了它，那遠比你精彩地執行一項針對相當無聊問題的研究調查要好得多。這種關於該投入什麼的高階智慧是極其重要的，而且我認為模型不見得會在這方面表現得那麼好。你會看到人們引導許多 AI 輔助運算，以便更快地完成偉大成就。你希望模型做什麼的這個本質，就是你應該關注的關鍵。
Diana Hu：我們多談談品味，因為在這個代理編碼的當前時代，大家經常在談論它。你如何培養品味？你如何將它具體化？
Jeff Dean：這是一件困難的事。在許多情況下，品味並沒有一個可衡量的客觀目標。其中一部分來自經驗。過去處理過許多不同的問題，會教導你未來哪些類型的問題可能會很有趣，或者透過將過去的方法拼湊在一起，哪些事情可能剛好是可能的，然後為了達到某種神奇或高度實用的境界，你可能需要解決哪些開放性問題。
Jeff Dean：你為自己獲得更多經驗的另一種方法是，寫下一堆你認為在未來 12 個月內可能會很重要的東西。也許你挑選其中一個來投入，但在 12 個月後回頭評估，其中其他哪些東西實際上顯得重要、世界上有哪些人真的跑出去創造了它們、哪些東西似乎還沒有人做。這可以為你的品味創造能力提供更多樣本。這是一項具備重要性的技能。
質疑你最大的假設
Diana Hu：我們稍早談到的第三種方法是進行非常瘋狂的思想實驗（thought experiments）。
Jeff Dean：那是另一個好方法。有時候，不要把多數人視為理所當然的事當成理所當然，是一件好事。我前幾天和一些同事做了一個瘋狂的思想實驗。60 年來，整個矽晶片設計與製造產業做了大量的工作，來製造錯誤率極低、規模越來越小的電晶體。我們想要的假設是，我們製造的每一個相同設計的晶片都應該與其他每一個晶片完全相同。你絕對不希望任何位元發生反轉（flip）；任何位元都不應該反轉。裡面內建了各種容錯邊界（error margins），而記憶體現在也都有 ECC 記憶體。
Jeff Dean：在宏觀規模上，當我們在建構大規模分散式系統時，我們不會做出這種假設。我們是用不可靠的零件來建構可靠的大規模分散式檔案系統。個別磁碟可能會故障，但你的資料應該是安全的。我們在更高層級擁有各種機制，能讓我們在三個不同的機器和三個不同的機架上保留三份資料複本，好讓任何機架交換器、個別機器或磁碟故障時，你依然擁有你的資料。我們有里德-所羅門編碼（Reed-Solomon encoding）技術。但在我們正在合作的技術的電晶體層級規模上，我們似乎沒有做到這種極端程度。
Jeff Dean：一個有趣的思想實驗是：如果你試圖用每天可能發生 20 個錯誤、而不是每百萬年發生一個錯誤的電晶體來建構系統，會發生什麼事？那將會是一個截然不同的設計點，並且可能會讓你在製造端能夠做一些非常有趣的事情。你將會擁有截然不同的設計方法，因為如果你想把訊號從這裡傳到那裡，而你擁有了這些超級不可靠的電晶體，你可能會採用非常不同的發送訊號方式。你可能會透過多重冗餘路徑來發送它，以確保它能透過其中一條路徑抵達。我認為這會是一組相當有趣的思想實驗。我不是說我們應該真的去這麼做，但這就是那種你會想要偶爾質疑假設的事物。通常這些思想實驗不會成功，因為過去 50 年來我們一直以這種方式而不是那種方式來做這件事是有非常好的理由的，但每隔一陣子重新審視它們仍然是好的。
Diana Hu：這真是太瘋狂了。這開始跟神經形態計算（neuromorphic computing）、或是人類大腦以及大自然運作的方式有很多相似之處。
Jeff Dean：我們大腦中的訊號在從一個地方傳到另一個地方時並不是特別可靠。在大腦中，當有非常重要的東西需要從一個地方傳送到另一個地方時，存在著多個能夠讓你做到這一點的通路。
Jeff Dean：TPU 就是一個很好的例子：在該問題領域顯得像今天這麼重要之前，就能夠針對非常小眾的問題領域進行硬體專門化。MapReduce 的起源是另一個很好的例子。Sanjay 和我自己以及其他許多同事曾參與過 Google 網路爬蟲與索引系統的各種迭代。我們寫了許多手動平行化的程式碼，帶有大量的檢查點（checkpointing），以確保它在 100 台或 1,000 台電腦上運行、其中一些電腦故障時依然能夠保持強固與可靠。但這些程式碼往往與你經常試圖執行的相對簡單事情交織在一起，例如查看所有網頁的所有內容，並在旁邊計算從 URL 到網頁語言的對應關係。它會被所有這些用於平行化和可靠性的其他程式碼給掩蓋過去。
Jeff Dean：我們回想起我們在函數式語言（functional languages）方面的訓練，並意識到我們可以瞇起眼睛審視這些問題，並在實作之上開發出這個 MapReduce 抽象。在實作下方，你可以將所有檢查點與可靠性機制放入該低階程式庫中，然後所有東西都可以建立在它之上。從「如果我們瞇起眼睛看它，我們能否找到符合這個抽象的許多問題？」這個思想實驗出發，這成為了在 Google 以強固且可靠的方式處理超大規模運算的一種極度成功的方法。
打造更好 AI 的 AI
Diana Hu：你稍微談到了你目前對投入自訂硬體的興趣。現在，AlphaChip 負責佈局晶片。你也有 AlphaEvolve 能夠提出解決方案、進行評估，並保留所有行之有效的方案。看起來你開始在建構能夠不斷累積、打造出「打造 AI 的 AI」的系統。
Jeff Dean：更廣泛地說，這裡有一個科學方法的基礎：你提出一個實驗，實作你執行實驗所需的一切，評估實驗，然後從中獲得結果。現在有越來越多的問題變得可能去實作，其中整個迴圈——不只是執行幾個實驗，而是執行非常、非常多的實驗，因為你能夠自動化該迴圈並使該迴圈的延遲極低——將會變得非常重要。它將使我們能夠應付科學與工程領域中的許多不同問題領域、機器學習模型設計本身、以及像晶片設計這樣的工程任務。
Jeff Dean：如果你真的能以自動化方式做到這些事情，並擁有一個能夠接收高階目標並將其拆解成子問題的編排框架（orchestration framework），每個子問題都可以執行其中一個探索解決該子問題之最佳方式的自動化迴圈。然後編排框架可以將子問題的解決方案組合起來，形成更高層級問題的整體解決方案。這將會加速機器學習的進展、加速科學、並加速工程。這將會是驚人的。
Diana Hu：許多能夠擁有極佳評估器、且貼近可以被形式化驗證（formally verified）的事物的領域，都已經成熟到可以孕育出能夠自我改進的 AI 系統。
Jeff Dean：在許多情況下，你的評估器必須變得快得多。舉個例子，我的同事大約十年前在量子化學（quantum chemistry）領域做了一些工作，當時你正試圖理解特定分子的屬性。你可以產生一些分子配置，並且你想了解它具有什麼屬性。你可以執行一個運算非常密集的密度泛函理論（density functional theory）模擬器，這可能是需要花費一個晚上運算才能告訴你某個東西答案的東西。我的同事採用了那些模擬器運行的一堆輸出——輸入分子配置和昂貴模擬器的輸出——並用它來訓練模擬器的神經近似值（neural approximation）。他們沒有讓它花費一個晚上，而是打造出一個速度快 300,000 倍、且幾乎與運行完整規模模擬器一樣準確的東西。
Jeff Dean：這徹底改變了你做科學研究的方式。如果你有 1,000 萬個東西要篩選，你可以在吃午餐的時候就把它們做完，而不必把它變成一場長達 6 個月、試圖拼湊足夠運算資源來運行所有這些模擬的苦差事。在許多領域中，對於速度快得多的驗證模型，存在著很大的空間，可能是能夠讓你以更快速率獲得真實答案近似值的已學習驗證模型。這改變了你思考這些實驗迴圈的方式，以及你繞過它們的速度有多快。
Diana Hu：對於這種加速的科學方法將要解決或實現的空間與問題，有哪些是你超級興奮的？
Jeff Dean：機器學習本身就是其中之一。我們是否可以擁有一個能夠透過運行大量實驗來遞迴自我改進的模型？如果你想想今天大型研究團隊是如何改進模型的，人們會想出一些點子、執行一堆小規模實驗、看看它們是否奏效、挑選出最有前途的在更大規模上進行嘗試、進行評估，並將結果整合到你的模型新配方中。
Jeff Dean：要將這變成一個自動化程度更高的迴圈，實際上並沒有真正的阻礙——在這個迴圈中，模型自己決定它要進行探索，或許帶有來自最高層級人類的一點推動，例如：「你為什麼不嘗試一些圍繞著納入這點的模型架構的新點子呢？」它會去運行大量實驗、看看哪些有效，並以快得多的速度將它們整合進去。實際上，你會希望優化你每單位運算輸入所獲得的發現（discoveries per unit of compute input）。
Diana Hu：當在座每個人都成為創辦人或展開他們的職涯時，他們可能會收集到許多拒絕。這也發生在你身上，Jeff。在 2014 年，你、Geoffrey Hinton 和 Oriol Vinyals 寫了一篇關於知識蒸餾（distillation）的論文，也就是利用一個大型教師模型（teacher model）來訓練一個規模小得多、更有效率且運算成本更低、參數更少的模型。這已經成為業界每個人現在都在使用的技巧，而那篇論文卻在 NeurIPS 被拒絕了。
Jeff Dean：我不怪程式委員會。很多時候，一篇論文會收到三份審查意見，其中一位審查員看了看，說它不太可能產生重大影響。當我們寫這篇論文時，我們看到這是一個超級重要的問題，因為我們知道從更大規模的模型製作出更便宜、高度強大的模型，是我們極度想要做的事，好在語音或視覺等領域為更多人提供模型服務。但有時候審查員並沒有那種經驗，因為他們可能沒有在思考大規模 AI 服務，而是在思考這是否是一項基礎進展。它每隔一段時間就會被拒絕，而這沒關係。我們把它放在 arXiv 上，大家閱讀它、大家使用它，一切都很好。我們確實利用它從我們規模更大的 Pro 模型來製作我們的 Flash 模型。這也是為什麼 Gemini 中的 Flash 模型相對於其大小和速度會如此強大、在模型大小級別的基準測試中名列前茅的部分原因。
Diana Hu：即使被拒絕了，也要繼續前進。
Jeff Dean：這就是我從那件事中提煉出來的教訓。
打造真正重要的事情
Diana Hu：你在 1999 年加入 Google 時，它還是一家只有 20 人的新創公司。如果你把當時 25 歲的 Jeff Dean 傳送到今天的這個時代，並帶著你現在的技能，你會怎麼做？你會加入一個前沿實驗室（frontier lab），還是自己開公司？
Jeff Dean：這總是很难說，而且這是一個非常個人化的選擇，取決於你想把時間花在什麼事情上。對我來說，一些最重要的問題是：你是否要投入一項你真正關心的工作，如果你能夠與你喜歡共事的同事一起在上面取得進展，這會以某種積極的方式對世界產生影響嗎？你是否能夠提供該服務來協助生物化學家、程式設計師、或網際網路上的所有消費者？你應該努力做到的事情是：對世界產生積極的影響、與你樂於共事的人一起工作、努力工作、並盡你最大的努力。
Jeff Dean：就加入前沿實驗室與和兩三位親密朋友一起開公司而言，這是兩種不同的體驗。在一個大型、成熟的組織中，你擁有架構、許多知道你所不知道之事的優秀同事、許多值得投入的有趣問題、以及一個既有的影響力平台，讓你的工作能夠影響世界上許多人。作為一家極小的新創公司，你必須擁有一個你熱情所在的事物，而在能夠讓你成功並發展事業的方式中，承擔該問題存在著巨大的風險。但那也可能是極具回報的。至少，無論你選擇哪條路，問問自己：如果我投入這個問題，並且發生了最好的可能結果，世界會在某種程度上變得好得多，還是世界會說：「嗯，那挺酷的，隨便啦」？那不是你應該花時間去做的事情。
Diana Hu：你一直能夠成為許多工程師的傑出導師與管理者，並打造出龐大的系統。關於如何與聰明人共事或尋找聰明人，你有什麼教訓可以分享給在座各位？
Jeff Dean：你總是會想要尋找在你要嘗試組建的團隊（無論是在公司內部還是創辦公司）所需的某個領域中擁有真正優秀技能的人。但你也同時想要尋找那些你很樂意與他們相處的人，因為你將會花費大量時間與身處艱難問題中的人相處。你需要那些低自我（low ego）、具備團隊精神、並且擁有與你互補技能的人。
Jeff Dean：我總是發現，在一個小團隊中工作——其中人們知道我不知道的事物，且也許我擁有其他人較不具備的一些技能——是非常有趣的。你們正在共同打造一個你們任何人都無法單獨完成的東西，但在這個過程中，你實際上為自己獲得了許多新的知識與技能，他們也是。將你的工程或研究職涯視為擁有一個令人驚嘆的技術工具帶。你總是會想要為那個工具帶添加新的工具，因為你永遠不知道何時會碰到一個你需要這四種專門工具而不是那種三種工具的問題。添加更多工具，會讓你在未來遇到問題時，更有可能由你來解決它們。
Diana Hu：在座許多人最終將會打造出像你在 MapReduce、TPU、知識蒸餾等方面一樣具有影響力的東西。你希望他們正在投入什麼問題？
Jeff Dean：世界是一個非常巨大的地方，充滿了問題。我特別對硬體的新方法感到興奮，像是效率高得多的推論硬體。我認為機器學習存在著截然不同的演算法，可能比我們今天的方法具備更高資料效率。如果你想想我們今天的大規模模型，它們看到的資料量可能是一個 18 歲人類的 1,000 倍。然而，一個 18 歲的人類在許多事情上卻表現得更好，並且與看過更多資料的前沿模型不相上下。你是否能夠想出資料效率高得多、並且能夠從自身行動中持續學習的系統？持續學習真的非常有趣。多代理互動是一個有趣的議題。創造讓世界上的人們能夠進行更好對話、進行更有禮貌的對話、並基於興趣協助人們結識世界各地他們應該認識的人的方式——這些全都是有趣的議題。世界上有很多酷炫的事情，我們統統應該去努力讓更酷炫的事情發生。
Diana Hu：聽起來太棒了。非常謝謝你，Jeff Dean。我們今天就到這裡。
Jeff Dean：謝謝你們。非常感謝大家。