Transcript SemiAnalysis: Waarom hardware-software co-design de echte 100x efficiëntiemotor van AI is
5 juli 2026 - Sequoia Capital Podcast interview met Dylan Patel
Introductie en de groei van SemiAnalysis
Shaun Maguire: Ik vind het erg leuk binnen SemiAnalysis, omdat jullie 90 mensen in dienst hebben, waarvan een groot deel technologen en ingenieurs uit de gehele toeleveringsketen, en een ander groot deel mensen met een achtergrond bij hedgefondsen. Je ziet dan discussies ontstaan waarbij de een zegt: "Oh, dat maakt niet uit", en de ander zegt: "Ja, maar de kosten", en de ingenieur zegt: "Nee, nee, nee, maar deze technologie is het gaafst." Je ziet die strijd organisch ontstaan. We zijn behoorlijk informeel, en aangezien jij forummoderator bent geweest, kun je je wel voorstellen hoe die omgeving eruitziet.
Dylan Patel: Je gaat niet worstelen met een varken, want een varken vindt dat leuk, toch? Precies.
Shaun Maguire: We zijn hier op het kantoor van SemiAnalysis met Dylan Patel. Ik ben Shaun van Sequoia en mijn partner Sonya Huang is er ook. Het is behoorlijk bizar wat je hebt neergezet. Halfgeleiders waren vijf jaar geleden in het Westen niet erg sexy. In het Oosten wel, maar hier in het Westen waren mensen ze een beetje vergeten. Jij vergat ze echter niet. Je zette zwaar in. Je creëerde waarschijnlijk het belangrijkste onderzoeksbureau in de sector, dat de wereld informeert over de stand van de techniek, van zeer technische details tot de toeleveringsketen en het grotere plaatje. Er gaan geruchten dat SemiAnalysis onlangs de $100 miljoen aan omzet heeft gepasseerd. Ik weet niet hoe accuraat die zijn. Wat de cijfers ook zijn, jullie doen het fantastisch.
Dylan Patel: Het is zo accuraat als de informatie zelf. Ja, gaaf. Je weet het nooit.
Shaun Maguire: Er gaan ook geruchten dat je een durfkapitaalfonds wilt starten. Ik hoor in het ecosysteem constant mensen die zich willen aansluiten bij SemiAnalysis. Je hebt dit vertrouwde merk opgebouwd, dus wat je ook doet, het werkt. Dit is duidelijk nog maar het begin van de reis voor jou. Gefeliciteerd met dat alles. Maar hoe is dit gebeurd? Mijn eerste vraag is: wat is je achtergrond? Hoe ben je gekomen waar je nu bent?
Oorsprong in een motel
Dylan Patel: Nou, toen ik als kleine jongen uit de baarmoeder kwam... Nee. Oké, ik groeide op in een familiebedrijf. Mijn ouders hadden een motel en we woonden in dat motel. Later hadden we een benzinestation. Dus ik was aan het verkopen. Ik maak vaak de grap dat het eerste neurale netwerk dat ik trainde, mensen raciaal en visueel profileerde op basis van wanneer ze het benzinestation binnenkwamen om te bepalen welke sigaretten ik moest pakken. De sigaretten stonden bovenaan uitgestald en ik was te klein om erbij te kunnen. Technisch gezien mocht ik op die leeftijd geen sigaretten verkopen, maar goed, ik moest het opstapje naar de juiste plek schuiven.
Shaun Maguire: Ik begon ook met mijn eerste baan voordat het legaal was. Het is goede ervaring.
Dylan Patel: Nou, ik kreeg niet betaald, hè? Het was een familiebedrijf.
Shaun Maguire: Hier ook.
Dylan Patel: Maar ja, we hadden ons motel en aan de overkant van de straat was ons benzinestation. Soms kwam er iemand binnen, en als er een oude witte vrouw met krullend haar binnenkwam, verschoof ik de ladder of het opstapje naar waar de Camels stonden. Afhankelijk van de leeftijd, demografie, beroep, ras, enzovoort, verschoof ik het opstapje. Ik maak de grap dat dit het eerste neurale netwerk was dat ik trainde, want als ik had gewacht tot ze het me vertelden, had ik het moeten verschuiven en er dan pas op moeten stappen, in plaats van er al klaar voor te staan. Menthols versus 100 slims en al die dingen. Ik grap dat dat het eerste neurale netwerk was dat ik trainde. Maar ik groeide op in familiebedrijven, woonde in een motel, en het gaat eigenlijk allemaal terug naar mijn 8e verjaardag.
Xbox-reparatie en de vonk voor hardwarepassie
Dylan Patel: Mijn verjaardag is in mei, en het was april toen de Xbox 360 werd aangekondigd. Voor mijn verjaardag vroeg ik niet om de Xbox, of ik vroeg niet om een verjaardagscadeau. Mijn ouders vroegen wat ik wilde, en ik vroeg erom voor Kerstmis. We vierden Kerstmis, maar er was geen manier, tenminste op dat moment dacht ik dat ze me de Xbox 360 voor Kerst zouden geven, dus vroeg ik voor mijn verjaardag om hem voor Kerst te hebben. Hoe dan ook, Kerst komt eraan en ik krijg hem. Een paar maanden later zou mijn neef die in Alabama woont—zij woonden ook in een motel—langskomen voor de voorjaarsvakantie. We zouden gewoon bij mij thuis rondhangen. Hij zit qua leeftijd tussen mij en mijn oudere broer in. Mijn broer is wat sportiever, dus die gaf niet zoveel om de Xbox. Hij speelde soms, maar het boeide hem niet echt. Maar ik wilde dat mijn neef dacht dat ik cool was, toch? Dus ik heb aan de telefoon vaak opgeschept. Ik zei: "Ja, ik heb een Xbox." En toen ging de Xbox kapot. Er was een hardwaredefect genaamd de Red Ring of Death.
Dylan Patel: Kort verhaal: ik moest hem openschroeven en de temperatuursensor kortsluiten, en dat loste het op. Er waren veel andere trucs die ik eerst probeerde, en geen daarvan werkte. Dus zo ben ik een beetje in de hardware gerold. Het opende de doos van Pandora. Tegen de tijd dat ik 12 was, zat ik veel op die fora, te lezen en te posten.
Van internetfora naar halfgeleiders
Dylan Patel: Dit was rond de tijd dat Reddit alle andere fora opslokte, en dus werd ik moderator van Android, Apple en Google, evenals hardware, en keek ik op al die andere fora naar Intel, Nvidia en AMD. Ik zat op Build a PC. Al die fora hield ik in de gaten, ik las en postte veel, maar sommige modereerde ik ook intensief. Ik zag smartphones zich ontwikkelen van heel simpel naar razendsnel, technologisch op veel manieren architecturaal geavanceerder dan pc's, en hetzelfde met GPU's. Ik volgde dat, las elke reactie en had altijd die economische inslag omdat ik opgroeide in een klein bedrijf. Dus ik keek altijd naar de economie. Er was een tijd dat alle internet-nerds dol waren op AMD GPU's, en ik had persoonlijk ook een AMD GPU gekocht vanwege de prijs-prestatieverhouding. Maar als het aankwam op wat technisch beter was, zei ik altijd: "Nee, Nvidia is beter omdat ze een kleinere chip gebruiken om betere prestaties te leveren bij een betere energie-efficiëntie, en hun marge is beter." Dus ik praatte altijd over hoe de marges van Nvidia beter waren dan die van AMD in het GPU-landschap, en dat was erg leuk.
Shaun Maguire: En je was 12 op dat moment.
Dylan Patel: Ik begon met modereren toen ik 12 was, maar dit was gedurende mijn tienerjaren en middelbare schooltijd.
Shaun Maguire: Had je nog andere vreemde hobby's, of waren het alleen halfgeleiders?
Dylan Patel: Ik speelde enorm veel Starcraft. Op een gegeven moment was ik Grandmaster op de Noord-Amerikaanse ladder in Starcraft 2. Heel serieus.
Shaun Maguire: Dus je bent geobsedeerd goed geworden in meerdere dingen.
Dylan Patel: Ja, obsessie is goed.
Shaun Maguire: Hoe waren je cijfers?
Dylan Patel: Ze waren redelijk. Ik zou zeggen dat ik meestal A's haalde, maar er waren vakken die ik echt saai vond of waar ik gewoon niet van genoot. Voor Spaans haalde ik niet de beste cijfers, maar ik spreek overigens vloeiend Spaans, dus dat is echt dom.
Shaun Maguire: Misschien is dat de reden dat je geen goed cijfer haalde.
Dylan Patel: Ik leerde pas later Spaans, om eerlijk te zijn. Maar ja, mijn cijfers waren prima. Ze waren goed genoeg voor Aziatische ouders. Ik was beter dan het grootste deel van de school, maar het was niet zo dat ik me kapot werkte voor alleen maar A's.
Shaun Maguire: Oké, dus je bent echt een student van het internet. Zo heb je deze expertise ontwikkeld. Op welk punt besloot je om SemiAnalysis te starten, en wat is de grootste verrassing geweest sinds je het bedrijf bent begonnen?
Van quant naar oprichter
Dylan Patel: Ja, dus ik ging naar school en haalde een paar diploma's in dingen die niets met halfgeleiders te maken hadden. Ik was twee jaar lang een quant bij een klein risicobedrijf. Daarna was er eigenlijk een opeenstapeling van gebeurtenissen. Ten eerste werd ik genaaid bij een bonus. Ik had mijn bedrijf vele miljoenen aan omzet bezorgd—risicovrije omzet—omdat ik een risico in de markt had geëxploiteerd, ruim $10 miljoen, en toen streek iemand anders met de eer voor mijn werk. Uiteindelijk werd ik wel ontslagen, maar ik verloor het sociale contract met het bedrijf waar ik werkte. Mijn grootouders groeiden op in ons huis, of in het motel met ons, ze woonden bij ons, dus ik was erg close met hen. Mijn grootmoeder kreeg dementie, ze vergat wie ik was, ze viel van een trap, kreeg een tragisch ongeluk en overleed. Dat gebeurde allemaal begin 2020. Daarnaast waren er wat relatieproblemen, dus er gebeurden een paar dingen die me erg verdrietig maakten. Toen kwam COVID en mijn broer zei: "Gast, kom gewoon bij mij wonen." Hij woonde in Nashville, dus ik kwam bij hem in Nashville wonen. We zeiden: "Oh, lockdowns duren een paar weken. Je kunt bij mij blijven terwijl ze duren, en dan kun je weer naar huis." Beroemde laatste woorden. Lockdowns duurden veel langer.
Dylan Patel: Terwijl ik een paar maanden bij mijn broer woonde, wist ik niet wat ik moest doen. Ik was nu in het huis van mijn broer, alles ging volgens zijn regels. Hij en zijn toenmalige verloofde, nu zijn vrouw, waren daar, dus ik moest eigenlijk op eieren lopen. Maar mijn baan kon me niets schelen, dus ik postte nog meer dan normaal. Ik had altijd al veel op internet gepost. Ik had altijd al veel in aandelen gehandeld. Ik verdiende veel geld door te shorten op COVID en long te gaan op COVID en al die dingen. Tekorten aan halfgeleiders ontstonden rond die tijd ook. Hoe dan ook, ik was erg geobsedeerd door posten en dat soort dingen.
Dylan Patel: Uiteindelijk, rond die tijd, doxte iemand met wie ik ruzie had op internet me. Ze onthulden publiekelijk mijn identiteit vanaf mijn anonieme account. Destijds was ik bang en stopte ik drie weken met posten. Ik dacht: "Waar ben ik mee bezig? Waarom boeit het me?" Dus toen begon ik gewoon met posten. Ik had ook blogs en dergelijke, maar ik maakte een echte blog, SemiAnalysis, en op mijn 24e verjaardag postte ik twee blogs. Vanaf daar kreeg het zoveel tractie omdat het nu, in plaats van posten onder een anonieme naam, mijn echte naam was, en ik veel meer moeite in die twee posts stak dan ik normaal deed. In plaats van alleen maar op internet te posten, was het echte inzet voor de blog. Je kunt die eigenlijk teruglezen als je wilt. Ze zijn niet geweldig, maar ze waren goed voor die tijd. Het was het beste wat je op internet kon vinden over halfgeleiders, en ik bleef maar posten, posten, posten. Ik begon veel consultancy-opdrachten te krijgen.
Roadtrip als dakloze onderzoeker
Dylan Patel: In 2020 zat ik weer in een dip en wist ik niet wat ik wilde doen, dus pakte ik alles in. Ik nam mijn pick-up, kocht een tent die op de achterkant van de truck past, kocht een luchtbed en reed langs al die nationale parken in heel Amerika. Twee, drie of vier dagen per week verbleef ik in een willekeurig motel waar ik de prijs onderhandelde tot ongeveer $30 per nacht voor een kamer, en dan werkte ik aan een deel van dit spul. In het weekend las ik boeken, vaak studieboeken terwijl ik in een willekeurig nationaal park was of aan het hiken was, en luisterde naar audioboeken over halfgeleiders, over AI, over alle dingen waar ik veel om gaf. Ik werd veel wijzer gedurende die zes maanden waarin ik elk nationaal park bezocht. De hele tijd was ik alleen en de hele tijd postte ik blogs. Iedereen vroeg: "Dylan, waar ben je mee bezig?"
Shaun Maguire: Was dit vóór Starlink of in de hele vroege dagen van Starlink?
Dylan Patel: Vóór Starlink. Ja, dus het was echt van: "Waar ben je mee bezig?" Ik reisde weer een jaar door Latijns-Amerika, eerst met mijn vriend en daarna met mijn ex, en in 2022, 2023 en 2024 was ik nog steeds volledig dakloos sinds medio 2020. Maar ik reisde naar elke conferentie ter wereld. Ik ging naar meer dan 40 conferenties per jaar, ongeacht waar in de toeleveringsketen het was. Ik dacht: "Oh, dat ziet er interessant uit, ik denk dat ik daarheen ga." Ik ging naar één conferentie en dacht: "Wow, dit is geweldig." Je kunt met de experts praten, en ze willen met je praten omdat iedereen in de halfgeleidersector een boomer is, dus het is geweldig. Ze zien nooit jonge mensen die er enthousiast over zijn, dus ze vertellen je maar wat graag dingen. Je hoeft het alleen maar te vragen.
Shaun Maguire: Was er wat dat betreft een deel van de toeleveringsketen of een van deze conferenties die je kijk op de halfgeleiderwereld bijzonder veranderde of waarvan je toen vond, of nu vindt, dat het bijzonder ondergewaardeerd is?
Dylan Patel: Ik denk dat de beurzen en conferenties erg uiteenlopen. Natuurlijk zijn NeurIPS een van de leukste.
Shaun Maguire: Waarom is dat?
Dylan Patel: Omdat er 20.000 AI-onderzoekers zijn, en die zijn over het algemeen van mijn leeftijd, dus het is erg leuk, en het zijn toonaangevende AI-onderzoekers. Je leert veel. Er zijn ook veel feesten. Dan loopt het uiteen tot een willekeurige chemische conferentie in Japan waar 300 Japanse mannen zijn. Er zijn 20 gasten van ASML, 20 gasten van TSMC, 20 gasten van Intel, en dat zijn de enige mensen die Engels spreken. Iedereen spreekt alleen Japans, en je denkt: "Uh, ik denk dat ze nog steeds behoorlijk interessant en leuk zijn."
Dylan Patel: Ik denk dat een vaardigheid die ik heb, is dat ik een band kan opbouwen met iedereen, ongeacht hun achtergrond en wie ze zijn. Ik kan met ze praten, iets interessants vinden om over te praten, vaak is het de techniek. Ik denk dat de meest interessante conferenties vaak de hele grote zijn, omdat daar de grootste dingen gebeuren. Maar de niches die echt spannend zijn, zijn zoals SPIE. Er is IEEE, wat internationale elektrotechniek is, en er is SPIE, wat een ander ecosysteem is. SPIE-conferenties gaan superdiep in de details. Elke keer dat ik ging, vooral SPIE Advanced Lithography of SPIE Photomask, begreep ik de eerste keer niet eens 90% van wat ik hoorde. Toen las ik en las ik en las ik, en de volgende keer dat ik ging, begreep ik ongeveer de helft van wat ik hoorde. De derde keer dat ik ging, begreep ik ongeveer 75%. Zelfs nu ga ik nog en begrijp ik nog steeds niet alles wat er aan de hand is.
Dylan Patel: Terwijl je naar NeurIPS gaat, en na een paar keer begrijp je: oké, wat is neurosymbolisch redeneren? Wat is dit? Wat is dat? Je kunt vrij snel in kaart brengen wat alles is. Maar sommige delen van de toeleveringsketen zijn zo mysterieus, diep en technisch dat het veel tijd kost om zelfs maar te begrijpen wat er gebeurt. Voor elk onderzoekspaper ga je om een paar redenen naar een conferentie. Je begrijpt het onderzoek, maar waar het je echt om gaat, is begrijpen hoe dat onderzoek zich verhoudt tot de technologie en hoe dat onderzoek verschilt van wat er vandaag de dag is. Geen van deze onderzoekspapers vertelt je wat er vandaag gebeurt, maar dan vraag je het aan mensen, bouw je contacten op, leer je over de toeleveringsketen en ontdek je dat dit bedrijf dit bedrijf levert, ook al staat het nergens publiekelijk vermeld. Of je leert dat deze chemische stof ongeveer zoveel kost en een tool ongeveer zoveel gebruikt. Je hoort de horrorverhalen over hoe deze chemische stof een tekort had en dit deel van de toeleveringsketen volledig in de war schopte, en dan blijkt dat er maar drie bedrijven in de wereld zijn die die chemische stof maken.
Dylan Patel: Mijn favoriet is dat ik leerde van een Japanse man op die specifieke Japanse conferentie waar bijna niemand Engels sprak. In heel gebroken Engels vertelde hij me hoe zijn vader in de jaren 80 in deze sector werkte, en de enige fabriek ter wereld die deze specifieke chemische stof bouwde, afbrandde, en dat zorgde ervoor dat de geheugenprijzen verdubbelden of verdrievoudigden. Ik dacht: "Wow, niet al te anders dan vandaag." Helemaal niet gek.
InferenceX en prestatiebenchmarking
Sonya Huang: Inference wordt de grootste markt op aarde, de grootste markt buiten de aarde. Mee eens of oneens?
Dylan Patel: Ik bedoel, natuurlijk wordt het gebruik van tokens de grootste markt, en de waarde die uit tokens wordt gecreëerd wordt de grootste markt. Maar ik denk dat tokenomics, het gebruik van tokens, de adoptie van AI, het belangrijkste is dat er gebeurt. En inference, of het nu open modellen of gesloten modellen zijn, zal een van de grootste markten ter wereld zijn, veel groter dan olie, veel groter dan veel andere onderdelen. De inference van AI zal vele procentpunten van het BBP uitmaken, ja.
Sonya Huang: Wat je hebt gedaan met InferenceX is volgens mij de industriestandaard. Zeg misschien een woord over waarom je het bent gestart, wat het doet en wat mensen verkeerd begrijpen over prestatiebenchmarking bij inference?
Dylan Patel: Ja, dus om even terug te gaan: SemiAnalysis doet veel dingen zoals onderzoek voor institutionele klanten en onze abonnementsproducten, maar veel ervan is ook: "Hé, dit zou gewoon cool zijn om uit te zoeken. Laten we uitzoeken hoe we dit kunnen achterhalen en het gewoon publiekelijk posten." En dat krijgt steeds meer schaal. We hebben dit gedaan met veel GPU-benchmarking, testen, trainingsprestaties en inference-prestaties. Maar uiteindelijk zagen we dat inference-benchmarking een momentopname was. Je test het, je neemt wat tijd, je brengt het uit, en het is traag, mysterieus en verouderd omdat modellen constant veranderen. Elke week is er een nieuw model, of het nu een Chinees model is of vandaag, Mythos 5, Fable is uitgebracht, en er komen constant nieuwe modellen uit.
Dylan Patel: Op de softwarelaag, PyTorch, vLLM, S