Saining Xie: Silicon Valley ist „von LLMs hypnotisiert“ – Jenseits von Sprache zu Weltmodellen
Zhang Xiaojun Podcast, 16. März 2026
In einem verschneiten Apartment in Brooklyn Anfang 2026 geht Saining Xie eine der kühnsten Wetten in der Künstlichen Intelligenz ein. Der NYU-Professor und frischgebackene Mitgründer von AMI Labs, zusammen mit dem Turing-Preisträger Yann LeCun, hat gerade eine rekordverdächtige Seed-Finanzierungsrunde über 1,03 Milliarden Dollar bei einer Pre-Money-Bewertung von 3,5 Milliarden Dollar abgeschlossen. Trotz all der Superlative besteht Xie darauf, „der Normale“ zu sein – nicht das auserwählte Genie, sondern jemand, der mit einer „mystischen Logik“ durch seine Karriereentscheidungen gestolpert ist, stärker geleitet von Menschen und Neugier als von Ehrgeiz.
Dieses siebenstündige Gespräch offenbart einen Forscher, der mehr als ein Jahrzehnt damit verbracht hat, im Stillen das Gerüst für den nächsten großen Sprung der KI zu errichten: Weltmodelle, die die physische Realität tatsächlich verstehen und nicht nur die Schatten, die die Sprache an die Wände von Platons Höhle wirft. Es ist eine konträre Haltung in einem Silicon Valley, das er als „völlig hypnotisiert“ von Large Language Models (LLMs) beschreibt, und eine, die ihn auf Kollisionskurs mit den mächtigsten Narrativen der Branche bringt.
Der fundamentale Fehler von Sprachmodellen
Xie nimmt bei LLMs kein Blatt vor den Mund. „Ich sehe LLMs nicht als Erfolgsgeschichte für die ‚Bitter Lesson‘ – tatsächlich sind sie eine Rebellion dagegen“, sagt er und bezieht sich auf Rich Suttons berühmten Essay, in dem argumentiert wird, dass KI die von Menschen entworfene Struktur minimieren sollte. Seine Begründung trifft den Kern dessen, was Sprache tatsächlich repräsentiert. „Sprache ist keine Denklandkarte, sie ist ein Kommunikationswerkzeug“, erklärt er. Wenn Menschen schreiben, komprimieren sie umfangreiche Erfahrungen in Symbole, die für die Übertragung zwischen Geistern optimiert sind, nicht um die volle Textur der Realität einzufangen.
Dies ist deshalb wichtig, weil die Skalierungsgesetze (Scaling Laws) von LLMs nach Ansicht von Xie erhebliches „Wasser“ enthalten – was er als Inflation bezeichnet. „Das Skalierungsgesetz von Sprachmodellen basiert auf einer Repräsentation von Wissen“, argumentiert er. Modelle müssen faktische Trivia auswendig lernen, um intelligent zu wirken, was die Parameteranzahl aufbläht. Aber ein echtes Weltmodell müsste nicht jeden Wikipedia-Eintrag speichern. „Man muss dieses ganze Wissen nicht auswendig lernen – man braucht gute Verständnis-Fähigkeiten, um Informationen zu filtern und zu verarbeiten“, sagt er. Die Entscheidung selbst ist wichtiger als die Datenbank.
Das technische Argument geht tiefer. Wenn man P(y) modelliert – also Labels oder nächste Tokens vorhersagt –, konzentriert sich die Wahrscheinlichkeitsmasse in einem niedrigdimensionalen semantischen Raum. Wenn man jedoch P(x|y) modelliert, wie es Videogenerierungsmodelle tun, „sagt die Wahrscheinlichkeit, die man zuweist, aus, welche Phänomene tatsächlich in der Welt existieren, welche Dinge wahrscheinlicher sind“, erklärt Xie. Dies zwingt das Modell zu lernen, warum vierbeinige Katzen häufiger vorkommen als dreibeinige, warum Bewegungen flüssig sein sollten und warum die Physik Möglichkeiten einschränkt. „Was man jetzt lernen muss, trägt weit mehr Intelligenz in sich als das, was man durch die Modellierung von P(y) erhält.“
Noch grundlegender ist, dass Sprache in diskreten Tokens operiert, während die physische Welt in einem kontinuierlichen, hochdimensionalen und verrauschten Raum funktioniert. „Wenn man Vision so verarbeitet, wie es ein LLM tut, müsste ich jedes Frame tokenisieren und es in eine sehr lange Sequenz einreihen“, sagt Xie. „Man nimmt diese Weltrepräsentation dahinter – es gibt tatsächlich eine Art globalen Zustand – und serialisiert sie in sehr redundante Tokens.“ Transformer müssen dann jedem Token die gleiche Aufmerksamkeit schenken, was „an sich unvernünftig ist“, um räumliche Strukturen zu erfassen, die Menschen parallel in kortikalen Regionen verarbeiten.
Der rote Faden der Repräsentation
Um zu verstehen, wohin Xie steuert, muss man nachvollziehen, wo er war. Seine Forschungsreise liest sich wie eine systematische Erkundung von Repräsentationslernen über Modalitäten, Ziele und Architekturen hinweg. Am FAIR (Facebook AI Research) arbeitete er von 2018 bis 2023 mit Kaiming He an der MoCo-Serie und trieb selbstüberwachtes kontrastives Lernen voran, um das ImageNet-Pretraining kurzzeitig zu erreichen oder zu übertreffen. Dann kam MAE (Masked Autoencoders), das He leitete und einen einfacheren Denoising-Ansatz verfolgte, der ebenfalls vielversprechendes Skalierungsverhalten zeigte.
Beide stießen letztlich an Grenzen. „Wir stellten fest: Hey, MAE ist unglaublich, MAE sollte zumindest einen Best-Paper-Award gewinnen“, erinnert sich Xie. „Es stellte sich heraus, dass es das nicht tat. Und die Skalierung von MAE würde alle Probleme lösen – es stellte sich heraus, dass es auch nicht skalierte.“ Die Vision-Community konnte nicht knacken, was Sprachmodelle hatten: einen klaren Pfad von mehr Daten und Rechenleistung zu besseren Ergebnissen. „Im Moment hat Vision kein Skalierungsgesetz“, gibt Xie zu, obwohl er sofort einlenkt: „Und ich glaube immer mehr, dass Vision kein Skalierungsgesetz braucht.“
Die bahnbrechende Erkenntnis kam durch seine Arbeit von 2024 an Representation Autoencoders (RAE). Anstatt im Pixelraum oder mit komprimierten VAE-Latents zu denoisen, operiert RAE im hochdimensionalen Repräsentationsraum, der von selbstüberwachten Modellen wie DINOv2 gelernt wurde. „Ihre Repräsentationsschicht wird nun sehr hochdimensional“, erklärt Xie, „und man möchte Denoising und Bildgenerierung auf dieser hochdimensionalen Repräsentation durchführen.“ Ein Student fragte, ob eine solch hohe Dimensionalität das Training beeinträchtigen könnte. Professor Ma Yi von der HKU stand auf und sagte allen: „Man darf keine Angst vor hohen Dimensionen haben. Hohe Dimensionalität ist ein extrem wichtiger Grundpfeiler in der gesamten Machine Learning-Welt.“
Diese Arbeit überzeugte Xie davon, dass Repräsentation das Fundament ist, auf dem alles andere aufbauen sollte. „Es gibt nur eine Sache auf dieser Welt, die wichtig ist: wie man diese Repräsentation lernt“, sagt er. Sprachmodelle werden „allmählich zu einer einfachen Kommunikationsschnittstelle degradieren“, anstatt die Intelligenz voranzutreiben. Videogenerierung wird ähnlich auf starken Repräsentationen aufbauen. „Wenn wir ein solches Fundament haben, können wir es leicht in Sprache dekodieren, leicht in Pixel dekodieren und Videos generieren, und auch in eine Art von Aktion dekodieren.“
Was ist ein Weltmodell?
Xie wurde lebhaft, als er auf Definitionen angesprochen wurde, und räumte ein, dass „Weltmodell“ zu einem wenig hilfreichen Modewort geworden ist. Technisch gesehen ist es eine prädiktive Funktion: Gegeben ein aktueller Zustand S_t und eine Aktion a_t, sage den nächsten Zustand S_{t+1} voraus. Diese Formulierung geht auf das Jahr 1943 zurück, als der Psychologe Kenneth Craik erstmals vorschlug, dass Menschen interne Modelle pflegen, um die Konsequenzen von Handlungen vorherzusagen. Die Kontrolltheorie übernahm dies in den 1960er Jahren für Mondlandefähren. Das Reinforcement Learning griff es mit Suttons Dyna-Architektur auf.
Doch das Konzept hat sich gespalten. Videogenerierungsunternehmen nennen sich Weltmodell-Unternehmen, die sich darauf konzentrieren, überzeugende visuelle Sequenzen mit einer gewissen Konsistenz zu rendern – was Xie „Weltsimulatoren“ nennt. Fei-Fei Lis World Labs verfolgt explizite 3D-räumliche Repräsentationen als Frontend für die Asset-Generierung, was 200 Millionen Dollar von Autodesk für industrielle Anwendungen einbrachte. Diese sind wertvoll, aber unvollständig.
Was Xie und LeCun aufbauen, ist etwas, das er ein „prädiktives Gehirn“ nennt – Intelligenz selbst und nicht nur Simulation oder räumliches Gerüst. „Wir verfolgen einen Pfad, der nicht zu wahrer Intelligenz führen kann“, sagt er über aktuelle Ansätze. „Jemand muss auf dieser größeren Skala neue Probleme definieren.“ Die Kernanforderungen: Verständnis der physischen Welt, großer assoziativer Speicher, Schlussfolgerungs- und Planungsfähigkeiten, kontrafaktische Inferenz und vor allem Steuerbarkeit und Sicherheit, die aus der Vorhersage und nicht aus einem nachträglichen Alignment (Ausrichtung) hervorgehen.
Dieser letzte Punkt ist für Xie enorm wichtig. „LLMs sind nicht steuerbar und auch nicht sicher, weil sie kein echtes Weltmodell haben“, argumentiert er. Die aktuelle Sicherheit kommt vollständig durch das Fine-Tuning anhand von Beispielen, was man nicht sagen oder tun darf. Aber „bei einem echten Weltmodell muss man das nicht tun, weil man vorhersagen kann, zu welcher Konsequenz die eigene Handlung führen wird.“ Ein Roboter, der ein Messer hält, kann die Gefahr erkennen, sich zu einer Person zu drehen, ohne tausende Trainingsbeispiele von Messerunfällen zu benötigen. Das Weltmodell ermöglicht Sicherheit durch Verständnis statt durch Auswendiglernen.
Das Datenproblem
Wenn Sprachmodelle sich vom Text des Internets ernährt haben, müssen Weltmodelle irgendwie die Realität selbst aufnehmen. „Die vergangene Ära bestand darin, das Internet herunterzuladen“, sagt Xie. „Jetzt geht es darum, die Menschheit herunterzuladen.“ Ein vier Monate altes Baby hat mehr visuelle Daten gesehen als alle Tokens, die zum Training der besten LLMs verwendet wurden – etwa 30 Billionen Tokens entsprechen grob 30 Minuten YouTube-Uploads. Die Größenordnung ist atemberaubend.
YouTube wird zum offensichtlichen ersten Ziel, trotz Urheberrechts- und Nutzungsbedingungen-Schlachten. „Die eine Seite schützt sich strikt gegen Datensammlung und blockiert das Scraping. Die andere Seite versucht mit allen Mitteln, mehr Daten zu bekommen“, beschreibt Xie die Katz-und-Maus-Dynamik. ByteDances massiver Vorteil durch TikTok und Douyin wird deutlich, obwohl auch sie vor rechtlichen Herausforderungen stehen.
Doch Video allein wird nicht ausreichen. Xie stellt sich „Always-on“-Wearables vor – KI-Brillen, die alles sehen, was ihre Träger sehen, und unendliche Token-Ströme aus der Ich-Perspektive erzeugen. Das nächste aktuelle Analogon sind Fitness-Tracker, die Herzfrequenz und Schlaf überwachen und einfache Vorhersagen über Stress und Erholung treffen. „Wenn wir uns eine Art Wearable-Gerät vorstellen, das wirklich immer eingeschaltet ist und in Echtzeit alles sehen kann, was wir sehen können“, sinniert er, „dann denke ich, dass dies ein enormes Potenzial hat.“ Medizinische Überwachung, sportliches Training, Altenpflege – all das profitiert von Modellen, die visuellen Kontext und zeitliche Muster verstehen.
Robotik bietet einen weiteren Datenweg und Einsatzbereich. Die Branche leidet unter dem, was Jie Tan von DeepMind als „extrem ungleiche Entwicklung“ bezeichnet – physische Fähigkeiten übertreffen heute die Menschen, aber die Kognition hinkt weit hinterher. „Niemand baut das Gehirn, niemand baut ein Robotergehirn“, sagt Xie. Jeder, von DeepMind bis Physical Intelligence, verlässt sich auf VLAs (Vision-Language-Action-Modelle), die über Sprachmodelle wie Gemini geroutet werden. „Das braucht eine zweite Hälfte des Pretrainings“, argumentiert er und beruft sich auf die Formulierung des ehemaligen OpenAI-Forschers Shunyu Yao. „Wer wird dieses Pretraining durchführen? Ich glaube nicht, dass das in irgendeinem Land, einschließlich der Bay Area, gemacht werden kann.“
Die Entstehungsgeschichte von DiT
Xies bekannteste Arbeit, Diffusion Transformers (DiT), entstand aus dem, was er als notwendige „Nichtlinearität“ der Forschung bezeichnet. 2022 bei FAIR begannen er und der Praktikant Bill Peebles (heute Leiter von Sora bei OpenAI), Diffusionsmodelle zu erforschen, um die Verbindung zwischen diskriminativem und generativem Lernen zu verstehen. Die ursprüngliche Frage kam von Kaiming He: „Ist das ein diskriminatives Modell oder ein generatives Modell?“ Es ist ein tiefgründiges Rätsel, da Denoising bei jedem Schritt diskriminative Vorhersagen trifft, aber durch deren Komposition generiert.
Zwei Monate lang untersuchten sie die Repräsentationsqualität und stellten fest, dass Diffusionsmodelle zwar ordentliche Features lernten, aber „viel, viel schlechter als selbstüberwachtes Lernen – absolut nicht konkurrenzfähig“. Dann kam der Wendepunkt. „Im letzten Monat entdeckten wir: Hey, übrigens, unsere neue Architektur ist tatsächlich effizienter und skalierbarer als U-Net.“ Aus Sicht des Codes verkörperte DiT das, was Xie „Minimal Description Length“ nennt – Eleganz durch Einfachheit. „Wenn dein Code kurz ist und denselben Zweck erfüllen kann, ist deine Methode normalerweise besser als eine, die tausende Zeilen erfordert.“
Das Paper wurde von der CVPR abgelehnt. „Nicht genug Neuheit“, sagten die Gutachter. „Ihr habt eine sehr einfache Struktur entwickelt, und obwohl ihr gute Ergebnisse erzielt habt, waren die Gutachter nicht überzeugt.“ Yann LeCun twitterte darüber. Sie reichten es unverändert woanders ein und gewannen ein „Oral Paper“. „Das ist ein völlig zufälliger Prozess“, zuckt Xie mit den Schultern.
FAIR wollte sie zunächst nicht die Firmenzugehörigkeit angeben lassen, da Xie bereits gegangen war. Aber nachdem Sora DiT explizit als Rückgrat zitierte, wurde die Architektur zur Grundlage für im Wesentlichen alle großen Videogenerierungsmodelle. Die Ironie ist groß: „Mehrere Forscher kamen zu mir und sagten: ‚Ich habe zwei Wochen daran gearbeitet, aber mein Manager sagte, das darfst du nicht mehr machen, wir haben Produktzyklen vor uns.‘“ Die Industrie wusste, dass DiT die richtige Richtung war, hatte aber nicht die Freiheit, sie zu verfolgen.
Der Kaiming-Einfluss
Niemand überragt Xies Forschungsbildung so sehr wie Kaiming He, der Schöpfer von ResNet und legendärer Forscher bei FAIR. Ihre Zusammenarbeit begann fast zufällig, als He mitten im Praktikum 2016 zu FAIR kam. Xies Manager übergab ihn: „Kaiming, du kommst und leitest ihn an.“ Mit einem verbleibenden Monat beschlossen sie, an der ImageNet-Challenge teilzunehmen, was zu ResNeXt führte – teilweise benannt nach „Xies ResNet“, Hes spielerische Art der Anerkennung.
Was Xie aufsog, ging weit über Paper hinaus. Er beschreibt Hes Arbeitsweise in fast spirituellen Begriffen. „Kaimings Magie ist, dass er all die sehr gewöhnlichen Dinge nehmen und sie in goldähnliche, wertvolle Ideen verwandeln kann“, sagt er. Die Disziplin war klösterlich: Vorträge wurden einen Monat vor Fristen fertiggestellt, während andere die Nächte durcharbeiteten, jede Zeile in Papern wurde geprüft, um sicherzustellen, dass nicht mehr als 40 Prozent Whitespace vorhanden waren, obsessive Baseline-Konstruktion vor dem Versuch von Innovation.
„Die Obergrenze deiner Forschung hängt davon ab, wie gut deine Baseline ist“, lernte Xie. „Wenn deine Baseline schwach ist, kannst du dich leicht selbst täuschen.“ Dieses kontraintuitive Prinzip – mache den Vergleich schwieriger, nicht einfacher – ermöglichte es Hes Detektionsarbeit (Fast R-CNN, Mask R-CNN), durch den Start von einer Infrastruktur aus zu dominieren, die bereits mittelmäßige CVPR-Paper übertraf. „Unsere Baseline war bereits stärker als eure, also wenn ich einen weiteren Schritt nach oben mache, werde ich natürlich noch weiter kommen.“
Doch die tiefste Lektion betraf die Forschungsphilosophie. He gab Xie eine Kopie des Diamant-Sutra, des buddhistischen Textes, der lehrt, dass „alle Phänomene wie Träume, Illusionen, Blasen und Schatten sind“. Die Resonanz mit der westlichen Philosophie – Kants Ding an sich, Schopenhauers Repräsentation versus Wille – weist auf eine Kernerkenntnis über den Forschungsgeschmack hin. „Wenn man ein Paper liest, kommt es darauf an, die Illusion zu durchbrechen, die das Paper präsentiert, und zu hinterfragen, was dahinter liegt, welche Art von substanziellem Wesen es enthält“, erklärt Xie.
Dies fließt in jede Entscheidung ein. Die erste Lektion für FAIR-Praktikanten war das Beherrschen von Excel-Tabellen, um Experimente zu verfolgen. „Man muss wirklich einige Entscheidungen treffen: Auf welche Metriken sollte ich mich konzentrieren, welche Spalten sollte es geben, wie sollte ich Kontrollvariablen definieren, wie kann ich jedes Experiment so informativ wie möglich machen.“ Zu wenige Experimente laufen lassen und das Signal bleibt unklar. Alles blind laufen lassen und man ertrinkt im Rauschen. Die Kunst liegt im Design der Tabelle selbst.
Zweimal Ilya abgelehnt
Xies nicht eingeschlagener Weg verfolgt das Gespräch. 2018, frisch nach der Promotion, interviewte er bei OpenAI mit John Schulman in einem „kleinen dunklen Raum für fünf oder sechs Stunden, arbeitend an einem Problem“. Die handgeschriebenen Fragen auf bleistiftmarkiertem Papier bewegten ihn. Aber FAIR hatte Kaiming, Piotr Dollar, Ross Girshick – „die drei Säulen der Computer Vision“. Als das OpenAI-Angebot ankam, „rief mich Ilya an und ich sagte fast nichts und lehnte es ab.“
Ilya Sutskever war wütend. „Warum hast du es nicht einmal diskutiert, bevor du abgelehnt hast? Ist das Geld nicht genug?“ Xies Ton war entschuldigend, aber bestimmt. Damals im Jahr 2018 war FAIR für Top-Promovierende die sicherere Wette – offener, akademischer. „Wenn sie nicht wirklich das tun wollten, was OpenAI bereits tat, denke ich, dass die meisten Leute immer noch zu FAIR tendieren würden.“
Die zweite Ablehnung kam im Juli 2024, kurz nachdem Sutskever SSI gegründet hatte. Er mailte und bat Xie, beizutreten. Diesmal diskutierten sie darüber, wie man der KI die Fähigkeit zu lieben geben könne. „Das Fazit ist, dass dies sehr wichtig ist“, erinnert sich Xie. „Denn ohne sie stehen wir vor einer sehr unsicheren und sehr gefährlichen Zukunft.“ Aber als Xie nach Multimodalität fragte, war Ilyas Antwort entscheidend: Vision sei „bereits gut genug gelöst“.
Diese fundamentale Meinungsverschiedenheit besiegelte es. „SSI hat seinen eigenen sprachbasierten Ansatz, und dieser Ansatz ist nicht der Pfad, den ich verfolgen möchte“, erklärt Xie. Er sieht das nicht als bittere Rivalität. „Brüder, die einen Berg besteigen, jeder mit seiner eigenen Anstrengung“, sagt er und zitiert ein chinesisches Sprichwort. „Und ohne die jüngsten Entwicklungen bei LLMs gäbe es vielleicht nicht den aktuellen Stand der Computer Vision.“ Aber die Pfade divergieren stark bei der Frage, was Intelligenz erfordert.
Die Partnerschaft mit Yann LeCun
Die Gründungsgeschichte von AMI Labs grenzt an das Mystische, das Xies Entscheidungsfindung charakterisiert. Ein Manager deutete Ende 2025 an, dass Yann LeCun bei Meta unglücklich zu sein schien. Xies erster Instinkt war Unglauben – der Pate der KI, der geht? Zwei Wochen später in einem Vier-Augen-Gespräch eröffnete LeCun: „Sag es noch niemandem, aber ich habe mich dazu entschlossen. Was ich tun will, sollte außerhalb geschehen. Ich will eine Firma gründen.“
Xie fragte nach dem Geschäftsmodell. „Dann wurde mir klar, wow, das ist völlig im Einklang mit dem, was ich mir vorgestellt hatte.“ Was war es? „Ich denke, man kann es Weltmodelle nennen, oder die Logik dahinter ist: Was ich tun will, kann in der aktuellen Umgebung in keinem Land der Welt getan werden, auch nicht in der Bay Area.“
Die Überzeugung war einfach: Die Arbeit erfordert Forschungstiefe, kann aber nicht in der traditionellen Wissenschaft (unzureichende Ressourcen) oder geschlossenen Industrielaboren (unzureichende Freiheit, Probleme zu definieren) stattfinden. „Wir müssen zu dem zurückkehren, was wir zu Beginn besprochen haben“, sagt Xie. „In dieser Art von endlichem Spiel, in dieser hart umkämpften Umgebung scheint jedes Unternehmen seine Fähigkeit verloren zu haben, Probleme zu definieren.“ OpenAI definierte einst Probleme. Jetzt lässt sich selbst OpenAI in Rennen hineinziehen, die es definiert hat.
Xie quälte sich etwa eine Woche lang. LeCuns Pitch war direkt: Dies war eine bessere Wahl für Xie persönlich und für das Unternehmen, da es Autonomie bot, Teams und Roadmaps aufzubauen. „Ich bin auch unglaublich, unglaublich dankbar, dass Yann mir dieses Vertrauen entgegenbringen konnte“, sagt Xie. Sechs Mitgründer unterschrieben, darunter ein CEO, COO, VP of World Models (der ursprüngliche JEPA-Teamleiter) und CRIO (Chief Research and Innovation Officer, Pascale Fung aus Hongkong). Mehrere ließen zweistellige Millionenbeträge an unverfallbaren Aktien von OpenAI, Google oder Meta hinter sich.
Warum? „Ich denke, vielleicht sind wir alle ein bisschen verrückt“, lacht Xie. Doch unter der Selbstironie liegt Überzeugung. „Dies ist der einzige Ort, an dem wir das tun können.“ Die Mission ist nicht das Jagen nach Leaderboard-Punkten oder Produktzyklen. Es ist das Pretraining der zweiten Hälfte – den Aufbau des Gehirns, das der Robotik fehlt, das Wearables brauchen werden, das verkörperte KI erfordert.
Die Kritik am Silicon Valley
Xie behält sich seine schärfste Kritik für den kulturellen Moment der Bay Area vor. „Silicon Valley ist sehr LLM-pilled“, sagt er trocken. „Das Valley steckt tief in den Schützengräben der Large Language Models – es ist völlig hypnotisiert.“ Das ist kein bloßes Herumhacken. Er verbrachte Jahre in Teilzeit im Gemini GenAI-Team von Google und sah die Einschränkungen aus erster Hand.
„Die gesamte KI-Industrie hat derzeit diese enorme Wertschöpfungskette“, erklärt er. „Ganz oben gibt es die ‚Bitter Lesson‘, es gibt ein Narrativ von AGI und LLM. Das hat eine Reihe von Benchmarks definiert. Also konkurriert man auf Leaderboards. Das Leaderboard definiert die Ressourcenallokation.“ Wenn das Ziel darin besteht, die LMSys Arena anzuführen, kann man nur Ressourcen in dieses Rennen stecken. „Unter dieser Wertschöpfungskette bedeutet Ressourcenallokation, dass sie diesen Teil der Forschung nicht machen können“, selbst wenn Forscher wissen, dass er wichtig ist.
Videoverständnis ist sein Beispiel. „Weder die Wissenschaft noch die Industrie tut viel davon, oder die Leute tun es, aber nicht mit einem fundamentalen Weltmodell-Ansatz.“ Warum? „Ausnahmslos, egal bei welchem Unternehmen, wurden sie alle einem Videogenerierungsmodell-Team zugewiesen.“ Das ist die einzige Position innerhalb der Wertschöpfungskette, in die Video-Expertise passt. „Obwohl sie alle wissen, dass wir dieses Problem nicht gelöst haben, brauchen wir ein besseres Weltmodell-basiertes Videoverständnismodell, die Leute haben keinen Raum, um solche Erkundungen anzustellen.“
Der Widerstand gegen die Wissenschaft verschärft das Problem. „Die Leute schauen auf die Arbeit herab, die die Wissenschaft leistet. Sie glauben nicht, dass die Arbeit der Wissenschaft irgendeine Art von Wirkung erzielen kann.“ Selbst innerhalb von Unternehmen können Forschungsgruppen nicht teilen, was sie tun, mit Produktgruppen. Mehrere Google-Forscher sagten Xie nach seinem RAE-Paper: „Ich habe zwei Wochen daran gearbeitet, aber mein Manager sagte, das darfst du nicht mehr machen, wir haben Produktzyklus eins, zwei, drei vor uns.“
Also pflanzt sich AMI Labs in New York nieder, nicht in Palo Alto. „Die Bay Area ist wirklich eine reine Tech-Blase“, sagt Xie. „Jeder kann sehr darauf fokussiert sein, eine Sache zu tun. Und New York ist eine realere Welt.“ Diese Realität bietet Erdung. Durch den Washington Square Park zu seinem NYU-Büro zu gehen, Straßenkünstler, Mütter mit Kinderwagen, alte Männer beim Schachspielen, Studenten beim Lernen zu sehen – „Ich finde, die Welt ist viel größer, als wir uns vorstellen. Nicht jeder interessiert sich dafür, was KI ist. Sie haben ihr eigenes Leben.“
Dies erdet die Frage: Was sollte KI eigentlich tun? „Haben wir eine Art soziale Verantwortung?“, fragt sich Xie. „Mehr Kontakt mit Menschen, mehr Kontakt mit Menschen, die in dieser Welt leben, hilft mir zu verstehen, was KI ist und wie man die nächste Generation von KI auf neue Weise aufbaut.“ Es ist das Gespräch, das Ilya führen wollte, das Xie aber noch nicht erreicht hatte.
Die Häresie des Skalierungsgesetzes
Vielleicht ist Xies kontraintuitivste technische Behauptung, dass Vision keine Skalierungsgesetze im LLM-Stil braucht und nicht wollen sollte. „Das Modell wird nicht so groß sein“, prognostiziert er. „Man muss nicht alles auswendig lernen, all die subtilen Details in der Welt, die man sehen kann.“ Ein Weltmodell löst keine definitiven Gleichungen im hochdimensionalen Raum, um zu bestimmen, ob Äpfel fallen. „Es braucht nicht das höchste Niveau menschlicher Intelligenz. Es braucht gute Verständnis-Fähigkeiten, um Informationen zu filtern und zu verarbeiten.“
Dies widerspricht direkt dem Chinchilla-Skalierungsparadigma, bei dem die Rechenleistung C grob gleich 6 mal Tokens N mal Parameter D ist. „Ich denke, das Skalierungsgesetz von Sprachmodellen basiert auf einer Repräsentation von Wissen“, argumentiert Xie. „Es mag ein relativ ausgewogenes Verhältnis haben – die Anzahl der Tokens und die Parameter müssen grob 1:1 sein.“ Aber Weltmodelle, die auf Entscheidungsfindung statt auf Faktenabruf optimiert sind, könnten radikal andere Rechenverteilungen haben.
Die biologische Analogie ist präzise. Menschen nehmen grob eine Milliarde Bits pro Sekunde durch alle Sinne zusammen auf – Vision allein verarbeitet eine enorme Bandbreite. Aber der Verhaltensoutput beträgt lediglich 10 bis 100 Bits pro Sekunde. „Was für ein Modell ist unser Gehirn, das bei zwanzig Watt Leistung eine Milliarde Bits pro Sekunde aufnimmt und es in 10 Bits pro Sekunde Verhaltensoutput umwandelt?“ Das Filtersystem ist von größter Bedeutung, nicht die Datenbank.
Dies deutet auf kleinere Modelle hin, die weitaus mehr Daten verarbeiten, mit anderen Effizienzkurven. Das Modell skaliert nicht linear mit dem Datenvolumen, weil es Kompression und Vorhersage lernt, nicht Auswendiglernen. „Wir können in mehreren Phasen vorgehen“, sagt Xie. „Beginne mit Internetdaten, beginne mit YouTube.“ Aber die Verteilung der Rechenleistung wird anders sein – „ein größerer Teil könnte auf Video verwendet werden“ mit kombinierten generativen und diskriminativen Methoden plus Sprache, nicht nur Vorhersageverlust.
Das Problem der menschlichen Arroganz
Spät im Gespräch wurde Xie leidenschaftlich über das, was er „menschliche Arroganz“ nennt – die Annahme, dass menschliche Intelligenz Intelligenz selbst definiert. Er hatte „Are We Smart Enough to Know How Smart Animals Are?“ vom Primatologen Frans de Waal gelesen und entdeckt, dass viele vermeintlich einzigartige menschliche Eigenschaften in allen Arten existieren. Werkzeuggebrauch, Spiegel-Selbsterkennung, Theory of Mind, sogar politisches Manövrieren unter Schimpansen, beschrieben in de Waals „Chimpanzee Politics“.
Buschhäher vergraben Futter, aber wenn sie bemerken, dass ein Artgenosse zuschaut, warten sie, bis dieser weg ist, graben dann das Versteck aus und vergraben es woanders. Schimpansen, denen zwei Kisten gezeigt werden, eine mit einer Banane und eine mit einem Apfel, öffnen sofort die Apfelkiste, wenn sie sehen, dass ein Experimentator eine Banane isst – sie schließen auf den verborgenen Zustand. „Sprache ist in der Tat einzigartig, nur Menschen haben sie, aber das bedeutet nicht, dass andere Tiere nicht kommunizieren“, bemerkt Xie. Wale haben ihre eigene Sprache.
Dies rahmt die Herausforderung der KI neu. Rich Suttons Podcast-Kommentar hallte tief nach: „Du denkst, diese Dinge sind großartig und beeindruckend, dass sie schwer sind? Das glaube ich nicht. Ich denke, die Intelligenz eines Eichhörnchens aufzubauen, ist das schwierige Problem.“ Sobald man die Intelligenz eines Eichhörnchens aufbauen kann – mit seinen eigenen Zielen, intrinsischen Belohnungen, Emotionen, sozialem Verhalten –, „wären das Schreiben von Code, der Flug zum Mars, der Flug zum Mond, diese Dinge die einfachen.“
Aus menschlicher Perspektive erscheint das absurd. Aus der Perspektive des Universums ist es offensichtlich. „Wenn man menschliche Arroganz beiseite lässt, ist der Aufbau der Intelligenz eines Eichhörnchens eigentlich ein schwierigeres Problem“, beharrt Xie. Und die Robotik wird zum Test. Können wir etwas bauen, das zuverlässig genug ist, um wie ein 12-jähriges Kind bei der Hausarbeit zu funktionieren? Aktuelle Roboter haben übermenschliche Gliedmaßen, aber Gehirne auf Säuglingsniveau. „Niemand baut das Gehirn.“
Die Forschungsphilosophie
Wie ein roter Faden zieht sich Xies Sicht auf Forschung als inhärent nichtlinear durch alles. „Die schlechteste Arbeit ist, wenn deine Anfangsidee dieselbe ist wie deine Endidee“, sagt er. „Du bist auf keine Hindernisse, keine Schwierigkeiten gestoßen. Das zeigt, dass deine Idee langweilig ist.“ Gute Arbeit erfordert zwei Monate des Herumirrens, in denen „man diese tiefliegende Melancholie hat, weil man kein Licht sehen kann“, gefolgt von plötzlicher Konvergenz im letzten Monat vor den Fristen.
Die Erkundung darf nicht ziellos sein. Kaiming He lehrte ihn, Experimente in Excel-Tabellen zu verfolgen, die darauf ausgelegt sind, den Informationsgewinn zu maximieren – nicht zu spärlich (unklares Signal) oder zu dicht (bedeutungsloses Rauschen). „Jedes Experiment muss dir das geben, was ich gerade diesen Gradienten nannte“, erklärt Xie. Fehlgeschlagene Experimente liefern oft größere Gradienten als erfolgreiche. „Solange du nicht weißt, in welche Richtung du gehen sollst – das ist das, was man am meisten fürchtet.“
Ideen entstehen aus diesem Prozess, nicht aus Spekulationen vom Sessel aus. „Wenn du eine Idee durch bloßes Nachdenken haben willst, ist das definitiv keine gute Idee“, sagt Xie und kanalisiert Kaiming. Entweder bist du klüger als jeder andere (unwahrscheinlich), oder 10.000 Leute weltweit denken dasselbe (du wirst das Rennen verlieren), oder es ist eine schlechte Idee, die andere bereits versucht haben (du wirst Zeit verschwenden). Echte Ideen kommen vom Tun – Baselines reproduzieren, Erweiterungen machen, überraschende Beobachtungen finden.
Das Ziel ist nicht „Impact“, ein Wort, gegenüber dem Xie „eine gewisse Abneigung“ hat, da es zu aggressiv und maskulin sei. Er bevorzugt Hannah Arendts Rahmung: Forschung ist für das Verständnis selbst, und das Verbreiten von Verständnis schafft Resonanz, ein „Gefühl der Familie“ mit denen, die erfassen, was man erfasst hat. „In der Lage zu sein, bestimmte Dinge zu verstehen, und dass das, was ich verstehe, irgendwie einen Einfluss auf die Entwicklung der Welt oder der KI haben kann – ich denke, das ist etwas, das mir jetzt sehr am Herzen liegt.“
Dies macht Forschung zu einem unendlichen Spiel, in Anlehnung an das gleichnamige Buch. Man optimiert nicht die durchschnittliche Paper-Qualität, sondern die maximale – seine Signaturarbeit. „Du musst in deinem Leben eigentlich nur einmal Erfolg haben“, sagt Xie. Ein paar Mal bringt dich an die Spitze. Deshalb kann er Studenten erzählen, dass er während der Promotion fünf Praktika gemacht hat und die Hälfte davon nichts hervorbrachte, oder zugeben, dass er seit dem Holistically-Nested Edge Detection (HED) von 2015 trotz tausender Zitate kein Best Paper mehr hatte.
Die Underdog-Identität
Trotz der Rekord-Seed-Runde besteht Xie darauf, dass AMI Labs „völlig ein Underdog-Unternehmen“ ist. Yann LeCun ist „jemand, der fest zu sich selbst steht und immer versucht, das nächste Ding zu tun, aber dieses Ding wurde noch nicht bewiesen“. Das Unternehmen steht unter Branchendruck, erfordert einen sparsamen Ressourceneinsatz und setzt alles auf eine konträre Vision. „Wir haben vielleicht viel aufgebracht, aber im Vergleich zu den Ressourcen, die LLMs jetzt mobilisieren, ist das nur – ich weiß nicht, wie viel Prozent, es ist so weit weg.“
Aber Underdog zu sein, spricht Xies Forschungsidentität an. „Je mehr ihr nicht an mich glaubt, desto glücklicher bin ich“, grinst er. „Kann Größe nicht geplant werden?“, fragt er und bezieht sich auf das Buch „Why Greatness Cannot Be Planned“. Die Antwort ist ja – man braucht Erkundung, allmähliche Ideenbildung, die Bereitschaft, den Kurs zu ändern. „Ich denke, das gilt auch für Startups.“
Die Reise zeigt bereits Anzeichen der Nichtlinearität, die Xie beschreibt. Sie haben „Dinge, an denen sie arbeiten“ mit „recht vielversprechenden Ergebnissen, die bald kommen“. Ein bevorstehendes Paper namens Solaris (benannt nach dem Tarkowski-Film über einen Ozean, der menschliche Erinnerungen materialisiert) wird Videogenerierung demonstrieren, aber noch wichtiger, das Fundament des Repräsentationslernens voranbringen. Bis März werden sie wahrscheinlich mehr zeigen können.
Das 25-köpfige Team umfasst mehrere, die achtstellige Aktienpakete bei OpenAI, Google, Meta hinter sich gelassen haben. „Warum? Ich denke, vielleicht sind wir alle ein bisschen verrückt“, sagt Xie. „Jeder erkennt, dass dies tatsächlich notwendig ist. Einerseits ist es etwas kontraintuitiv, aber andererseits ist es im letzten Jahr allmählich zu einem Konsens geworden.“ Der Konsens ist einfach: Was jetzt existiert, reicht nicht aus. Jemand muss das prädiktive Gehirn bauen.
Die Skimetapher
Xie hat kürzlich mit dem Skifahren begonnen und findet darin eine Metapher für Unternehmertum. „Erstens ist Skifahren ein Sport, bei dem es um Balance geht. Zweitens muss man furchtlos sein und die Schultern den Hang hinunter richten“, erklärt er. Der Instinkt schreit danach, sich vor der Gefahr zurückzulehnen, aber das garantiert einen Sturz. „Erst wenn man die Angst völlig aufgibt, mit genug Mut, und die Schultern zum Hang richtet, wird man tatsächlich stabiler.“
Der Hymnus der Menschheit ist der Hymnus des Mutes, zitiert er aus JoJo's Bizarre Adventure. Und Mut wächst durch Kameradschaft. „You never walk alone“, fügt er in Anlehnung an seinen geliebten Liverpool FC hinzu. Klopps Selbstbeschreibung als „nicht der Besondere“, sondern „der Normale“ findet Anklang – jemand, der als Batterie für das Team fungiert, andere auflädt, anstatt das Rampenlicht zu stehlen.
In Startups wie in der Forschung, glaubt Xie, braucht man diese Batterierolle, auch wenn man entmutigt ist. „Ich fühle mich jeden Tag entmutigt“, gibt er zu. „Ich denke, es ist eine Art Schicksal des Forschers geworden. Jeder hat diese tiefliegende Melancholie, weil der Prozess wie ein Tasten an einem dunklen, lichtlosen Ort ist.“ Freude kommt nur in kurzen Blitzen, wenn etwas funktioniert – vielleicht 5 oder 10 Prozent der Zeit.
Aber die Melancholie lichtet sich, wenn er durch den Washington Square Park geht und Menschen beobachtet, die ein Leben führen, das sich überhaupt nicht um KI kümmert. „Ich finde, meine stressabbauendsten Momente jeden Tag sind dieser etwa 5- bis 10-minütige Spaziergang“, sagt er. „Die Welt ist groß.“ Und vielleicht ist das das tiefste Argument für Weltmodelle gegenüber Sprachmodellen – erstere streben zumindest danach, sich mit dieser Größe, dieser verwirrenden physischen Realität auseinanderzusetzen, anstatt nur mit dem komprimierten sprachlichen Schatten, den sie wirft.
Die JEPA-Reise
Xies Entwicklung zu LeCuns JEPA (Joint-Embedding Predictive Architecture) spiegelt seine Reise von der Wissenschaft zum Startup wider. „Ich habe mehrere Phasen durchlaufen: JEPA anzweifeln, JEPA verstehen, JEPA werden“, lacht er. Zuerst schien es „nur ein weiterer selbstüberwachter Lernalgorithmus“ zu sein. Dann sah er allmählich eine tiefere Logik. Jüngste Arbeiten wie LeJEPA mit rigorosen Beweisen zeigten, dass gute Repräsentationen isotrope Gauß-Verteilungen sein müssen – eine spezifische mathematische Eigenschaft.
Aber die wahre Erkenntnis war zu erkennen: „JEPA ist kein Modell, kein spezifischer Algorithmus. JEPA ist eine vollständige kognitive Architektur.“ In LeCuns Paper von 2022 „A Path Towards Autonomous Machine Intelligence“ umfasst JEPA Weltverständnis, Vorhersage, Planung – den gesamten Stack. „Das gab mir neue Einblicke in JEPA und ich fand heraus, dass JEPA eigentlich keine spezifische Methode ist, wie die Leute draußen zu sagen pflegen. So ist es nicht.“
Stattdessen ist JEPA „ein sehr riesiger Ozean, und in diesem Ozean können viele Schiffe segeln.“ LLMs sind ein Teil davon. Videogenerierung ist ein Teil davon. Die Vision ist nicht, in LLM-Einschränkungen zu schrumpfen, sondern „bewusst groß zu denken, genug Raum für uns zu haben, um zu erkunden, zu skalieren, bis wir eine Art neuen Durchbruch erzielen.“ Wann genau? Niemand weiß es. Aber es ist ein Pfad, in den Xie „bereit ist, mein Leben zu investieren, um ihn zu gehen.“
Die 42-Frage
Das Gespräch endet, wo es enden muss: mit dem Universum und dem Schicksal. Ist diese Welt ein riesiges Weltmodell? „Natürlich ist die Welt ein riesiges Weltmodell“, antwortet Xie. Kann man dann das Schicksal vorhersagen? „Ich glaube nicht.“ Warum nicht? „Wir haben nicht genug Ressourcen. Man bräuchte einen Computer so groß wie die Erde oder die Größe des gesamten Universums, um dir die Antwort über das Leben, über das Universum, über irgendetwas zu geben.“
Und diese Antwort, wie Douglas Adams versprach, könnte letztlich 42 sein – gleichzeitig präzise und nutzlos, ohne die Frage zu kennen. Vielleicht ist das der Punkt. Was Xie baut, ist kein System, das alles vorhersagt, sondern eines, das intelligent filtert, hierarchisch verarbeitet und in einer irreduzibel komplexen Welt angemessen handelt. Nicht Allwissenheit, sondern Kompetenz. Nicht AGI als Apotheose, sondern Intelligenz als Teilhabe.
Im Moment geht er jeden Tag durch den Washington Square Park, beobachtet, wie die Welt die Welt ist, speichert das in irgendeinem Weltmodell, das in seinem eigenen Gehirn läuft, und übersetzt es irgendwie in die nächste Architektur, das nächste Paper, den nächsten Schritt in Richtung des Herunterladens der Menschheit statt nur des Internets. Ob das 25-köpfige Team in New York dies tatsächlich gegen das volle Gewicht der Industrie durchziehen kann, bleibt abzuwarten. Aber die Überzeugung, dass jemand es versuchen muss und dass aktuelle Pfade unzureichend sind, brennt durch jedes Wort.