Jascha Sohl-Dickstein

Wiki
, , , ,
1

US-amerikanischer Forscher für maschinelles Lernen, der 2015 die auf Diffusion basierenden generativen Modelle erfand – die mathematische Grundlage für Stable Diffusion, DALL‑E 2, Sora und praktisch jedes andere große generative KI-Bild- und Videosystem – nach einer Karriere, die mit der Navigation von Mars-Rovern begann und tiefe Beiträge zur Theorie neuronaler Netze, zum Meta-Learning und zur LLM-Evaluierung umfasste.

Profil
Nationalität US-amerikanisch
Derzeitige Institution(en) Anthropic (Member of Technical Staff)
Forschungsbereiche Generative Modelle, Diffusionsmodelle, Statistische Physik, Theorie neuronaler Netze, Meta-Learning, unendlich breite Netzwerke, LLM-Evaluierung
Doktorvater Bruno Olshausen
Dissertation PhD, Redwood Center for Theoretical Neuroscience, UC Berkeley (2012)
Webseite sohldickstein.com
Blog sohl-dickstein.github.io
X / Twitter @jaschasd
GitHub Sohl-Dickstein
Google Scholar Jascha Sohl-Dickstein

Überblick

Jascha Sohl-Dickstein ist ein US-amerikanischer Forscher für maschinelles Lernen, derzeit Member of the Technical Staff bei Anthropic, der vor allem als Erfinder der auf Diffusion basierenden generativen Modelle bekannt ist. Das 2015 auf der ICML veröffentlichte Paper, bei dem er Erstautor war – „Deep Unsupervised Learning using Nonequilibrium Thermodynamics„ – führte den mathematischen Rahmen des iterativen Vorwärtsverrauschens und des erlernten Rückwärtsentrauschens ein, der aus der Nichtgleichgewichts-Statistischen Physik entlehnt ist und der gesamten modernen Familie von Diffusionsmodellen zugrunde liegt: DDPM, Score Matching, Latent Diffusion Models, Stable Diffusion, DALL‑E 2, Imagen und Sora. Das Paper wurde fünf Jahre lang weitgehend übersehen, bis Jonathan Ho und Kollegen mit dem DDPM-Paper (2020) sein praktisches Potenzial im großen Maßstab demonstrierten, woraufhin das gesamte Fachgebiet Sohl-Dicksteins Formulierung von 2015 retrospektiv als grundlegenden Beitrag anerkannte. Über Diffusionsmodelle hinaus hat er bedeutende Beiträge zur Theorie überparametrisierter und unendlich breiter neuronaler Netze (einschließlich der Mitentwicklung der Neural-Tangents-Bibliothek), zum Meta-Learning von gelernten Optimierern und zum BIG-Bench-Benchmark für die Evaluierung großer Sprachmodelle geleistet. Sein Hintergrund ist für einen Forscher im maschinellen Lernen ungewöhnlich breit: Er studierte Physik und theoretische Neurowissenschaften, arbeitete an der Mars Exploration Rover-Mission im JPL (wo er kurzzeitig auf Marszeit lebte), verbrachte Zeit als akademischer Resident an der Khan Academy, hatte einen Gastaufenthalt im Stanford-Labor von Surya Ganguli, bevor er zehn Jahre lang als Principal Scientist bei Google Brain und Google DeepMind tätig war.

Frühes Leben & Ausbildung

Mars Exploration Rover – JPL (vor der Promotion)

Bevor er in das akademische maschinelle Lernen einstieg, arbeitete Sohl-Dickstein im Jet Propulsion Laboratory der NASA an der Mars Exploration Rover-Mission, dem Zwillingsrover-Projekt, das Spirit und Opportunity im Januar 2004 auf dem Mars landete. Seine Rolle erforderte es, auf „Marszeit“ zu arbeiten: Da der Marstag etwa 24 Stunden und 37 Minuten beträgt, mussten die Missionskontrolleure ihren Schlaf-Wach-Rhythmus mit dem Mars-Sonnenaufgang und -untergang synchronisieren und ihren irdischen Zeitplan jeden Tag um 37 Minuten verschieben. Er hat dies als die ungewöhnlichste berufliche Anforderung seiner Karriere beschrieben; sie hielt drei Monate an.

Promotion – Redwood Center for Theoretical Neuroscience, UC Berkeley (–2012)

Sohl-Dickstein schloss seine Doktorarbeit am Redwood Center for Theoretical Neuroscience der UC Berkeley ab, einem Zentrum, das sich auf computergestützte und mathematische Modelle biologischer Nervensysteme spezialisiert hat, unter der Betreuung von Bruno Olshausen. Seine Dissertation befasste sich mit der Schnittstelle von Physik, Neurowissenschaften und maschinellem Lernen und entwickelte probabilistische Modelle für Datenverteilungen, die ihren Ursprung in der statistischen Physik haben. Ein wichtiges frühes Ergebnis war „Minimum Probability Flow Learning“ (ICML 2011, mit Peter Battaglino und Michael DeWeese), das eine neue Methode zur Parameterschätzung vorschlug, die die Berechnung unbeherrschbarer Normierungskonstanten oder das Sampling aus Gleichgewichtsverteilungen vermeidet, indem sie Nichtgleichgewichts-Flussdynamiken ausnutzt – ein Vorgeschmack auf die thermodynamischen Intuitionen, die später den Rahmen der Diffusionsmodelle definieren sollten.

Nach der Promotion: Stanford und Khan Academy

Nach Berkeley hatte Sohl-Dickstein eine Gastwissenschaftlerstelle im Labor für Theoretische Neurowissenschaften von Surya Ganguli in Stanford inne, wo er an der Schnittstelle von statistischer Physik und maschinellem Lernen arbeitete, aus der das Paper über Diffusionsmodelle hervorgehen sollte. Er verbrachte auch Zeit als akademischer Resident an der Khan Academy, der gemeinnützigen Bildungsorganisation, was ein Interesse daran widerspiegelt, wie maschinelles Lernen in der Bildungstechnologie eingesetzt werden könnte.

Karriere

Google Brain – Principal Scientist (ca. 2015–2023)

Sohl-Dickstein trat kurz nach der Einreichung des Diffusionsmodelle-Papers im Jahr 2015 in Google Brain ein, wurde Principal Scientist und blieb etwa acht Jahre lang bis zur Fusion von Brain und DeepMind im Jahr 2023. Seine Arbeit bei Google Brain umfasste mehrere parallele Forschungsrichtungen.

Diffusionsmodelle (2015, anerkannt 2020–). Das ICML-2015-Paper „Deep Unsupervised Learning using Nonequilibrium Thermodynamics„, das er zusammen mit Eric Weiss, Niru Maheswaranathan und Surya Ganguli verfasste, führte den Rahmen des Diffusions-Wahrscheinlichkeitsmodells ein. Die Kernidee, die der Nichtgleichgewichts-Thermodynamik entlehnt ist, ist elegant: Eine Vorwärts-Markov-Kette zerstört schrittweise die Struktur in einer Datenverteilung, indem sie Schritt für Schritt Gaußsches Rauschen hinzufügt; eine Rückwärts-Markov-Kette, die durch ein tiefes neuronales Netz parametrisiert ist, wird darauf trainiert, diesen Prozess rückgängig zu machen, also Struktur aus Rauschen wiederherzustellen. Da jeder Schritt im Rückwärtsprozess eine kleine, wohlerzogene Entrauschungsoperation ist, ist das Modell trotz der hohen Flexibilität der gelernten Verteilung handhabbar zu trainieren und daraus zu sampeln. Das Paper demonstrierte die Technik an MNIST, CIFAR-10 und anderen Datensätzen, erhielt aber fünf Jahre lang nur begrenzte Aufmerksamkeit und Zitierungen. Im Jahr 2020 veröffentlichten Jonathan Ho, Ajay Jain und Pieter Abbeel „Denoising Diffusion Probabilistic Models“ (DDPM) auf der NeurIPS, skalierten den Ansatz auf hochwertige Bildsynthese und würdigten ausdrücklich die Formulierung von Sohl-Dickstein aus dem Jahr 2015 als grundlegende Vorarbeit. Die anschließende Explosion des Feldes – Stable Diffusion, DALL‑E 2, Imagen, Score-basierte Modelle, Latent Diffusion Models, Sora – geht direkt auf das Paper von 2015 zurück. Bis 2025 hatte es über 20.000 Zitierungen angesammelt und ist damit eines der folgenreichsten Papers zur generativen Modellierung in der Geschichte.

Theorie neuronaler Netze – Überparametrisierung und unendlich breite Netzwerke. In der Hauptsache mit Samuel Schoenholz entwickelte Sohl-Dickstein eine Reihe von Papers zu den theoretischen Eigenschaften tiefer neuronaler Netze, darunter „Deep Information Propagation“ (ICLR 2017), das die Signalausbreitung und die Gradientenflusseigenschaften charakterisiert, die bestimmen, ob sehr tiefe Netze trainierbar sind, und eine Reihe von Papers, die die Korrespondenz zwischen unendlich breiten neuronalen Netzen und Gaußschen Prozessen (die NNGP-Korrespondenz) herstellten. Diese Arbeit trug zur formalen Analyse des Funktionsraums neuronaler Netze bei unendlicher Breite bei, die später im Rahmen des Neural Tangent Kernel (NTK) synthetisiert wurde.

Neural Tangents (2020). Sohl-Dickstein war Mitentwickler von Neural Tangents, einer quelloffenen JAX-Bibliothek, die die Berechnung des Neural Network Gaussian Process (NNGP)-Kernels und des Neural Tangent Kernel (NTK) exakt für endliche Netze und analytisch für unendlich breite Netze beliebiger Tiefe und Architektur ermöglicht. Die Bibliothek wurde zum Standardwerkzeug für die Untersuchung überparametrisierter neuronaler Netze aus einer Kernel- und Bayes-Perspektive und wurde in empirischen Studien zur Lerndynamik neuronaler Netze weit verbreitet eingesetzt.

BIG-Bench: Beyond the Imitation Game (2022). Sohl-Dickstein war einer der Hauptbeitragenden zu BIG-Bench, einem kollaborativen Benchmark zur Evaluierung der Fähigkeiten und Grenzen von Sprachmodellen mit 444 Autoren aus mehr als 130 Institutionen. BIG-Bench versammelte 204 Aufgaben, die darauf ausgelegt waren, Aspekte des Denkens, des Weltwissens und des Sprachverständnisses zu untersuchen, die über das hinausgehen, was Standard-Benchmarks bewerten können, und testete Modelle wie GPT-3, die Vorgänger von GPT-4, PaLM und andere. Das daraus resultierende Paper lieferte eine der umfassendsten öffentlichen Charakterisierungen der Fähigkeiten von Spitzen-LLMs, die zum Zeitpunkt der Veröffentlichung verfügbar war, und wurde in späteren Arbeiten zu Scaling Laws und Fähigkeitsanalyse weit verbreitet genutzt.

Gelernte Optimierer (2022). Sohl-Dickstein war Koautor von „Learned Optimizers that Outperform Adam on Wall-Clock and Test Loss“ (2022), das zeigte, dass metatrainierte, auf neuronalen Netzen basierende Optimierer Adam sowohl in Bezug auf die Konvergenzgeschwindigkeit als auch auf die endgültige Modellqualität bei einer Vielzahl von Aufgaben übertreffen können. Die Arbeit erweiterte frühere Ergebnisse zum Meta-Learning von Optimierungsalgorithmen und adressierte praktische Hindernisse, die zuvor verhindert hatten, dass gelernte Optimierer in großem Maßstab eingesetzt werden konnten.

Lineare Mode-Konnektivität. Zusammen mit Jonathan Frankle, Gintare Karolina Dziugaite, Daniel Roy und Michael Carbin war Sohl-Dickstein Koautor von „Linear Mode Connectivity and the Lottery Ticket Hypothesis“ (ICML 2020), das die geometrische Struktur von Verlustlandschaften neuronaler Netze charakterisierte und zeigte, dass Lösungen, die durch stochastischen Gradientenabstieg gefunden werden, nach einer kurzen anfänglichen Trainingsperiode linear im Gewichtsraum verbunden sind – mit Auswirkungen auf die Lottery-Ticket-Hypothese und die Modellstabilität.

Google DeepMind (2023)

Nach der Fusion von Google Brain und DeepMind im Jahr 2023 trug Sohl-Dickstein kurzzeitig den Titel des Principal Scientist der kombinierten Institution, bevor er zu Anthropic wechselte.

Anthropic – Member of Technical Staff (ca. 2024–heute)

Sohl-Dickstein trat Anthropic als Member of the Technical Staff bei. Seine persönliche Webseite, aktualisiert im Januar 2024, bestätigt diese Zugehörigkeit. Angesichts des Fokus von Anthropic auf KI-Sicherheit, Interpretierbarkeit und die Entwicklung von Spitzenmodellen brachte seine Ankunft den Erfinder der Diffusionsmodelle und ein Jahrzehnt groß angelegter Theorie neuronaler Netze in eine sicherheitsorientierte Forschungsumgebung.

Wichtigste Beiträge

  • Diffusion Probabilistic Models (ICML 2015) – „Deep Unsupervised Learning using Nonequilibrium Thermodynamics“ mit Eric Weiss, Niru Maheswaranathan und Surya Ganguli. Einführung des Rahmens des Vorwärtsverrauschens und des erlernten Rückwärtsentrauschens als Paradigma der generativen Modellierung, basierend auf der Nichtgleichgewichts-Thermodynamik. Das grundlegende Paper für die gesamte Familie von Diffusionsmodellen, die heute Stable Diffusion, DALL‑E 2, Imagen und Sora antreiben. Hat über 20.000 Zitierungen angesammelt. Weithin als Sohl-Dicksteins „größter Ruhmestitel“ beschrieben – in seinen eigenen Worten.

  • Minimum Probability Flow Learning (ICML 2011) – Entwicklung einer Parameterschätzungsmethode für probabilistische Modelle, die die Berechnung von Zustandssummen vermeidet, indem sie Nichtgleichgewichts-Dynamiken ausnutzt – die erste Demonstration von Sohl-Dicksteins charakteristischem Ansatz, Konzepte der statistischen Physik in das maschinelle Lernen zu importieren, der später den Beitrag der Diffusionsmodelle prägte.

  • Neural Tangents Library (2020) – Mitentwicklung der Standard-Quelloffen-Bibliothek zur Berechnung von NNGP- und NTK-Kerneln für unendlich breite und endlich breite neuronale Netze in JAX. Wurde zum Referenzwerkzeug für die Forschung an unendlich breiten neuronalen Netzen.

  • Deep Information Propagation (ICLR 2017) – Mit Samuel Schoenholz. Charakterisierung der Mean-Field-Theorie der Signalausbreitung in tiefen Netzen, Bereitstellung des ersten prinzipienbasierten Rahmens zur Analyse der Trainierbarkeit als Funktion von Tiefe, Initialisierung und Architektur – direkter Einfluss auf das spätere Verständnis von Gradientenexplosion und -verschwinden in sehr tiefen Netzen.

  • BIG-Bench: Beyond the Imitation Game (2022) – Hauptbeitragender zu dem kollaborativen Benchmark mit 444 Autoren, der die umfassendste Evaluierung der Fähigkeiten von Spitzen-Sprachmodellen lieferte, die zu dieser Zeit verfügbar war, über 204 verschiedene Denk- und Wissensaufgaben hinweg.

  • Gelernte Optimierer (2022) – Koautorenschaft einer Arbeit, die zeigte, dass metatrainierte neuronale Netz-Optimierer Adam im großen Maßstab übertreffen können, wodurch die praktische Machbarkeit von gelernten Optimierungsverfahren vorangetrieben wurde.

Auszeichnungen & Anerkennung

  • ICML 2015 Best Paper Kandidat – Das Paper über Diffusionsmodelle wurde auf der ICML 2015 präsentiert; seine retrospektive Anerkennung als eines der folgenreichsten ML-Papers des Jahrzehnts spiegelt sich in über 20.000 Zitierungen ab 2025 wider.
  • NeurIPS 2022 Outstanding Paper (BIG-Bench) – Das BIG-Bench-Paper erhielt die Auszeichnung als herausragendes Paper.
  • Semantic Scholar Identifikation – Wird durchgängig als einer der am häufigsten zitierten Forscher in der generativen Modellierung identifiziert.

Wichtige Beziehungen

  • Bruno Olshausen – Doktorvater am Redwood Center for Theoretical Neuroscience an der UC Berkeley; ein Pionier der Sparse Coding und Computational Neuroscience, der Sohl-Dicksteins physikinformierten Ansatz zum maschinellen Lernen prägte.
  • Surya Ganguli – Professor für Theoretische Neurowissenschaften an Stanford und Mitarbeiter; Koautor des ursprünglichen Diffusionsmodelle-Papers von 2015; Sohl-Dickstein war Gastwissenschaftler in seinem Labor, und beide teilen das Engagement, statistische Physik mit der Theorie des maschinellen Lernens zu verbinden.
  • Eric Weiss und Niru Maheswaranathan – Koautoren des ursprünglichen Diffusions-Papers von 2015; beide gehörten zum Ganguli-Labor oder zum Netzwerk des Redwood Center.
  • Jonathan Ho – Leitautor von DDPM (2020), das direkt auf Sohl-Dicksteins Paper von 2015 aufbaute und Diffusionsmodelle zur praktischen Nutzbarkeit im großen Maßstab brachte; Hos Paper ist die Verbindung zwischen Sohl-Dicksteins grundlegendem Beitrag und dem modernen Ökosystem der Diffusionsmodelle.
  • Samuel Schoenholz – Google Brain-Kollege und engster Mitarbeiter auf dem Gebiet der Theorie neuronaler Netze; die Arbeiten zur Deep Information Propagation und zur Theorie der Überparametrisierung waren eine kontinuierliche Zusammenarbeit.
  • Jonathan Frankle, Gintare Karolina Dziugaite, Daniel Roy, Michael Carbin – Koautoren des Papers zur linearen Mode-Konnektivität; eine institutionsübergreifende Zusammenarbeit, die Google Brain mit dem MIT, der University of Toronto und der akademischen Forschung zur Lottery-Ticket-Hypothese verband.

Persönlicher Stil

Sohl-Dicksteins intellektuelles Profil ist wirklich ungewöhnlich: ein Forscher, dessen gefeiertste Arbeit auf der Thermodynamik des 19. Jahrhunderts (Jarzynski-Gleichung und Nichtgleichgewichts-Statistische Mechanik) beruht, um ein Problem des maschinellen Lernens des 21. Jahrhunderts zu lösen, und der Monate damit verbrachte, buchstäblich auf Marszeit zu leben, bevor er eine Promotion in theoretischer Neurowissenschaft anstrebte. Seine persönliche Webseite beschreibt seine Interessen als „maschinelles Lernen, Neurowissenschaften, statistische Physik, dynamische Systeme“ – und im Gegensatz zu vielen solcher Listen ist diese hier zutreffend. Sein Blog, den er als Raum für „Ideen, die zu seltsam, unvollständig oder themenfremd sind, um daraus ein akademisches Paper zu machen“ beschreibt, spiegelt eine Vorliebe dafür wider, halbfertige, aber potenziell wichtige Ideen zu teilen, anstatt auf ausgefeilte Ergebnisse zu warten. Sein Verhältnis zum Erbe der Diffusionsmodelle ist charakteristisch trocken: Seine Webseite sagt, er sei „am (berühmt-berüchtigtsten) für die Erfindung von Diffusionsmodellen“, und seine Blog-Über-Seite bezeichnet es als seinen „größten Ruhmestitel“, während er anmerkt, dass der Blog selbst weder über maschinelles Lernen noch über das Einhalten von ungewöhnlichen Arbeitszeiten handeln soll.

Referenzen