Daniel Roy

Wiki
, , , ,
1

Kanadischer Mathematiker und Statistiker, der die probabilistische Programmiersprache Church mitentwickelte, den Mondrian-Prozess einführte, fundamentale Grenzen der Berechenbarkeit bedingter Wahrscheinlichkeiten bewies und die PAC-Bayes-Verallgemeinerungstheorie aufstellte, die Bayessche Priori mit Deep Learning verbindet — jetzt bei Google DeepMind.

Profil
Nationalität Kanadisch
Derzeitige Institution(en) Google DeepMind (Gastforscher, London, 2026–heute); University of Toronto (Professor, beurlaubt — Dept. Statistical Sciences und Dept. Computer Science)
Forschungsbereiche Grundlagen des maschinellen Lernens, Lerntheorie, Bayessche nichtparametrische Statistik, probabilistische Programmierung, berechenbare Wahrscheinlichkeitstheorie, Online-Lernen, Nichtstandardanalysis
Doktorvater/-mutter Leslie Kaelbling
Doktorarbeit Computability, Inference and Modeling in Probabilistic Programming (MIT, 2011)
Website danroy.org
X / Twitter @roydanroy
GitHub droy
Google Scholar Daniel Roy

Überblick

Daniel M. Roy (Dan) ist ein kanadischer Professor für Statistik an der University of Toronto — seit Januar 2026 beurlaubt als Gastforscher bei Google DeepMind in London — der grundlegende Beiträge in vier verschiedenen Bereichen geleistet hat: probabilistische Programmierung (als Mitentwickler von Church), Bayessche nichtparametrische Statistik (der Mondrian-Prozess und Graphex-Prozesse für zufällige Graphen), die mathematische Logik der Wahrscheinlichkeit (Berechenbarkeit bedingter Wahrscheinlichkeiten, berechenbare de-Finetti-Maße) und moderne Lerntheorie (PAC-Bayes-Verallgemeinerungsschranken für tiefe Netzwerke, informationstheoretische Komplexität der stochastischen konvexen Optimierung). Er absolvierte alle drei Studienabschlüsse am MIT, war Royal-Society-Newton-International-Fellow und Research Fellow am Emmanuel College in Cambridge und kam Anfang der 2010er Jahre an die University of Toronto, wo er Gründungsmitglied des Vector Institute war und anschließend bis Dezember 2025 dessen Forschungsdirektor. Seine ICML-2024-Auszeichnung für den besten Beitrag zur Informationskomplexität in der stochastischen konvexen Optimierung erhielt er zehn Jahre nach seiner bekanntesten Arbeit zur probabilistischen Programmierung — eine Zeitspanne, die die ungewöhnliche Breite und Dauer seines grundlagenwissenschaftlichen Forschungsprogramms widerspiegelt. Er hat ein bemerkenswertes Netzwerk von Alumni aufgebaut; ehemalige Studenten und Postdoktoranden haben nun Professuren in Chicago, Kopenhagen, Waterloo, Oslo, Paris und am Imperial College London.

Frühe Jahre & Ausbildung

Roy nahm 1998 am Sommerprogramm des Research Science Institute (RSI) teil. Er absolvierte alle seine Studienabschlüsse in Informatik und Elektrotechnik am Massachusetts Institute of Technology.

B.S. und M.Eng., MIT — Seine M.Eng.-Arbeit „Clustered Naive Bayes“ (2006) war eine frühe Erkundung der probabilistischen Modellierung für Klassifikation. Während seiner Bachelor- und Masterzeit war er Mitautor von Arbeiten zur Programmanalyse und Speichersicherheit (OSDI 2004, ACSAC 2004, WODA 2004) in der Gruppe von Martin Rinard am MIT CSAIL — ein systemtechnischer Hintergrund, ungewöhnlich für jemanden, der sich später auf probabilistische Logik spezialisieren sollte.

PhD, MIT CSAIL (2006–2011) — Roy promovierte am MIT Computer Science and Artificial Intelligence Laboratory unter Leslie Kaelbling, mit tiefer Einbindung in die Gruppe für computergestützte Kognitionswissenschaft von Josh Tenenbaum. Seine Dissertation Computability, Inference and Modeling in Probabilistic Programming befasste sich mit der Schnittstelle von Berechenbarkeitstheorie, mathematischer Logik und Bayesscher Statistik. Sie wurde mit dem MIT-EECS-George-M.-Sprowls-Doktorarbeitspreis ausgezeichnet – der höchsten Auszeichnung der Fakultät für Doktorarbeiten. Zu den Schlüsselkomponenten der Dissertation gehören die probabilistische Programmiersprache Church, Ergebnisse zur Berechenbarkeit bedingter Wahrscheinlichkeiten und eine Analyse berechenbarer de-Finetti-Maße.

Cambridge — Newton International Fellow und Research Fellow am Emmanuel College — Nach seiner Promotion erhielt Roy ein Newton International Fellowship der Royal Society und ein Research Fellowship am Emmanuel College in Cambridge. In Cambridge trat er der Machine-Learning-Gruppe von Zoubin Ghahramani und dem Computational and Biological Learning Lab bei und vertiefte die Grundlagen der probabilistischen Modellierung, die er am MIT entwickelt hatte.

Werdegang

MIT CSAIL — Doktoratsforschung und Church (2006–2011)

Das öffentlich bekannteste Ergebnis von Roys Doktoratsjahren war die Entwicklung von Church, einer probabilistischen Programmiersprache, die auf der UAI 2008 vorgestellt wurde (mit Noah Goodman, Vikash Mansinghka, Keith Bonawitz und Josh Tenenbaum). Church erweiterte die Lisp-artige Berechnung um stochastische Primitive und bot eine prinzipielle Möglichkeit, komplexe generative Modelle — darunter Verteilungen über Phrasen in natürlicher Sprache, gerenderte Bilder und Klimamessungen — als Programme zu spezifizieren und Bayessche Inferenz über ihre Ausführungsverläufe mittels Markov-Chain-Monte-Carlo durchzuführen. Church wurde zu einem der Gründungsdokumente des Feldes der probabilistischen Programmierung und beeinflusste eine Generation von Systemen wie Anglican, Venture, Pyro und Stan.

Der tiefere mathematische Faden seiner Dissertation war eine Reihe von Ergebnissen zur Berechenbarkeit bedingter Wahrscheinlichkeiten und de-Finetti-Maße. Das zentrale negative Ergebnis — veröffentlicht in LICS 2011 und anschließend im Journal of the ACM mit Nathanael Ackerman und Cameron Freer — zeigte, dass bedingte Wahrscheinlichkeitsverteilungen im Allgemeinen nicht aus der gemeinsamen Verteilung berechenbar sind, selbst wenn die gemeinsame Verteilung berechenbar ist: Bayessche Inferenz ist in einem präzisen Sinne algorithmisch nicht handhabbar. Begleitende Ergebnisse zu berechenbaren de-Finetti-Maßen (Annals of Pure and Applied Logic, 2012, mit Freer) erweiterten diese Unmöglichkeitsergebnisse auf austauschbare Folgen.

Cambridge — Newton International und Emmanuel College Fellow (2011–2013)

In Cambridge arbeitete Roy mit der Gruppe von Zoubin Ghahramani an Bayesschen nichtparametrischen Modellen und deren Grundlagen in der probabilistischen Programmierung. Die Cambridge-Zeit brachte unter anderem grundlegende Übersichtsarbeit zu Bayesschen Modellen von Graphen und austauschbaren Zufallsstrukturen hervor (IEEE PAMI, 2014, mit Peter Orbanz), die das Graphex-Rahmenwerk etablierte — eine einheitliche Behandlung Bayesscher Modelle für relationale und Netzwerkdaten durch die Linse der Austauschbarkeit — als strukturiertes Forschungsprogramm.

University of Toronto — Professor (ca. 2013–2026, mit Beurlaubung ab 2026)

Roy trat in die Abteilung für Statistikwissenschaften der University of Toronto ein und war außerdem in der Abteilung für Informatik und der UTSC-Abteilung für Informatik und Mathematische Wissenschaften tätig. Er ist ein CIFAR-Canada-AI-Chair und war Gründungsmitglied des Vector Institute, wo er anschließend bis zum 31. Dezember 2025 als Forschungsdirektor tätig war.

Mondrian-Prozesse und Random Forests. Der Mondrian-Prozess (NIPS 2009, mit Yee Whye Teh) ist ein stochastischer Prozess, der hierarchische rechteckige Partitionen des mehrdimensionalen Raums erzeugt, deren Verteilung über die Skalen hinweg selbstkonsistent ist — eine Art räumliches Analogon des Dirichlet-Prozesses. Mondrian Forests (NIPS 2014, AISTATS 2015, 2016, mit Balaji Lakshminarayanan und Yee Whye Teh) erweiterten dies zu skalierbaren Online-Random-Forests mit Unsicherheitsquantifizierung. Der Mondrian-Kernel (UAI 2016) lieferte einen expliziten Kernel, der dem Mondrian-Prozess entspricht, und verband das Partitionsmodell mit Kernel-Methoden.

Graphex-Prozesse und sparse Zufallsgraphen. Ein nachhaltiges Forschungsprogramm mit Victor Veitch und anderen verallgemeinerte den Satz von Aldous-Hoover für dichte austauschbare Graphen auf den dünnen Bereich mittels Graphex-Prozessen — Maße auf Kanten von Zufallsgraphen, die dünne (sublineare Dichte) Zufallsgraphenmodelle erzeugen, die mit beobachteten Netzwerkdaten konsistent sind. Die wichtigsten theoretischen Ergebnisse erschienen in den Annals of Statistics (2019) und trugen zur Literatur über dünne austauschbare Graphen bei.

PAC-Bayes-Verallgemeinerungsschranken. Beginnend mit Gintare Karolina Dziugaite entwickelte Roy eine Arbeitslinie zu PAC-Bayes-Schranken als praktische, nicht-triviale Schranken für den Verallgemeinerungsfehler tiefer neuronaler Netzwerke. „Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data“ (UAI 2017) war die erste Demonstration einer nicht-trivialen PAC-Bayes-Schranke für ein großes neuronales Netzwerk, das auf realen Daten trainiert wurde. Folgepapiere — zu datenabhängigen Prioren durch differentielle Privatsphäre (NeurIPS 2018), zur Verbindung zwischen Entropie-SGD und PAC-Bayes (ICML 2018) und zu informationstheoretischen Verallgemeinerungsschranken für SGD (NeurIPS 2019) — entwickelten die theoretischen und praktischen Grundlagen der PAC-Bayes-Lerntheorie, wie sie auf Deep Learning angewendet wird, und beeinflussten die anschließende informationstheoretische Verallgemeinerungsliteratur.

Informationskomplexität des Lernens. In jüngerer Zeit entwickelten Roy und Mitarbeiter (darunter Mahdi Haghifam, Gintare Karolina Dziugaite, Idan Attias und Roi Livni) ein Forschungsprogramm zur informationstheoretischen Komplexität als Maß für die Schwierigkeit der stochastischen konvexen Optimierung und des statistischen Lernens. Das ICML-2024-Best-Paper, „Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization“, stellte enge informationskomplexitätsschranken für SGD unter Standardbedingungen konvexer Optimierung auf — und lieferte einen einheitlichen Rahmen, der sowohl die in der Praxis beobachteten Verallgemeinerungseigenschaften als auch die Memorierungsphänomene erklärt.

Nichtstandard-analytische Grundlagen der Entscheidungstheorie. Eine dritte parallele Arbeitslinie mit Haosui Duanmu und David Schrittesser wendet die Nichtstandardanalysis auf die klassische Entscheidungstheorie an: Die Ergebnisse charakterisieren die Zulässigkeit statistischer Verfahren als äquivalent zur Bayes-Optimalität bezüglich eines infinitesimalen Priors, lösen langjährige Grundlagenfragen zur Existenz regulärer bedingter Verteilungen unter schwachen Messbarkeitsannahmen und liefern Nichtstandard-Beweise statistischer Minimax-Theoreme.

Vector Institute Forschungsdirektor (bis Dezember 2025). Roy war Forschungsdirektor des Vector Institute, Kanadas nationalem KI-Forschungsinstitut, bevor er am 31. Dezember 2025 zurücktrat, um als Gastforscher zu Google DeepMind zu wechseln.

Google DeepMind — Gastforscher (Januar 2026–heute)

Roy kam im Januar 2026 als Gastforscher zu Google DeepMind nach London und ist derzeit von der University of Toronto beurlaubt.

Wichtigste Beiträge

  • Church-Probabilistische-Programmiersprache (UAI 2008) — Mitentwickelt von Church mit Noah Goodman, Vikash Mansinghka, Keith Bonawitz und Josh Tenenbaum. Eine Lisp-basierte Sprache, in der jede berechenbare Verteilung als probabilistisches Programm ausgedrückt und Bayessche Inferenz mittels MCMC über Ausführungsverläufe durchgeführt werden kann. Begründete das Feld der probabilistischen Programmierung als formales Forschungsgebiet.

  • Mondrian-Prozess (NIPS 2009) — Mit Yee Whye Teh. Einführung eines stochastischen Prozesses, der hierarchische rechteckige Partitionen von ℝ^d erzeugt, die über die Skala hinweg selbstkonsistent sind — der kanonische nichtparametrische Prior für räumliche Partitionierung. Grundlage für Mondrian Forests und den Mondrian-Kernel.

  • Berechenbarkeit bedingter Wahrscheinlichkeiten (LICS 2011; Journal of the ACM) — Mit Nathanael Ackerman und Cameron Freer. Beweis, dass bedingte Wahrscheinlichkeitsverteilungen im Allgemeinen nicht aus der gemeinsamen Verteilung berechenbar sind, selbst wenn die gemeinsame Verteilung berechenbar ist. Ein grundlegendes Unmöglichkeitsergebnis in der Theorie des Bayesschen Rechnens.

  • Berechenbare de-Finetti-Maße (Annals of Pure and Applied Logic, 2012) — Mit Cameron Freer. Aufstellung von Berechenbarkeitsergebnissen für de-Finetti-Darstellungen austauschbarer Folgen, die die Grundlagen der Bayesschen Nichtparametrik mit der Berechenbarkeitstheorie verbinden.

  • Graphex-Prozesse und dünne austauschbare Graphen (Annals of Statistics, 2019; arXiv 2015) — Mit Victor Veitch. Verallgemeinerung des Darstellungssatzes von Aldous-Hoover auf dünne Zufallsgraphen mittels austauschbarer Zufallsmaße (Graphexe) und Bereitstellung eines prinzipiellen nichtparametrischen Rahmens für die statistische Analyse von Netzwerkdaten.

  • Nicht-triviale PAC-Bayes-Schranken für tiefe Netzwerke (UAI 2017) — Mit Gintare Karolina Dziugaite. Erste Demonstration einer engen, nicht-trivialen Schranke für den Verallgemeinerungsfehler eines tiefen neuronalen Netzwerks, das auf realen Daten trainiert wurde, unter Verwendung eines optimierten PAC-Bayes-Priors. Begründete das moderne informationstheoretische Verallgemeinerungstheorieprogramm für Deep Learning.

  • Informationskomplexität der stochastischen konvexen Optimierung (ICML 2024 Best Paper) — Mit Idan Attias, Gintare Karolina Dziugaite, Mahdi Haghifam und Roi Livni. Aufstellung enger informationskomplexitätsschranken für den stochastischen Gradientenabstieg unter Standardannahmen der Konvexität und Bereitstellung einer einheitlichen Theorie der Verallgemeinerung und des Memorierens in Lernalgorithmen.

  • Nichtstandard-Grundlagen der Entscheidungstheorie — Mit Haosui Duanmu und David Schrittesser. Eine Reihe von Ergebnissen, die Nichtstandardanalysis verwenden, um Grundlagenfragen der statistischen Entscheidungstheorie zu lösen: Charakterisierung der Zulässigkeit als Bayes-Optimalität mit infinitesimalen Prioren, Beweis der Existenz regulärer bedingter Verteilungen unter schwachen Annahmen und Lieferung von Nichtstandard-Beweisen von Minimax-Theoremen.

Auszeichnungen & Anerkennung

  • MIT-EECS-George-M.-Sprowls-Doktorarbeitspreis (2011) — Die höchste Auszeichnung des MIT für Doktorarbeiten in Informatik und Elektrotechnik.
  • Royal Society Newton International Fellowship — Wettbewerbsorientiertes Postdoktorandenstipendium der Royal Society of the UK, gehalten in Cambridge.
  • Emmanuel College Research Fellowship, Cambridge — Junior Research Fellowship an einem der ältesten Colleges von Cambridge.
  • CIFAR Canada AI Chair — Ernennung zum Canada AI Chair durch das Canadian Institute for Advanced Research.
  • Vector Institute Gründungsfakultät — Eines der ursprünglichen akademischen Gründungsmitglieder des Vector Institute for Artificial Intelligence.
  • ICML 2024 Best Paper Award — Für „Information Complexity of Stochastic Convex Optimization.“
  • Action Editor, JMLR — Mitglied des Herausgebergremiums des Journal of Machine Learning Research.

Wichtige Beziehungen

  • Leslie Kaelbling — MIT-Doktorvater/-mutter; eine führende Figur im Roboterlernen und in der Aufgabenplanung; die Mentoring-Beziehung, durch die Roy in die KI-Forschungsgemeinschaft eintrat.
  • Josh Tenenbaum — MIT-Computerkognitionswissenschaftler und Pionier der Bayesschen Modellierung; intellektuelle Heimat des Church-Projekts; langjähriger Koautor für probabilistische Programmierung und Kognitionswissenschaft.
  • Vikash Mansinghka — MIT-CSAIL-Forscher und Pionier der probabilistischen Programmierung; Mitentwickler von Church; setzt die Zusammenarbeit an den Grundlagen der probabilistischen Programmierung fort.
  • Cameron Freer — Hauptkooperationspartner für die Berechenbarkeit bedingter Wahrscheinlichkeiten und de-Finetti-Maße; der theoretische Logik/Berechenbarkeits-Faden von Roys Karriere verläuft weitgehend durch diese Zusammenarbeit.
  • Yee Whye Teh — Professor in Oxford und Google-DeepMind-Forscher; Miterfinder des Mondrian-Prozesses; wiederkehrender Kooperationspartner in nichtparametrischer Bayes-Statistik und Zufallsstrukturen.
  • Gintare Karolina Dziugaite — Die produktivste Forschungskooperationspartnerin von Roys Toronto-Jahren; Co-Leiterin des PAC-Bayes-Programms für tiefe Netzwerke; veröffentlichte über ein Dutzend gemeinsame Arbeiten und hatte Postdoktoranden- und Forschungsstellen in Roys Gruppe.
  • Zoubin Ghahramani — Leiter der Cambridge-ML-Gruppe und Postdoc-Gastgeber; bot die Bayessche nichtparametrische Umgebung in Cambridge, die Roys MIT-Grundlagen mit der britischen ML-Theorie verband.
  • Peter Orbanz — Statistiker an der Columbia University; Mitautor der grundlegenden Übersichtsarbeit zu Graphex und austauschbaren Zufallsstrukturen; ein wichtiger intellektueller Partner im Programm der strukturellen Bayesschen Nichtparametrik.
  • Victor Veitch — Roys dekorierterster Doktorand; Mitentwickler der Graphex-Prozess-Theorie; gewann den Pierre-Robillard-Preis der Statistical Society of Canada; jetzt Assistenzprofessor an der University of Chicago.

Persönlicher Stil

Roy ist ein seltenes Beispiel eines theoretischen Informatikers, der einen konsistenten mathematischen Standard über mehrere Forschungstraditionen hinweg aufrechterhalten hat — probabilistische Programmierung, Bayessche Nichtparametrik, statistische Logik und Lerntheorie — ohne auf ein einziges technisches Werkzeug reduziert zu werden. Seine Arbeit zeichnet sich durch ein Beharren auf Grundlagen aus: Er fühlt sich zu Fragen hingezogen, wann Bayessche Inferenz berechenbar ist, wann Verallgemeinerungsschranken wirklich eng sind und wann Standardannahmen in der Statistik entfernt oder abgeschwächt werden können, ohne an Präzision zu verlieren. Der Rahmen „Annahmen aus der Statistik entfernen“ — den er in einem kürzlichen Vortrag an der ETH Zürich verwendete — beschreibt sein derzeitiges Forschungsprogramm zu nichtstandard-analytischen Grundlagen ebenso genau, wie es seine frühen Arbeiten zur Berechenbarkeitsunmöglichkeit beschrieb. Die Platzierung seiner Studenten ist selbst nach den Maßstäben starker Theoriegruppen bemerkenswert: Victor Veitch (University of Chicago), Jeffrey Negrea und Mufan Li (University of Waterloo), Jun Yang (University of Copenhagen), Yanbo Tang (Imperial College London) und andere bekleiden nun Forschungsprofessuren, und Haosui Duanmu hat eine ordentliche Professur in China. Er unterhält auf seiner Website ein „Marginalia“-Wiki — eine Sammlung von Errata, Klarstellungen und übersehenen Zitaten — das sein Engagement für wissenschaftliche Integrität über Poliertheit der Darstellung widerspiegelt.

Referenzen