ダニエル・ロイ

ウィキ
, , , ,
1

カナダ人の数学者・統計学者。Church確率的プログラミング言語の共同発明者、モンドリアン過程の導入、条件付き確率の計算可能性に関する基本限界の証明、ベイズ事前分布と深層学習を結びつけるPAC-Bayes一般化理論の構築を行い、現在はGoogle DeepMindに所属。

プロフィール
国籍 カナダ
現在の所属機関 Google DeepMind（客員研究員、ロンドン、2026年–現在）；トロント大学（教授、休職中 — 統計科学科・情報科学科）
研究分野 機械学習の基礎、学習理論、ベイズノンパラメトリック統計、確率的プログラミング、計算可能確率論、オンライン学習、非標準解析
博士指導教員 Leslie Kaelbling
博士論文 Computability, Inference and Modeling in Probabilistic Programming （MIT、2011年）
ウェブサイト danroy.org
X / Twitter @roydanroy
GitHub droy
Google Scholar Daniel Roy

概要

Daniel M. Roy（Dan）はトロント大学のカナダ人統計学教授で、2026年1月からロンドンのGoogle DeepMindで客員研究員として休職中。確率的プログラミング（Churchの共同創作者として）、ベイズノンパラメトリック統計（ランダムグラフに対するモンドリアン過程とグラフェックス過程）、確率の数学的論理（条件付き確率の計算可能性、計算可能なde Finetti測度）、そして現代の学習理論（深層ネットワークのPAC-Bayes一般化バウンド、確率的凸最適化の情報理論的複雑性）という4つの異なる領域にわたって基礎的な貢献をしてきた。3つの学位すべてをMITで取得し、王立協会ニュートン国際フェローおよびケンブリッジのエマニュエル・カレッジ研究フェローを務め、2010年代初頭にトロント大学に加わり、Vector Instituteの創立教員の一人となり、その後2025年12月まで同研究所の研究ディレクターを務めた。確率的凸最適化における情報複雑性に関するICML 2024最優秀論文賞は、彼の最も有名な確率的プログラミング研究から10年後に受賞したものであり、その基礎研究プログラムの異例の広がりと持続力を反映している。元学生やポスドク研究者がシカゴ大学、コペンハーゲン大学、ウォータールー大学、オスロ大学、パリ大学、インペリアル・カレッジ・ロンドンで教職に就くなど、目覚ましい人材ネットワークを育成してきた。

生い立ちと教育

ロイは1998年にResearch Science Institute（RSI）サマープログラムに早くから参加した。マサチューセッツ工科大学でコンピューターサイエンスと電気工学の3つの学位すべてを取得した。

B.S.およびM.Eng.（MIT） — M.Eng.論文「Clustered Naive Bayes」（2006年）は、分類のための確率的モデリングの初期の探求であった。学部生および修士課程の間に、Martin RinardのMIT CSAILグループと共にプログラム解析とメモリ安全性に関する論文（OSDI 2004、ACSAC 2004、WODA 2004）を共同執筆しており、これは後に確率的論理を専門とする者としては異例のシステムズバックグラウンドである。

PhD（MIT CSAIL、2006年–2011年） — ロイはMITのコンピューター科学・人工知能研究所でLeslie Kaelblingの指導の下で博士号を取得し、Josh Tenenbaumの計算認知科学グループにも深く関わった。博士論文「Computability, Inference and Modeling in Probabilistic Programming」は、計算可能性理論、数理論理学、ベイズ統計学の交点を扱った。この論文はMIT EECS George M. Sprowls博士論文賞 — 同学科における博士論文の最高賞 — を受賞した。論文の主要な構成要素には、Church確率的プログラミング言語、条件付き確率の計算可能性に関する結果、計算可能なde Finetti測度の解析が含まれる。

ケンブリッジ — ニュートン国際フェローおよびエマニュエル・カレッジ研究フェロー — 博士号取得後、ロイは王立協会のニュートン国際フェローシップとケンブリッジのエマニュエル・カレッジ研究フェローシップを授与された。ケンブリッジではZoubin Ghahramaniの機械学習グループと計算・生物学習研究室に加わり、MITで培った確率的モデリングの基礎を深めた。

経歴

MIT CSAIL — 博士研究とChurch（2006年–2011年）

ロイの博士課程時代で最も広く認知された成果は、UAI 2008で発表された（Noah Goodman、Vikash Mansinghka、Keith Bonawitz、Josh Tenenbaumとの共同研究による）確率的プログラミング言語Churchの創設である。ChurchはLispスタイルの計算を確率的プリミティブで拡張し、自然言語のフレーズ、レンダリング画像、気候測定値などに対する分布を含む複雑な生成モデルをプログラムとして指定し、マルコフ連鎖モンテカルロ法によってその実行履歴に対するベイズ推論を実行するための原理的な方法を提供した。Churchは確率的プログラミング分野の創設文書の一つとなり、Anglican、Venture、Pyro、Stanなどの一連のシステムに影響を与えた。

彼の博士論文のより深い数学的な流れは、条件付き確率とde Finetti測度の計算可能性に関する一連の結果である。主要な否定結果 — LICS 2011で発表され、その後Nathanael AckermanおよびCameron Freerと共にJournal of the ACMに掲載 — は、結合分布が計算可能であっても、条件付き確率分布は一般に結合分布から計算可能ではないことを示した。ベイズ推論は、正確な意味でアルゴリズム的に扱い不可能なのである。計算可能なde Finetti測度に関する関連結果（Freerと共著、Annals of Pure and Applied Logic、2012年）は、これらの不可能性結果を交換可能系列に拡張した。

ケンブリッジ — ニュートン国際フェローおよびエマニュエル・カレッジ・フェロー（2011年–2013年）

ケンブリッジでは、ロイはZoubin Ghahramaniの研究グループと共にベイズノンパラメトリックモデルとその確率的プログラミングの基礎に取り組んだ。ケンブリッジ時代には、とりわけ、グラフと交換可能ランダム構造のベイズモデルに関する基礎的なサーベイ論文（IEEE PAMI、2014年、Peter Orbanzと共著）が生まれ、これはグラフェックスフレームワーク — 交換可能性の観点から関係データとネットワークデータのベイズモデルを統一的に扱うもの — を体系的な研究プログラムとして確立した。

トロント大学 — 教授（c. 2013年–2026年、2026年から休職）

ロイはトロント大学統計科学科に加わり、情報科学科およびUTSCコンピューター・数理科学科に兼任で所属した。CIFAR Canada AI Chairを務め、Vector Instituteの創立教員の一人であり、その後2025年12月31日まで研究ディレクターを務めた。

モンドリアン過程とランダムフォレスト。 モンドリアン過程（NIPS 2009、Yee Whye Tehと共著）は、多次元空間の階層的矩形分割を生成する確率過程であり、その分布はスケール間で自己無撞着である — ディリクレ過程の空間的な類似物と言える。Mondrian Forests（NIPS 2014、AISTATS 2015、2016、Balaji LakshminarayananおよびYee Whye Tehと共著）はこれを拡張し、不確実性の定量化を伴うスケーラブルなオンラインランダムフォレストを実現した。Mondrian Kernel（UAI 2016）はモンドリアン過程に対応する明示的なカーネルを与え、分割モデルをカーネル法に接続した。

グラフェックス過程と疎ランダムグラフ。 Victor Veitchらとの持続的な研究プログラムは、密交換可能グラフに関するAldous-Hoover定理を、グラフェックス過程 — 観測されたネットワークデータと整合的な疎（部分線形密度）ランダムグラフモデルを生成するランダムグラフのエッジ上の測度 — によって疎な領域に一般化した。主要な理論的結果はAnnals of Statistics（2019年）に掲載され、疎交換可能グラフの文献に貢献した。

PAC-Bayes一般化バウンド。 ロイはGintare Karolina Dziugaiteと共に、深層ニューラルネットワークの汎化誤差に対する実用的で非自明なバウンドとしてのPAC-Bayesバウンドに関する研究を展開した。「Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data」（UAI 2017）は、実データで訓練された大規模ニューラルネットワークに対する非自明なPAC-Bayesバウンドを初めて実証した。その後の論文 — 差分プライバシーによるデータ依存事前分布について（NeurIPS 2018）、entropy-SGDとPAC-Bayesの関連について（ICML 2018）、SGDの情報理論的一般化バウンドについて（NeurIPS 2019）— は、深層学習に適用されるPAC-Bayes学習理論の理論的・実践的基盤を発展させ、その後の情報理論的一般化に関する文献に影響を与えた。

学習の情報複雑性。 より最近では、ロイおよび共同研究者（Mahdi Haghifam、Gintare Karolina Dziugaite、Idan Attias、Roi Livniを含む）は、確率的凸最適化と統計的学習の難しさの尺度としての情報理論的複雑性に関する研究プログラムを展開した。ICML 2024最優秀論文「Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization」は、標準的な凸最適化条件下でのSGDの厳密な情報複雑性バウンドを確立し、実際に観察される汎化特性と記憶化現象の両方を説明する統一的な枠組みを提供した。

意思決定理論のための非標準解析的基礎。 この3つ目の並行する研究はHaosui DuanmuおよびDavid Schrittesserと共に、非標準解析を古典的な意思決定理論に適用するものである。結果は、統計的手続きの許容性が無限小事前分布に関するベイズ最適性と等価であることを特徴づけ、弱い可測性仮定の下での正則条件付き分布の存在に関する長年の基礎的問題を解決し、統計的ミニマックス定理の非標準証明を提供する。

Vector Institute研究ディレクター（2025年12月まで）。 ロイはカナダの国立AI研究機関であるVector Instituteの研究ディレクターを務めた後、2025年12月31日に退任し、客員研究員としてGoogle DeepMindに加わった。

Google DeepMind — 客員研究員（2026年1月–現在）

ロイは2026年1月にロンドンのGoogle DeepMindに客員研究員として加わり、現在トロント大学から休職中である。

主な貢献

  • Church確率的プログラミング言語（UAI 2008） — Noah Goodman、Vikash Mansinghka、Keith Bonawitz、Josh Tenenbaumと共にChurchを共同創設。任意の計算可能分布を確率的プログラムとして表現し、MCMCによる実行履歴上のベイズ推論を実行できるLispベースの言語。確率的プログラミング分野を正式な研究領域として確立した。

  • モンドリアン過程（NIPS 2009） — Yee Whye Tehと共著。ℝ^dの階層的矩形分割を生成し、スケール間で自己無撞着な確率過程を導入 — 空間分割のための標準的なノンパラメトリック事前分布。Mondrian forestsおよびMondrian kernelの基礎。

  • 条件付き確率の計算可能性（LICS 2011; Journal of the ACM） — Nathanael AckermanおよびCameron Freerと共著。結合分布が計算可能であっても、条件付き確率分布は一般に結合分布から計算可能ではないことを証明。ベイズ計算理論における基本的な不可能性結果。

  • 計算可能なde Finetti測度（Annals of Pure and Applied Logic, 2012） — Cameron Freerと共著。交換可能系列のde Finetti表現に関する計算可能性結果を確立し、ベイズノンパラメトリクスの基礎を計算可能性理論に接続。

  • グラフェックス過程と疎交換可能グラフ（Annals of Statistics, 2019; arXiv 2015） — Victor Veitchと共著。交換可能ランダム測度（グラフェックス）を介してAldous-Hoover表現定理を疎ランダムグラフに一般化し、ネットワークデータの統計解析のための原理的なノンパラメトリックフレームワークを提供。

  • 深層ネットワークの非自明なPAC-Bayesバウンド（UAI 2017） — Gintare Karolina Dziugaiteと共著。実データで訓練された深層ニューラルネットワークの汎化誤差に対する、厳密で非自明なバウンドを初めて実証。最適化されたPAC-Bayes事前分布を使用。深層学習のための現代的な情報理論的一般化理論プログラムを開始。

  • 確率的凸最適化の情報複雑性（ICML 2024最優秀論文） — Idan Attias、Gintare Karolina Dziugaite、Mahdi Haghifam、Roi Livniと共著。標準的な凸仮定の下での確率的勾配降下法の厳密な情報複雑性バウンドを確立し、学習アルゴリズムにおける汎化と記憶化の統一理論を提供。

  • 意思決定理論の非標準的基礎 — Haosui DuanmuおよびDavid Schrittesserと共著。非標準解析を用いて統計的決定理論の基礎的問題を解決する一連の結果：許容性を無限小事前分布によるベイズ最適性として特徴づけ、弱い仮定の下での正則条件付き分布の存在を証明し、ミニマックス定理の非標準証明を提供。

受賞・表彰

  • MIT EECS George M. Sprowls博士論文賞（2011年） — MITにおけるコンピューター科学および電気工学の博士論文に対する最高栄誉。
  • 王立協会ニュートン国際フェローシップ — 英国王立協会による競争率の高い博士研究員フェローシップ。ケンブリッジで実施。
  • ケンブリッジ大学エマニュエル・カレッジ研究フェローシップ — ケンブリッジ最古のカレッジの一つでの初期研究フェローシップ。
  • CIFAR Canada AI Chair — カナダ高等研究所（CIFAR）によりカナダAI Chairに指名。
  • Vector Institute創立教員 — Vector Institute for Artificial Intelligenceの当初の学術創立メンバーの一人。
  • ICML 2024最優秀論文賞 — 「Information Complexity of Stochastic Convex Optimization」に対して。
  • Action Editor, JMLR — Journal of Machine Learning Researchの編集委員会に参加。

主要な関係者

  • Leslie Kaelbling — MITの博士指導教員；ロボット学習とタスクプランニングの第一人者；ロイがAI研究コミュニティに入るきっかけとなった指導関係。
  • Josh Tenenbaum — MITの計算認知科学者、ベイズモデリングのパイオニア；Churchプロジェクトの知的基盤；確率的プログラミングと認知科学における長年にわたる共同執筆者。
  • Vikash Mansinghka — MIT CSAIL研究者、確率的プログラミングのパイオニア；Churchを共同創設；確率的プログラミングの基礎で現在も協力。
  • Cameron Freer — 条件付き確率とde Finetti測度の計算可能性に関する主要な共同研究者；ロイのキャリアにおける理論的論理/計算可能性の流れは、主にこの共同研究を通じて進められている。
  • Yee Whye Teh — オックスフォード大学教授、Google DeepMind研究者；モンドリアン過程の共同発明者；ノンパラメトリックベイズとランダム構造にわたる継続的な共同研究者。
  • Gintare Karolina Dziugaite — ロイのトロント時代で最も多作な研究共同研究者；深層ネットワークのPAC-Bayesプログラムを共同主導；10以上の論文を共同執筆し、ロイの研究グループで博士研究員および研究員のポストを歴任。
  • Zoubin Ghahramani — ケンブリッジMLグループ長、博士研究員受け入れ教官；ケンブリッジでのベイズノンパラメトリック環境を提供し、ロイのMITでの基礎を英国のML理論に結びつけた。
  • Peter Orbanz — コロンビア大学統計学者；基礎的なグラフェックスおよび交換可能ランダム構造サーベイを共同執筆；構造的ベイズノンパラメトリクスプログラムにおける重要な知的パートナー。
  • Victor Veitch — ロイの最も輝かしい博士課程学生；グラフェックス過程理論を共同開発；カナダ統計学会Pierre Robillard賞を受賞；現在シカゴ大学助教授。

人物像

ロイは、確率的プログラミング、ベイズノンパラメトリクス、統計論理、学習理論という複数の研究伝統にわたって、単一の技術的道具立てに還元されることなく一貫した数学的基準を維持してきた理論計算機科学者の稀有な例である。彼の研究は基礎へのこだわりに特徴づけられる：ベイズ推論がいつ計算可能か、一般化バウンドがいつ真に厳密か、統計学における標準的な仮定をいつ削除または弱めて精度を犠牲にしないかという問いに惹かれる。「統計学から仮定を取り除く」という枠組み — 最近のETHチューリッヒでの講演で彼が用いた — は、非標準解析的基礎に関する彼の現在の研究プログラムを、計算可能性不可能性に関する初期の研究と同じくらい正確に説明している。彼の学生の就職実績は、強力な理論グループの基準から見ても特筆に値する：Victor Veitch（シカゴ大学）、Jeffrey NegreaおよびMufan Li（ウォータールー大学）、Jun Yang（コペンハーゲン大学）、Yanbo Tang（インペリアル・カレッジ・ロンドン）らが現在研究教員のポストに就いており、Haosui Duanmuは中国で正教授を務めている。彼は自身のサイトに「marginalia」ウィキ — 正誤表、説明、見落とされた引用の収集 — を維持しており、これは発表の体裁よりも科学的誠実さへの彼のコミットメントを反映している。

参考文献