Daniel Roy의 생각

위키
, , , ,
1

캐나다 수학자이자 통계학자. Church 확률 프로그래밍 언어를 공동 발명했으며, Mondrian 과정(Mondrian process)을 도입했고, 조건부 확률의 계산 가능성에 대한 근본적인 한계를 증명했으며, 베이지안 사전 확률과 딥러닝을 연결하는 PAC-Bayes 일반화 이론을 구축했다. 현재는 Google DeepMind에서 활동 중이다.

프로필
국적 캐나다
현 소속 기관 Google DeepMind (방문 연구원, 런던, 2026–현재); 토론토 대학교 (교수, 휴직 중 — 통계과학부 및 컴퓨터과학부)
연구 분야 머신러닝 기초, 학습 이론, 베이지안 비모수 통계, 확률 프로그래밍, 계산 가능한 확률 이론, 온라인 학습, 비표준 해석학
박사 지도교수 Leslie Kaelbling
박사 학위 논문 확률 프로그래밍에서의 계산 가능성, 추론 및 모델링 (MIT, 2011)
웹사이트 danroy.org
X / 트위터 @roydanroy
GitHub droy
Google Scholar Daniel Roy

개요

Daniel M. Roy (Dan)은 토론토 대학교의 캐나다인 통계학 교수로, 2026년 1월부터 런던에 있는 Google DeepMind의 방문 연구원으로 휴직 중이며, 확률 프로그래밍(Church 공동 창시자), 베이지안 비모수 통계(무작위 그래프를 위한 Mondrian 과정 및 graphex 과정), 확률의 수리 논리(조건부 확률의 계산 가능성, 계산 가능한 de Finetti 측도), 현대 학습 이론(딥 네트워크를 위한 PAC-Bayes 일반화 경계, 확률적 볼록 최적화의 정보 이론적 복잡도) 등 네 가지 뚜렷한 분야에 걸쳐 기초적인 기여를 했다. 그는 MIT에서 모든 학위를 받았고, 왕립 학회의 Newton International Fellow이자 케임브리지의 Emmanuel College Research Fellow였으며, 2010년대 초반 토론토 대학교에 합류하여 Vector Institute의 창립 교수진이었고 이후 2025년 12월까지 연구 책임자로 재직했다. 그의 ICML 2024 최우수 논문(확률적 볼록 최적화의 정보 복잡도에 관한)은 그의 가장 유명한 확률 프로그래밍 작업 이후 10년 만에 인정을 받았는데, 이는 그의 기초 연구 프로그램의 이례적인 폭과 지속 기간을 반영한다. 그는 주목할 만한 동문 네트워크를 양성했으며, 이전 학생과 박사후 연구원들이 현재 시카고, 코펜하겐, 워털루, 오슬로, 파리, 임페리얼 칼리지 런던에서 교수직을 맡고 있다.

초기 생애 및 교육

Roy는 1998년 Research Science Institute(RSI) 여름 프로그램에 일찍 참여했다. 그는 매사추세츠 공과대학교(MIT)에서 컴퓨터 과학 및 전기 공학의 모든 학위를 취득했다.

B.S. 및 M.Eng., MIT — 그의 M.Eng. 논문 “클러스터드 순진 베이즈(Clustered Naive Bayes)”(2006)은 분류를 위한 확률적 모델링의 초기 탐구였다. 학부 및 석사 과정 동안 그는 MIT CSAIL의 Martin Rinard 그룹과 함께 프로그램 분석 및 메모리 안전성(OSDI 2004, ACSAC 2004, WODA 2004)에 관한 논문을 공동 집필했는데, 이는 확률 논리를 전문으로 하는 사람에게는 이례적인 시스템 배경이다.

PhD, MIT CSAIL (2006–2011) — Roy는 Leslie Kaelbling의 지도 하에 MIT 컴퓨터 과학 및 인공 지능 연구소에서 박사 학위를 마쳤으며, Josh Tenenbaum의 전산 인지 과학 그룹에 깊이 관여했다. 그의 논문인 _확률 프로그래밍에서의 계산 가능성, 추론 및 모델링_은 계산 가능성 이론, 수리 논리, 베이지안 통계의 교차점을 다루었다. 이 논문은 MIT EECS George M. Sprowls 박사 학위 논문상(해당 학과의 박사 논문에 대한 최고 영예)을 수상했다. 논문의 주요 구성 요소로는 Church 확률 프로그래밍 언어, 조건부 확률의 계산 가능성에 대한 결과, 계산 가능한 de Finetti 측도에 대한 분석이 포함된다.

케임브리지 — Newton International Fellow 및 Emmanuel College Research Fellow — 박사 학위 후, Roy는 왕립 학회의 Newton International Fellowship과 케임브리지 Emmanuel College의 Research Fellowship을 수여받았다. 케임브리지에서 그는 Zoubin Ghahramani의 머신러닝 그룹과 전산 및 생물학적 학습 연구소에 합류하여 MIT에서 개발한 확률적 모델링 기반을 더욱 심화시켰다.

경력

MIT CSAIL — 박사 연구 및 Church (2006–2011)

Roy 박사 시절의 가장 널리 알려진 성과는 UAI 2008에서 발표된 확률 프로그래밍 언어인 Church의 창조였다(Noah Goodman, Vikash Mansinghka, Keith Bonawitz, Josh Tenenbaum과 공동). Church는 Lisp 스타일의 계산에 확률적 기본 요소를 확장하여, 자연어 구문, 렌더링된 이미지, 기후 측정값 등에 대한 분포를 포함한 복잡한 생성 모델을 프로그램으로 지정하고 마르코프 체인 몬테카를로(MCMC)를 통해 실행 기록에 대한 베이지안 추론을 수행하는 원칙적인 방법을 제공했다. Church는 확률 프로그래밍 분야의 창립 문서 중 하나가 되었으며 Anglican, Venture, Pyro, Stan을 포함한 일련의 시스템에 영향을 미쳤다.

그의 논문의 더 깊은 수학적 흐름은 조건부 확률과 de Finetti 측도의 계산 가능성에 대한 일련의 결과였다. LICS 2011에 발표되고 이후 Nathanael Ackerman 및 Cameron Freer와 함께 Journal of the ACM에 게재된 중심 부정적 결과는, 결합 분포가 계산 가능하더라도 조건부 확률 분포가 일반적으로 결합 분포로부터 계산 가능하지 않다는 것을 보여주었다. 즉, 베이지안 추론은 정확한 의미에서 알고리즘적으로 다루기 어렵다는 것이다. 계산 가능한 de Finetti 측도에 대한 동반 결과(Annals of Pure and Applied Logic, 2012, Freer와 공동)는 이러한 불가능성 결과를 교환 가능한 시퀀스로 확장했다.

케임브리지 — Newton International 및 Emmanuel College Fellow (2011–2013)

케임브리지에서 Roy는 Zoubin Ghahramani의 그룹과 함께 베이지안 비모수 모델 및 그 확률 프로그래밍 기반에 대해 연구했다. 케임브리지 시기는 무엇보다도 그래프 및 교환 가능한 무작위 구조의 베이지안 모델에 대한 기초적인 조사 작업(IEEE PAMI, 2014, Peter Orbanz와 공동)을 포함하여, 교환 가능성의 관점을 통해 관계형 및 네트워크 데이터의 베이지안 모델에 대한 통합된 처리를 구조화된 연구 프로그램으로 확립한 graphex 프레임워크를 탄생시켰다.

토론토 대학교 — 교수 (약 2013–2026, 2026년부터 휴직)

Roy는 토론토 대학교 통계과학부에 합류했으며 컴퓨터과학부 및 UTSC 컴퓨터 및 수리과학부에 겸직 임용되었다. 그는 CIFAR Canada AI Chair이며 Vector Institute의 창립 교수진이었고, 이후 2025년 12월 31일까지 연구 책임자로 재직했다.

Mondrian 과정 및 랜덤 포레스트. Mondrian 과정(NIPS 2009, Yee Whye Teh과 공동)은 다차원 공간의 계층적 직사각형 분할을 생성하는 확률적 과정으로, 그 분포는 스케일에 걸쳐 자기 일관성을 가진다. 이는 디리클레 과정의 공간적 유사체라고 할 수 있다. Mondrian Forests(NIPS 2014, AISTATS 2015, 2016, Balaji Lakshminarayanan 및 Yee Whye Teh과 공동)는 이를 확장하여 불확실성 정량화가 가능한 확장 가능한 온라인 랜덤 포레스트를 만들었다. Mondrian Kernel(UAI 2016)은 Mondrian 과정에 해당하는 명시적 커널을 제공하여 분할 모델을 커널 방법과 연결했다.

Graphex 과정 및 희소 무작위 그래프. Victor Veitch 및 다른 사람들과의 지속적인 연구 프로그램은 밀집 교환 가능 그래프에 대한 Aldous-Hoover 정리를 graphex 과정을 통해 희소 영역으로 일반화했다. Graphex 과정은 관찰된 네트워크 데이터와 일치하는 희소(선형 미만 밀도) 무작위 그래프 모델을 생성하는 무작위 그래프의 에지에 대한 측도이다. 주요 이론적 결과는 Annals of Statistics(2019)에 게재되었으며 희소 교환 가능 그래프 문헌에 기여했다.

PAC-Bayes 일반화 경계. Gintare Karolina Dziugaite와 함께 시작하여, Roy는 딥 뉴럴 네트워크의 일반화 오류에 대한 실용적이고 공허하지 않은 경계로서 PAC-Bayes 경계에 대한 일련의 연구를 개발했다. “Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data”(UAI 2017)는 실제 데이터로 훈련된 대규모 뉴럴 네트워크에 대한 중요한 PAC-Bayes 경계의 첫 번째 시연이었다. 후속 논문들 — 차등 프라이버시를 통한 데이터 종속 사전 확률(NeurIPS 2018), entropy-SGD와 PAC-Bayes 간의 연결(ICML 2018), SGD에 대한 정보 이론적 일반화 경계(NeurIPS 2019) — 은 딥러닝에 적용된 PAC-Bayes 학습 이론의 이론적 및 실용적 기초를 개발했으며, 이후의 정보 이론적 일반화 문헌에 영향을 미쳤다.

학습의 정보 복잡도. 더 최근에는 Roy와 공동 연구자들(Mahdi Haghifam, Gintare Karolina Dziugaite, Idan Attias, Roi Livni 포함)이 확률적 볼록 최적화 및 통계적 학습의 경도를 측정하는 정보 이론적 복잡도에 대한 연구 프로그램을 개발했다. ICML 2024 최우수 논문인 "Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization"은 표준 볼록 최적화 조건 하에서 SGD에 대한 엄격한 정보 복잡도 경계를 확립하여, 실제로 관찰되는 일반화 속성과 암기 현상을 모두 설명하는 통합 프레임워크를 제공했다.

의사 결정 이론을 위한 비표준 해석학적 기초. Haosui Duanmu 및 David Schrittesser와의 세 번째 병행 연구 계열은 비표준 해석학을 고전적 의사 결정 이론에 적용한다. 결과는 통계적 절차의 허용 가능성을 무한소 사전 확률에 대한 베이즈 최적성과 동등하게 특성화하고, 약한 가측성 가정 하에서 정규 조건부 분포의 존재에 대한 오랜 기초 질문을 해결하며, 통계적 최소최대 정리의 비표준 증명을 제공한다.

Vector Institute 연구 책임자 (2025년 12월까지). Roy는 캐나다 국가 AI 연구소인 Vector Institute의 연구 책임자로 재직하다가 2025년 12월 31일 사임하고 Google DeepMind의 방문 연구원으로 합류했다.

Google DeepMind — 방문 연구원 (2026년 1월–현재)

Roy는 2026년 1월 런던의 Google DeepMind에 방문 연구원으로 합류했으며 현재 토론토 대학교에서 휴직 중이다.

주요 기여

  • Church 확률 프로그래밍 언어 (UAI 2008) — Noah Goodman, Vikash Mansinghka, Keith Bonawitz, Josh Tenenbaum과 Church를 공동 창안. 계산 가능한 모든 분포를 확률적 프로그램으로 표현하고 MCMC를 통해 실행 기록에 대한 베이지안 추론을 수행할 수 있는 Lisp 기반 언어. 확률 프로그래밍 분야를 공식적인 연구 영역으로 확립.

  • Mondrian 과정 (NIPS 2009) — Yee Whye Teh과 공동. ℝ^d의 계층적 직사각형 분할을 생성하고 스케일 전체에 걸쳐 자기 일관성이 있는 확률적 과정을 도입. 공간 분할을 위한 표준 비모수 사전 확률. Mondrian forests 및 Mondrian kernel의 기초.

  • 조건부 확률의 계산 가능성 (LICS 2011; Journal of the ACM) — Nathanael Ackerman 및 Cameron Freer와 공동. 결합 분포가 계산 가능하더라도 조건부 확률 분포가 일반적으로 결합 분포로부터 계산 가능하지 않음을 증명. 베이지안 계산 이론의 근본적인 불가능성 결과.

  • 계산 가능한 de Finetti 측도 (Annals of Pure and Applied Logic, 2012) — Cameron Freer와 공동. 교환 가능한 시퀀스의 de Finetti 표현에 대한 계산 가능성 결과를 확립하여 베이지안 비모수의 기초를 계산 가능성 이론과 연결.

  • Graphex 과정 및 희소 교환 가능 그래프 (Annals of Statistics, 2019; arXiv 2015) — Victor Veitch와 공동. 교환 가능한 무작위 측도(graphex)를 통해 희소 무작위 그래프에 대한 Aldous-Hoover 표현 정리를 일반화, 네트워크 데이터의 통계적 분석을 위한 원칙적인 비모수 프레임워크 제공.

  • 딥 네트워크에 대한 비공허 PAC-Bayes 경계 (UAI 2017) — Gintare Karolina Dziugaite와 공동. 최적화된 PAC-Bayes 사전 확률을 사용하여 실제 데이터로 훈련된 딥 뉴럴 네트워크에 대한 일반화 오류의 엄격하고 공허하지 않은 경계를 최초로 시연. 딥러닝을 위한 현대 정보 이론적 일반화 이론 프로그램을 시작.

  • 확률적 볼록 최적화의 정보 복잡도 (ICML 2024 최우수 논문) — Idan Attias, Gintare Karolina Dziugaite, Mahdi Haghifam, Roi Livni와 공동. 표준 볼록 가정 하에서 확률적 경사 하강법에 대한 엄격한 정보 복잡도 경계를 확립, 학습 알고리즘의 일반화와 암기에 대한 통합 이론 제공.

  • 의사 결정 이론의 비표준 기초 — Haosui Duanmu 및 David Schrittesser와 공동. 비표준 해석학을 사용하여 통계적 의사 결정 이론의 기초 질문을 해결하는 일련의 결과: 허용 가능성을 무한소 사전 확률을 사용한 베이즈 최적성으로 특성화, 약한 가정 하에서 정규 조건부 분포의 존재 증명, 최소최대 정리의 비표준 증명 제공.

수상 및 인정

  • MIT EECS George M. Sprowls 박사 학위 논문상 (2011) — MIT 컴퓨터 과학 및 전기 공학 분야 박사 논문에 대한 최고 영예.
  • 왕립 학회 Newton International Fellowship — 케임브리지에서 수행된 영국 왕립 학회의 경쟁력 있는 박사후 펠로우십.
  • Emmanuel College Research Fellowship, 케임브리지 — 케임브리지에서 가장 오래된 칼리지 중 하나의 주니어 연구 펠로우십.
  • CIFAR Canada AI Chair — 캐나다 고등 연구 기관(CIFAR)에 의해 Canada AI Chair로 지정됨.
  • Vector Institute 창립 교수진 — 인공 지능을 위한 Vector Institute의 원래 학술 창립 멤버 중 한 명.
  • ICML 2024 최우수 논문상 — "Information Complexity of Stochastic Convex Optimization"에 대해.
  • Action Editor, JMLR — Journal of Machine Learning Research의 편집 위원회 활동.

주요 관계

  • Leslie Kaelbling — MIT 박사 지도교수; 로봇 학습 및 작업 계획의 선도적 인물; Roy가 AI 연구 커뮤니티에 입문하게 한 멘토 관계.
  • Josh Tenenbaum — MIT 전산 인지 과학자이자 베이지안 모델링의 선구자; Church 프로젝트의 지적 본거지; 확률 프로그래밍 및 인지 과학에 관한 장기 공동 저자.
  • Vikash Mansinghka — MIT CSAIL 연구원이자 확률 프로그래밍 선구자; Church 공동 창안; 확률 프로그래밍 기초에 대한 협력 지속.
  • Cameron Freer — 조건부 확률 및 de Finetti 측도의 계산 가능성에 대한 주요 공동 연구자; Roy 경력의 이론적 논리/계산 가능성 부분은 주로 이 협력을 통해 이루어짐.
  • Yee Whye Teh — 옥스퍼드 교수이자 Google DeepMind 연구원; Mondrian 과정 공동 발명; 비모수 베이즈 및 무작위 구조 전반에 걸쳐 반복적인 공동 연구자.
  • Gintare Karolina Dziugaite — Roy의 토론토 시절 가장 생산적인 연구 공동 연구자; 딥 네트워크를 위한 PAC-Bayes 프로그램 공동 주도; 12편 이상의 논문을 함께 발표하고 Roy 그룹에서 박사후 및 연구직을 역임.
  • Zoubin Ghahramani — 케임브리지 ML 그룹장이자 박사후 호스트; 케임브리지에서 Roy의 MIT 기반을 영국 ML 이론과 연결한 베이지안 비모수 환경 제공.
  • Peter Orbanz — 컬럼비아 통계학자; 기초적인 graphex 및 교환 가능한 무작위 구조 조사 공동 저자; 구조적 베이지안 비모수 프로그램의 핵심 지적 파트너.
  • Victor Veitch — Roy의 가장 뛰어난 박사 학생 중 한 명; graphex 과정 이론 공동 개발; 캐나다 통계학회 Pierre Robillard 상 수상; 현재 시카고 대학교 조교수.

개인 스타일

Roy는 하나의 기술 툴킷으로 축소되지 않고 확률 프로그래밍, 베이지안 비모수, 통계 논리, 학습 이론이라는 여러 연구 전통에 걸쳐 일관된 수학적 기준을 유지해 온 이론 컴퓨터 과학자의 드문 예이다. 그의 작업은 기초에 대한 고집으로 특징지어진다. 그는 베이지안 추론이 언제 계산 가능한지, 일반화 경계가 언제 진정으로 엄격한지, 통계학의 표준 가정을 언제 정밀도를 희생하지 않고 제거하거나 약화시킬 수 있는지에 대한 질문에 이끌린다. 최근 ETH 취리히 강연에서 사용한 "통계학에서 가정 제거"라는 프레임은 그의 현재 비표준 해석학적 기초 연구 프로그램을 초기 계산 불가능성에 대한 연구만큼 정확하게 설명한다. 그의 학생들의 취업 기록은 강력한 이론 그룹의 기준으로도 주목할 만하다. Victor Veitch (시카고 대학교), Jeffrey Negrea 및 Mufan Li (워털루 대학교), Jun Yang (코펜하겐 대학교), Yanbo Tang (임페리얼 칼리지 런던) 등이 현재 연구 교수직을 맡고 있으며, Haosui Duanmu는 중국에서 정교수직을 맡고 있다. 그는 자신의 사이트에 “여백(marginalia)” 위키를 운영하며, 여기에는 오류, 설명, 놓친 인용에 대한 모음집이 포함되어 있어, 발표의 광택보다 과학적 진실성에 대한 그의 헌신을 반영한다.

참고 문헌