Даниэль Рой

вики
, , , ,
1

Канадский математик и статистик, соавтор вероятностного языка программирования Church, создатель процесса Мондрана, доказавший фундаментальные ограничения вычислимости условной вероятности и построивший теорию обобщения PAC-Bayes, связывающую байесовские априорные распределения с глубоким обучением — сейчас в Google DeepMind.

Профиль
Гражданство Канада
Текущее место работы Google DeepMind (приглашенный исследователь, Лондон, 2026–наст. время); Университет Торонто (профессор, в отпуске — факультет статистических наук и факультет компьютерных наук)
Области исследований Основания машинного обучения, теория обучения, байесовская непараметрическая статистика, вероятностное программирование, вычислимая теория вероятностей, обучение в онлайне, нестандартный анализ
Научный руководитель Лесли Кэлблинг
Докторская диссертация Вычислимость, умозаключение и моделирование в вероятностном программировании (MIT, 2011)
Веб-сайт danroy.org
X / Twitter @roydanroy
GitHub droy
Google Scholar Daniel Roy

Обзор

Даниэль М. Рой (Дэн) — канадский профессор статистики в Университете Торонто, находящийся с января 2026 года в отпуске и работающий приглашенным исследователем в Google DeepMind в Лондоне. Он внес фундаментальный вклад в четыре различные области: вероятностное программирование (как соавтор Church), байесовскую непараметрическую статистику (процесс Мондрана и графлекс-процессы для случайных графов), математическую логику вероятности (вычислимость условной вероятности, вычислимые меры де Финетти) и современную теорию обучения (обобщающие границы PAC-Bayes для глубоких сетей, информационно-теоретическая сложность стохастической выпуклой оптимизации). Все три свои степени он получил в MIT, был стипендиатом Ньютона Королевского общества и научным сотрудником колледжа Эммануэль в Кембридже, а в начале 2010-х годов присоединился к Университету Торонто, где стал одним из основателей Института Вектора и впоследствии занимал должность его научного директора до декабря 2025 года. Его лучшая статья ICML 2024 года об информационной сложности в стохастической выпуклой оптимизации получила признание через десять лет после его самой известной работы по вероятностному программированию — этот промежуток отражает необычную широту и продолжительность его фундаментальной исследовательской программы. Он воспитал замечательную сеть выпускников: его бывшие студенты и постдоки сейчас занимают профессорские должности в Чикаго, Копенгагене, Ватерлоо, Осло, Париже и Имперском колледже Лондона.

Ранние годы и образование

Рой был одним из первых участников летней программы Research Science Institute (RSI) в 1998 году. Он получил все три свои степени в области компьютерных наук и электротехники в Массачусетском технологическом институте.

B.S. и M.Eng., MIT — Его дипломная работа M.Eng. «Кластеризованный наивный Байес» (2006) была ранним исследованием вероятностного моделирования для классификации. Во время бакалавриата и магистратуры он был соавтором статей по анализу программ и безопасности памяти (OSDI 2004, ACSAC 2004, WODA 2004) в группе Мартина Ринарда в MIT CSAIL — необычный системный опыт для человека, который впоследствии специализировался на вероятностной логике.

PhD, MIT CSAIL (2006–2011) — Рой завершил докторантуру в Лаборатории компьютерных наук и искусственного интеллекта MIT под руководством Лесли Кэлблинг при активном участии в группе вычислительной когнитивной науки Джоша Тененбаума. Его диссертация «Вычислимость, умозаключение и моделирование в вероятностном программировании» была посвящена пересечению теории вычислимости, математической логики и байесовской статистики. Она получила премию имени Джорджа М. Спроулза за лучшую докторскую диссертацию на факультете EECS MIT — высшую награду факультета за докторские диссертации. Ключевые компоненты диссертации включают язык вероятностного программирования Church, результаты о вычислимости условной вероятности и анализ вычислимых мер де Финетти.

Кембридж — стипендия Ньютона Королевского общества и научная стипендия колледжа Эммануэль — После докторантуры Рой получил международную стипендию Ньютона Королевского общества и научную стипендию в колледже Эммануэль, Кембридж. В Кембридже он присоединился к группе машинного обучения Зубина Гахрамани и Лаборатории вычислительного и биологического обучения, углубив основы вероятностного моделирования, которые он разработал в MIT.

Карьера

MIT CSAIL — Докторские исследования и Church (2006–2011)

Наиболее публично признанным результатом докторских лет Роя стало создание Church — языка вероятностного программирования, представленного на UAI 2008 (совместно с Ноа Гудманом, Викашем Мансингкой, Китом Бонавитцем и Джошем Тененбаумом). Church расширил Lisp-подобные вычисления стохастическими примитивами, предоставив принципиальный способ задания сложных порождающих моделей — включая распределения над фразами на естественном языке, визуализированными изображениями и климатическими измерениями — в виде программ, и выполнения байесовского вывода по их историям выполнения с помощью цепей Маркова Монте-Карло. Church стал одним из основополагающих документов в области вероятностного программирования и повлиял на целое поколение систем, включая Anglican, Venture, Pyro и Stan.

Более глубокая математическая нить его диссертации — серия результатов о вычислимости условной вероятности и мер де Финетти. Центральный отрицательный результат — опубликованный в LICS 2011, а затем в Journal of the ACM совместно с Натанаэлем Акерманом и Кэмероном Фриром — показал, что распределения условной вероятности в общем случае не вычислимы из совместного распределения, даже если последнее вычислимо: байесовский вывод, в точном смысле, алгоритмически неразрешим. Сопутствующие результаты о вычислимых мерах де Финетти (Annals of Pure and Applied Logic, 2012, с Фриром) расширили эти результаты о невозможности на перестановочные последовательности.

Кембридж — стипендия Ньютона и колледжа Эммануэль (2011–2013)

В Кембридже Рой работал с группой Зубина Гахрамани над байесовскими непараметрическими моделями и их основами в вероятностном программировании. Кембриджский период дал, среди прочего, фундаментальную обзорную работу по байесовским моделям графов и перестановочных случайных структур (IEEE PAMI, 2014, с Питером Орбанцем), которая установила графлекс-фреймворк — единый подход к байесовским моделям для реляционных данных и данных сетей через призму перестановочности — как структурированную исследовательскую программу.

Университет Торонто — профессор (ок. 2013–2026, в отпуске с 2026)

Рой присоединился к факультету статистических наук Университета Торонто и был назначен на совместную должность на факультете компьютерных наук и на факультете компьютерных и математических наук UTSC. Он является председателем CIFAR Canada AI Chair и был одним из основателей Института Вектора, впоследствии занимая должность его научного директора до 31 декабря 2025 года.

Процессы Мондрана и случайные леса. Процесс Мондрана (NIPS 2009, с Йи Вай Те) — это случайный процесс, порождающий иерархические прямоугольные разбиения многомерного пространства, распределение которого самосогласованно в разных масштабах — своего рода пространственный аналог процесса Дирихле. Леса Мондрана (NIPS 2014, AISTATS 2015, 2016, с Баладжи Лакшминараянаном и Йи Вай Те) расширили это до масштабируемых онлайн-случайных лесов с количественной оценкой неопределенности. Ядро Мондрана (UAI 2016) дало явное ядро, соответствующее процессу Мондрана, связывая модель разбиения с методами ядра.

Графлекс-процессы и разреженные случайные графы. Долгосрочная исследовательская программа с Виктором Вичем и другими обобщила теорему Алдуса-Хувера для плотных перестановочных графов на разреженный случай с помощью графлекс-процессов — мер на ребрах случайных графов, которые порождают разреженные (сублинейной плотности) модели случайных графов, согласующиеся с наблюдаемыми данными сетей. Основные теоретические результаты появились в Annals of Statistics (2019) и внесли вклад в литературу по разреженным перестановочным графам.

Обобщающие границы PAC-Bayes. Начиная с Гинтаре Каролины Дзюгайте, Рой разработал направление работ по границам PAC-Bayes как практическим, непустым границам ошибки обобщения глубоких нейронных сетей. Статья «Вычисление непустых границ обобщения для глубоких (стохастических) нейронных сетей с гораздо большим количеством параметров, чем обучающих данных» (UAI 2017) была первой демонстрацией нетривиальной границы PAC-Bayes для большой нейронной сети, обученной на реальных данных. Последующие статьи — об априорных распределениях, зависящих от данных, с помощью дифференциальной конфиденциальности (NeurIPS 2018), о связи между entropy-SGD и PAC-Bayes (ICML 2018) и об информационно-теоретических границах обобщения для SGD (NeurIPS 2019) — развили теоретические и практические основы теории обучения PAC-Bayes в применении к глубокому обучению и повлияли на последующую литературу по информационно-теоретическому обобщению.

Информационная сложность обучения. В последнее время Рой и его сотрудники (включая Махди Хагифама, Гинтаре Каролину Дзюгайте, Идана Аттиаса и Рои Ливни) разработали исследовательскую программу по информационно-теоретической сложности как мере трудоемкости стохастической выпуклой оптимизации и статистического обучения. Лучшая статья ICML 2024 года «Информационная сложность стохастической выпуклой оптимизации: применение к обобщению и запоминанию» установила точные границы информационной сложности для SGD в стандартных условиях выпуклой оптимизации, предоставив единую структуру, объясняющую как свойства обобщения, так и явления запоминания, наблюдаемые на практике.

Нестандартные аналитические основания теории принятия решений. Третья параллельная линия работ с Хаосуй Дуаньму и Давидом Шриттессером применяет нестандартный анализ к классической теории принятия решений: результаты характеризуют допустимость статистических процедур как эквивалентную байесовской оптимальности относительно бесконечно малого априорного распределения, решают давние фундаментальные вопросы о существовании регулярных условных распределений при слабых предположениях об измеримости и предоставляют нестандартные доказательства статистических минимаксных теорем.

Научный директор Института Вектора (до декабря 2025 года). Рой занимал должность научного директора Института Вектора, канадского национального института исследований в области ИИ, прежде чем уйти в отставку 31 декабря 2025 года, чтобы присоединиться к Google DeepMind в качестве приглашенного исследователя.

Google DeepMind — приглашенный исследователь (январь 2026–настоящее время)

Рой присоединился к Google DeepMind в Лондоне в качестве приглашенного исследователя в январе 2026 года и в настоящее время находится в отпуске из Университета Торонто.

Ключевые вклады

  • Язык вероятностного программирования Church (UAI 2008) — Соавтор Church с Ноа Гудманом, Викашем Мансингкой, Китом Бонавитцем и Джошем Тененбаумом. Язык на основе Lisp, в котором любое вычислимое распределение может быть выражено как вероятностная программа, а байесовский вывод выполняется с помощью MCMC по историям выполнения. Основал область вероятностного программирования как формальную исследовательскую область.

  • Процесс Мондрана (NIPS 2009) — С Йи Вай Те. Ввел случайный процесс, порождающий иерархические прямоугольные разбиения ℝ^d, самосогласованный в масштабе — каноническое непараметрическое априорное распределение для пространственного разбиения. Основа для лесов Мондрана и ядра Мондрана.

  • Вычислимость условной вероятности (LICS 2011; Journal of the ACM) — С Натанаэлем Акерманом и Кэмероном Фриром. Доказал, что распределения условной вероятности в общем случае не вычислимы из совместного распределения, даже если последнее вычислимо. Фундаментальный результат о невозможности в теории байесовских вычислений.

  • Вычислимые меры де Финетти (Annals of Pure and Applied Logic, 2012) — С Кэмероном Фриром. Установил результаты вычислимости для представлений де Финетти перестановочных последовательностей, связывая основы байесовской непараметрики с теорией вычислимости.

  • Графлекс-процессы и разреженные перестановочные графы (Annals of Statistics, 2019; arXiv 2015) — С Виктором Вичем. Обобщил теорему представления Алдуса-Хувера на разреженные случайные графы с помощью перестановочных случайных мер (графлексов), предоставив принципиальную непараметрическую основу для статистического анализа данных сетей.

  • Непустые границы PAC-Bayes для глубоких сетей (UAI 2017) — С Гинтаре Каролиной Дзюгайте. Первая демонстрация точной, непустой границы ошибки обобщения для глубокой нейронной сети, обученной на реальных данных, с использованием оптимизированного априорного распределения PAC-Bayes. Инициировал современную программу информационно-теоретической теории обобщения для глубокого обучения.

  • Информационная сложность стохастической выпуклой оптимизации (Лучшая статья ICML 2024) — С Иданом Аттиасом, Гинтаре Каролиной Дзюгайте, Махди Хагифамом и Рои Ливни. Установил точные границы информационной сложности для стохастического градиентного спуска в стандартных выпуклых предположениях, предоставив единую теорию обобщения и запоминания в алгоритмах обучения.

  • Нестандартные основания теории принятия решений — С Хаосуй Дуаньму и Давидом Шриттессером. Серия результатов, использующих нестандартный анализ для решения фундаментальных вопросов в статистической теории принятия решений: характеризация допустимости как байесовской оптимальности с бесконечно малыми априорными распределениями, доказательство существования регулярных условных распределений при слабых предположениях и нестандартные доказательства минимаксных теорем.

Награды и признание

  • Премия имени Джорджа М. Спроулза за лучшую докторскую диссертацию на факультете EECS MIT (2011) — Высшая награда MIT за докторские диссертации в области компьютерных наук и электротехники.
  • Международная стипендия Ньютона Королевского общества — Конкурсная постдокторская стипендия Королевского общества Великобритании, проходила в Кембридже.
  • Научная стипендия колледжа Эммануэль, Кембридж — Младшая научная стипендия в одном из старейших колледжей Кембриджа.
  • Председатель CIFAR Canada AI Chair — Назначен председателем Canada AI Chair Канадским институтом перспективных исследований.
  • Основатель Института Вектора — Один из первоначальных академических основателей Института искусственного интеллекта Вектора.
  • Награда за лучшую статью ICML 2024 — За статью «Информационная сложность стохастической выпуклой оптимизации».
  • Действующий редактор, JMLR — Член редакционной коллегии Journal of Machine Learning Research.

Ключевые отношения

  • Лесли Кэлблинг — Научный руководитель докторантуры в MIT; ведущий специалист в области обучения роботов и планирования задач; наставнические отношения, через которые Рой вошел в исследовательское сообщество ИИ.
  • Джош Тененбаум — Специалист по вычислительной когнитивной науке в MIT и пионер байесовского моделирования; интеллектуальная среда для проекта Church; многолетний соавтор по вероятностному программированию и когнитивной науке.
  • Викаш Мансингка — Исследователь MIT CSAIL и пионер вероятностного программирования; соавтор Church; продолжает сотрудничество в области основ вероятностного программирования.
  • Кэмерон Фрир — Основной соавтор по вычислимости условной вероятности и мер де Финетти; теоретическая логико-вычислительная нить карьеры Роя во многом проходит через это сотрудничество.
  • Йи Вай Те — Профессор Оксфорда и исследователь Google DeepMind; соавтор процесса Мондрана; многократный соавтор по непараметрическому Байесу и случайным структурам.
  • Гинтаре Каролина Дзюгайте — Самый продуктивный исследовательский соавтор торонтского периода Роя; соруководитель программы PAC-Bayes для глубоких сетей; опубликовала совместно более десятка статей и занимала постдокторские и исследовательские должности в группе Роя.
  • Зубин Гахрамани — Руководитель Кембриджской группы машинного обучения и принимающий постдока; обеспечил среду байесовской непараметрики в Кембридже, которая связала основы MIT Роя с британской теорией машинного обучения.
  • Питер Орбанц — Статистик из Колумбийского университета; соавтор основополагающего обзора по графлексам и перестановочным случайным структурам; ключевой интеллектуальный партнер в программе структурной байесовской непараметрики.
  • Виктор Вич — Самый титулованный докторант Роя; соавтор теории графлекс-процессов; получил премию Пьера Робийяра Статистического общества Канады; сейчас доцент Чикагского университета.

Личный стиль

Рой — редкий пример теоретика computer science, который поддерживал последовательный математический стандарт в нескольких исследовательских традициях — вероятностном программировании, байесовской непараметрике, статистической логике и теории обучения — не сводясь к единому техническому инструментарию. Его работа характеризуется настойчивостью в отношении основ: его привлекают вопросы о том, когда байесовский вывод вычислим, когда границы обобщения действительно точны и когда стандартные предположения в статистике могут быть удалены или ослаблены без потери точности. Рамка «удаление предположений из статистики», которую он использовал в недавнем выступлении в ETH Zürich, описывает его текущую исследовательскую программу по нестандартным аналитическим основаниям столь же точно, сколь и его раннюю работу по невозможности вычислимости. Рекорд трудоустройства его студентов примечателен даже по меркам сильных теоретических групп: Виктор Вич (Чикагский университет), Джеффри Негря и Муфан Ли (Университет Ватерлоо), Юн Янг (Копенгагенский университет), Янбо Тан (Имперский колледж Лондона) и другие сейчас занимают исследовательские профессорские должности, а Хаосуй Дуаньму занимает должность полного профессора в Китае. Он ведет вики «marginalia» на своем сайте — собрание опечаток, уточнений и пропущенных цитирований — что отражает его приверженность научной честности, а не отшлифованности презентации.

Ссылки