Daniel Roy

wiki
, , , ,
1

Matemático e estatístico canadense que co-inventou a linguagem de programação probabilística Church, introduziu o processo Mondrian, provou limites fundamentais sobre a computabilidade da probabilidade condicional e construiu a teoria de generalização PAC-Bayes que conecta priores Bayesianos ao aprendizado profundo — atualmente no Google DeepMind.

Perfil
Nacionalidade Canadense
Instituição(ões) atual(is) Google DeepMind (Pesquisador Visitante, Londres, 2026–presente); Universidade de Toronto (Professor, licenciado — Depto. de Ciências Estatísticas e Depto. de Ciência da Computação)
Áreas de Pesquisa Fundamentos do Aprendizado de Máquina, Teoria da Aprendizagem, Estatística Bayesiana Não Paramétrica, Programação Probabilística, Teoria da Probabilidade Computável, Aprendizado Online, Análise Não Padrão
Orientador de Doutorado Leslie Kaelbling
Tese de Doutorado Computability, Inference and Modeling in Probabilistic Programming (MIT, 2011)
Website danroy.org
X / Twitter @roydanroy
GitHub droy
Google Scholar Daniel Roy

Visão Geral

Daniel M. Roy (Dan) é um professor canadense de estatística na Universidade de Toronto — licenciado desde janeiro de 2026 como Pesquisador Visitante no Google DeepMind em Londres — que produziu contribuições fundamentais em quatro áreas distintas: programação probabilística (como cocriador do Church), estatística bayesiana não paramétrica (o processo Mondrian e processos graphex para grafos aleatórios), a lógica matemática da probabilidade (computabilidade da probabilidade condicional, medidas de Finetti computáveis) e teoria moderna da aprendizagem (limites de generalização PAC-Bayes para redes profundas, complexidade teórica da informação da otimização convexa estocástica). Ele obteve todos os seus três graus no MIT, foi Pesquisador Internacional Newton da Royal Society e Pesquisador do Emmanuel College em Cambridge, e ingressou na Universidade de Toronto no início dos anos 2010, onde foi membro fundador do Vector Institute e posteriormente atuou como seu Diretor de Pesquisa até dezembro de 2025. Seu artigo de Melhor Paper do ICML 2024, sobre complexidade da informação em otimização convexa estocástica, ganhou reconhecimento dez anos após seu trabalho mais celebrado em programação probabilística — um intervalo que reflete a amplitude e duração incomuns de seu programa de pesquisa fundamental. Ele formou uma notável rede de ex-alunos, com ex-estudantes e pós-doutorandos agora ocupando cargos de professor em Chicago, Copenhague, Waterloo, Oslo, Paris e Imperial College London.

Início da Vida e Educação

Roy foi um participante precoce no programa de verão do Research Science Institute (RSI) em 1998. Ele completou todos os seus três graus em Ciência da Computação e Engenharia Elétrica no Massachusetts Institute of Technology.

Bacharelado e Mestrado em Engenharia, MIT — Sua tese de M.Eng., „Clustered Naive Bayes“ (2006), foi uma exploração inicial da modelagem probabilística para classificação. Durante seus anos de graduação e mestrado, ele foi coautor de artigos sobre análise de programas e segurança de memória (OSDI 2004, ACSAC 2004, WODA 2004) com o grupo de Martin Rinard no MIT CSAIL — uma bagagem em sistemas incomum para alguém que se especializaria em lógica probabilística.

PhD, MIT CSAIL (2006–2011) — Roy completou seu doutorado no Laboratório de Ciência da Computação e Inteligência Artificial do MIT sob orientação de Leslie Kaelbling, com profundo envolvimento no grupo de Ciência Cognitiva Computacional de Josh Tenenbaum. Sua dissertação, Computability, Inference and Modeling in Probabilistic Programming, abordou a interseção da teoria da computabilidade, lógica matemática e estatística bayesiana. Ela ganhou o Prêmio George M. Sprowls de Dissertação de Doutorado do MIT EECS — a maior honraria do departamento para teses de doutorado. Componentes-chave da dissertação incluem a linguagem de programação probabilística Church, resultados sobre a computabilidade da probabilidade condicional e uma análise de medidas de Finetti computáveis.

Cambridge — Pesquisador Internacional Newton e Pesquisador do Emmanuel College — Após seu doutorado, Roy recebeu uma Newton International Fellowship da Royal Society e uma Research Fellowship no Emmanuel College, Cambridge. Em Cambridge, juntou-se ao Grupo de Aprendizado de Máquina de Zoubin Ghahramani e ao Laboratório de Aprendizado Computacional e Biológico, aprofundando os fundamentos de modelagem probabilística que desenvolvera no MIT.

Carreira

MIT CSAIL — Pesquisa de Doutorado e Church (2006–2011)

O produto mais publicamente reconhecido dos anos de doutorado de Roy foi a criação do Church, uma linguagem de programação probabilística introduzida no UAI 2008 (com Noah Goodman, Vikash Mansinghka, Keith Bonawitz e Josh Tenenbaum). O Church estendeu a computação ao estilo Lisp com primitivas estocásticas, fornecendo uma maneira fundamentada de especificar modelos generativos complexos — incluindo distribuições sobre frases em linguagem natural, imagens renderizadas e medições climáticas — como programas, e realizando inferência bayesiana sobre seus históricos de execução via Monte Carlo via Cadeias de Markov. O Church tornou-se um dos documentos fundadores do campo de programação probabilística e influenciou uma geração de sistemas incluindo Anglican, Venture, Pyro e Stan.

O fio matemático mais profundo de sua dissertação foi uma série de resultados sobre a computabilidade da probabilidade condicional e das medidas de Finetti. O resultado negativo central — publicado no LICS 2011 e subsequentemente no Journal of the ACM com Nathanael Ackerman e Cameron Freer — mostrou que as distribuições de probabilidade condicional não são, em geral, computáveis a partir da conjunta, mesmo quando a conjunta é computável: a inferência bayesiana é, em um sentido preciso, algoritmicamente intratável. Resultados complementares sobre medidas de Finetti computáveis (Annals of Pure and Applied Logic, 2012, com Freer) estenderam esses resultados de impossibilidade para sequências exchangeáveis.

Cambridge — Pesquisador Newton International e Emmanuel College (2011–2013)

Em Cambridge, Roy trabalhou com o grupo de Zoubin Ghahramani em modelos bayesianos não paramétricos e seus fundamentos de programação probabilística. O período de Cambridge produziu, entre outras coisas, um trabalho de pesquisa fundamental sobre modelos bayesianos de grafos e estruturas aleatórias exchangeáveis (IEEE PAMI, 2014, com Peter Orbanz), que estabeleceu a estrutura graphex — um tratamento unificado de modelos bayesianos para dados relacionais e de rede através da lente da exchangeabilidade — como um programa de pesquisa estruturado.

Universidade de Toronto — Professor (c. 2013–2026, com licença a partir de 2026)

Roy ingressou no Departamento de Ciências Estatísticas da Universidade de Toronto e foi nomeado em conjunto no Departamento de Ciência da Computação e no Departamento de Ciências da Computação e Matemática da UTSC. Ele é um CIFAR Canada AI Chair e foi membro fundador do Vector Institute, servindo posteriormente como seu Diretor de Pesquisa até 31 de dezembro de 2025.

Processos Mondrian e florestas aleatórias. O processo Mondrian (NIPS 2009, com Yee Whye Teh) é um processo estocástico que gera partições retangulares hierárquicas do espaço multidimensional, cuja distribuição é autoconsistente em todas as escalas — uma espécie de análogo espacial do processo Dirichlet. As Florestas Mondrian (NIPS 2014, AISTATS 2015, 2016, com Balaji Lakshminarayanan e Yee Whye Teh) estenderam isso para florestas aleatórias online escaláveis com quantificação de incerteza. O Kernel Mondrian (UAI 2016) forneceu um kernel explícito correspondente ao processo Mondrian, conectando o modelo de partição aos métodos de kernel.

Processos Graphex e grafos aleatórios esparsos. Um programa de pesquisa sustentado com Victor Veitch e outros generalizou o teorema de Aldous-Hoover para grafos exchangeáveis densos para o regime esparso via processos graphex — medidas nas arestas de grafos aleatórios que geram modelos de grafos aleatórios esparsos (densidade sublinear) consistentes com dados de rede observados. Os principais resultados teóricos apareceram no Annals of Statistics (2019) e contribuíram para a literatura de grafos exchangeáveis esparsos.

Limites de generalização PAC-Bayes. Começando com Gintare Karolina Dziugaite, Roy desenvolveu uma linha de trabalho sobre limites PAC-Bayes como limites práticos e não-vazios para o erro de generalização de redes neurais profundas. „Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data“ (UAI 2017) foi a primeira demonstração de um limite PAC-Bayes não trivial para uma grande rede neural treinada em dados reais. Artigos subsequentes — sobre priores dependentes de dados via privacidade diferencial (NeurIPS 2018), a conexão entre entropia-SGD e PAC-Bayes (ICML 2018) e limites de generalização teóricos da informação para SGD (NeurIPS 2019) — desenvolveram os fundamentos teóricos e práticos da teoria de aprendizado PAC-Bayes aplicada ao aprendizado profundo e influenciaram a literatura subsequente sobre generalização teórica da informação.

Complexidade da informação do aprendizado. Mais recentemente, Roy e colaboradores (incluindo Mahdi Haghifam, Gintare Karolina Dziugaite, Idan Attias e Roi Livni) desenvolveram um programa de pesquisa sobre complexidade teórica da informação como uma medida da dificuldade da otimização convexa estocástica e do aprendizado estatístico. O Melhor Paper do ICML 2024, „Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization,“ estabeleceu limites rigorosos de complexidade da informação para SGD sob condições padrão de otimização convexa — fornecendo uma estrutura unificada explicando tanto as propriedades de generalização quanto os fenômenos de memorização observados na prática.

Fundamentos analíticos não padrão para teoria da decisão. Uma terceira linha de trabalho paralela com Haosui Duanmu e David Schrittesser aplica análise não padrão à teoria da decisão clássica: os resultados caracterizam a admissibilidade de procedimentos estatísticos como equivalente à otimalidade bayesiana em relação a um prior infinitesimal, resolvem questões fundamentais de longa data sobre a existência de distribuições condicionais regulares sob suposições fracas de mensurabilidade e fornecem provas não padrão de teoremas minimax estatísticos.

Diretor de Pesquisa do Vector Institute (até dezembro de 2025). Roy atuou como Diretor de Pesquisa do Vector Institute, o instituto nacional de pesquisa em IA do Canadá, antes de renunciar em 31 de dezembro de 2025 para ingressar no Google DeepMind como Pesquisador Visitante.

Google DeepMind — Pesquisador Visitante (janeiro de 2026–presente)

Roy ingressou no Google DeepMind em Londres como Pesquisador Visitante em janeiro de 2026 e está atualmente licenciado da Universidade de Toronto.

Principais Contribuições

  • Linguagem de Programação Probabilística Church (UAI 2008) — Cocriou o Church com Noah Goodman, Vikash Mansinghka, Keith Bonawitz e Josh Tenenbaum. Uma linguagem baseada em Lisp na qual qualquer distribuição computável pode ser expressa como um programa probabilístico e a inferência bayesiana realizada via MCMC sobre históricos de execução. Fundou o campo de programação probabilística como uma área formal de pesquisa.

  • Processo Mondrian (NIPS 2009) — Com Yee Whye Teh. Introduziu um processo estocástico que gera partições retangulares hierárquicas de ℝ^d que é autoconsistente em toda escala — o prior não paramétrico canônico para particionamento espacial. Base para as florestas Mondrian e o kernel Mondrian.

  • Computabilidade da Probabilidade Condicional (LICS 2011; Journal of the ACM) — Com Nathanael Ackerman e Cameron Freer. Provou que as distribuições de probabilidade condicional não são, em geral, computáveis a partir da conjunta, mesmo quando a conjunta é computável. Um resultado fundamental de impossibilidade na teoria da computação bayesiana.

  • Medidas de Finetti Computáveis (Annals of Pure and Applied Logic, 2012) — Com Cameron Freer. Estabeleceu resultados de computabilidade para representações de Finetti de sequências exchangeáveis, conectando os fundamentos da estatística bayesiana não paramétrica à teoria da computabilidade.

  • Processos Graphex e Grafos Exchangeáveis Esparsos (Annals of Statistics, 2019; arXiv 2015) — Com Victor Veitch. Generalizou o teorema de representação de Aldous-Hoover para grafos aleatórios esparsos via medidas aleatórias exchangeáveis (graphexes), fornecendo uma estrutura não paramétrica fundamentada para análise estatística de dados de rede.

  • Limites PAC-Bayes Não Vazios para Redes Profundas (UAI 2017) — Com Gintare Karolina Dziugaite. Primeira demonstração de um limite rigoroso e não vazio para o erro de generalização de uma rede neural profunda treinada em dados reais, usando um prior PAC-Bayes otimizado. Iniciou o programa moderno de teoria de generalização teórica da informação para aprendizado profundo.

  • Complexidade da Informação da Otimização Convexa Estocástica (Melhor Paper ICML 2024) — Com Idan Attias, Gintare Karolina Dziugaite, Mahdi Haghifam e Roi Livni. Estabeleceu limites rigorosos de complexidade da informação para gradiente descendente estocástico sob suposições convexas padrão, fornecendo uma teoria unificada de generalização e memorização em algoritmos de aprendizado.

  • Fundamentos Não Padrão da Teoria da Decisão — Com Haosui Duanmu e David Schrittesser. Uma série de resultados usando análise não padrão para resolver questões fundamentais na teoria da decisão estatística: caracterizando a admissibilidade como otimalidade bayesiana com priores infinitesimais, provando a existência de distribuições condicionais regulares sob suposições fracas e fornecendo provas não padrão de teoremas minimax.

Prêmios e Reconhecimento

  • Prêmio George M. Sprowls de Dissertação de Doutorado do MIT EECS (2011) — A maior honraria do MIT para teses de doutorado em ciência da computação e engenharia elétrica.
  • Royal Society Newton International Fellowship — Bolsa de pós-doutorado competitiva da Royal Society do Reino Unido, realizada em Cambridge.
  • Emmanuel College Research Fellowship, Cambridge — Bolsa de pesquisa júnior em um dos colégios mais antigos de Cambridge.
  • CIFAR Canada AI Chair — Designado como Cadeira de IA do Canadá pelo Instituto Canadense de Pesquisa Avançada.
  • Membro Fundador do Vector Institute — Um dos membros acadêmicos fundadores originais do Vector Institute para Inteligência Artificial.
  • Prêmio de Melhor Paper do ICML 2024 — Por „Information Complexity of Stochastic Convex Optimization.“
  • Editor de Ação, JMLR — Atuando no conselho editorial do Journal of Machine Learning Research.

Relacionamentos Chave

  • Leslie Kaelbling — Orientadora de PhD no MIT; figura líder em aprendizado de robôs e planejamento de tarefas; a relação de mentoria através da qual Roy entrou na comunidade de pesquisa em IA.
  • Josh Tenenbaum — Cientista cognitivo computacional do MIT e pioneiro em modelagem bayesiana; lar intelectual para o projeto Church; coautor de longa data em programação probabilística e ciência cognitiva.
  • Vikash Mansinghka — Pesquisador do MIT CSAIL e pioneiro em programação probabilística; cocriou o Church; continua a colaborar nos fundamentos da programação probabilística.
  • Cameron Freer — Colaborador principal na computabilidade da probabilidade condicional e medidas de Finetti; o fio teórico da lógica/computabilidade da carreira de Roy passa em grande parte por esta colaboração.
  • Yee Whye Teh — Professor de Oxford e pesquisador do Google DeepMind; coinventor do processo Mondrian; colaborador recorrente em Bayes não paramétrico e estruturas aleatórias.
  • Gintare Karolina Dziugaite — A colaboradora de pesquisa mais prolífica dos anos de Toronto de Roy; co-liderou o programa PAC-Bayes para redes profundas; publicou mais de uma dúzia de artigos juntos e ocupou cargos de pós-doutorado e pesquisa no grupo de Roy.
  • Zoubin Ghahramani — Chefe do Grupo de Aprendizado de Máquina de Cambridge e anfitrião de pós-doutorado; forneceu o ambiente bayesiano não paramétrico em Cambridge que conectou os fundamentos de Roy no MIT à teoria de aprendizado de máquina britânica.
  • Peter Orbanz — Estatístico da Universidade de Columbia; coautor da pesquisa fundamental sobre graphex e estruturas aleatórias exchangeáveis; um parceiro intelectual chave no programa de Bayes não paramétrico estrutural.
  • Victor Veitch — O estudante de doutorado mais condecorado de Roy; codesenvolveu a teoria do processo graphex; ganhou o Prêmio Pierre Robillard da Sociedade Estatística do Canadá; agora professor assistente na Universidade de Chicago.

Estilo Pessoal

Roy é um exemplo raro de um cientista da computação teórico que manteve um padrão matemático consistente em múltiplas tradições de pesquisa — programação probabilística, Bayes não paramétrico, lógica estatística e teoria da aprendizagem — sem se reduzir a um único kit de ferramentas técnicas. Seu trabalho é caracterizado por uma insistência em fundamentos: ele é atraído por questões sobre quando a inferência bayesiana é computável, quando os limites de generalização são verdadeiramente rigorosos e quando as suposições padrão em estatística podem ser removidas ou enfraquecidas sem sacrificar a precisão. O enquadramento de „remoção de suposições da estatística“ — que ele usou em uma palestra recente na ETH Zurique — descreve seu programa de pesquisa atual sobre fundamentos analíticos não padrão com tanta precisão quanto descreveu seu trabalho inicial sobre impossibilidade de computabilidade. O registro de colocação de seus alunos é notável mesmo pelos padrões de grupos de teoria forte: Victor Veitch (Universidade de Chicago), Jeffrey Negrea e Mufan Li (Universidade de Waterloo), Jun Yang (Universidade de Copenhague), Yanbo Tang (Imperial College London) e outros agora ocupam cargos de professor pesquisador, e Haosui Duanmu possui uma cátedra plena na China. Ele mantém um wiki de „marginalia“ em seu site — uma coleção de errata, esclarecimentos e citações perdidas — que reflete seu compromisso com a integridade científica acima do polimento da apresentação.

Referências