Daniel Roy

wiki
, , , ,
1

Matemático y estadístico canadiense que co-inventó el lenguaje de programación probabilística Church, introdujo el proceso de Mondrian, demostró límites fundamentales sobre la computabilidad de la probabilidad condicional y construyó la teoría de generalización PAC-Bayes que conecta los priores bayesianos con el aprendizaje profundo — ahora en Google DeepMind.

Perfil
Nacionalidad Canadiense
Institución actual Google DeepMind (Investigador visitante, Londres, 2026–presente); Universidad de Toronto (Profesor, en licencia — Depto. de Ciencias Estadísticas y Depto. de Ciencias de la Computación)
Áreas de investigación Fundamentos del Aprendizaje Automático, Teoría del Aprendizaje, Estadística No Paramétrica Bayesiana, Programación Probabilística, Teoría de la Probabilidad Computable, Aprendizaje en Línea, Análisis No Estándar
Director de doctorado Leslie Kaelbling
Tesis doctoral Computability, Inference and Modeling in Probabilistic Programming (MIT, 2011)
Sitio web danroy.org
X / Twitter @roydanroy
GitHub droy
Google Scholar Daniel Roy

Resumen

Daniel M. Roy (Dan) es un profesor canadiense de estadística en la Universidad de Toronto — en licencia desde enero de 2026 como Investigador Visitante en Google DeepMind en Londres — que ha realizado contribuciones fundamentales en cuatro áreas distintas: programación probabilística (como co-creador de Church), estadística no paramétrica bayesiana (el proceso de Mondrian y los procesos graphex para grafos aleatorios), la lógica matemática de la probabilidad (computabilidad de la probabilidad condicional, medidas de de Finetti computables) y la teoría moderna del aprendizaje (cotas de generalización PAC-Bayes para redes profundas, complejidad informacional de la optimización convexa estocástica). Obtuvo sus tres títulos del MIT, fue becario internacional Newton de la Royal Society e investigador del Emmanuel College en Cambridge, y se unió a la Universidad de Toronto a principios de la década de 2010, donde fue miembro fundador del Vector Institute y posteriormente se desempeñó como su Director de Investigación hasta diciembre de 2025. Su Mejor Artículo en ICML 2024, sobre complejidad informacional en optimización convexa estocástica, obtuvo reconocimiento diez años después de su trabajo más célebre en programación probabilística — un lapso que refleja la inusual amplitud y duración de su programa de investigación fundamental. Ha formado una notable red de exalumnos, con antiguos estudiantes y postdoctorados que ahora ocupan puestos académicos en Chicago, Copenhague, Waterloo, Oslo, París e Imperial College London.

Primeros años y educación

Roy fue un participante temprano en el programa de verano del Research Science Institute (RSI) en 1998. Completó sus tres títulos en Ciencias de la Computación e Ingeniería Eléctrica en el Instituto Tecnológico de Massachusetts.

Licenciatura y Maestría en Ingeniería, MIT — Su tesis de maestría, “Clustered Naive Bayes” (2006), fue una exploración temprana del modelado probabilístico para clasificación. Durante sus años de pregrado y maestría, coescribió artículos sobre análisis de programas y seguridad de memoria (OSDI 2004, ACSAC 2004, WODA 2004) con el grupo de Martin Rinard en MIT CSAIL — una formación en sistemas poco común para alguien que luego se especializaría en lógica probabilística.

Doctorado, MIT CSAIL (2006–2011) — Roy completó su doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT bajo la dirección de Leslie Kaelbling, con una profunda participación en el grupo de Ciencia Cognitiva Computacional de Josh Tenenbaum. Su disertación, Computability, Inference and Modeling in Probabilistic Programming, abordó la intersección de la teoría de la computabilidad, la lógica matemática y la estadística bayesiana. Obtuvo el Premio George M. Sprowls a la Tesis Doctoral del MIT EECS — el máximo honor del departamento para tesis doctorales. Los componentes clave de la disertación incluyen el lenguaje de programación probabilística Church, resultados sobre la computabilidad de la probabilidad condicional y un análisis de las medidas de de Finetti computables.

Cambridge — Becario Internacional Newton e Investigador del Emmanuel College — Después de su doctorado, Roy recibió una Beca Internacional Newton de la Royal Society y una Beca de Investigación en el Emmanuel College de Cambridge. En Cambridge se unió al Grupo de Aprendizaje Automático de Zoubin Ghahramani y al Laboratorio de Aprendizaje Computacional y Biológico, profundizando los fundamentos del modelado probabilístico que había desarrollado en el MIT.

Carrera

MIT CSAIL — Investigación doctoral y Church (2006–2011)

El resultado más reconocido públicamente de los años de doctorado de Roy fue la creación de Church, un lenguaje de programación probabilística presentado en UAI 2008 (con Noah Goodman, Vikash Mansinghka, Keith Bonawitz y Josh Tenenbaum). Church extendió la computación al estilo Lisp con primitivas estocásticas, proporcionando una forma fundamentada de especificar modelos generativos complejos — incluyendo distribuciones sobre frases en lenguaje natural, imágenes renderizadas y mediciones climáticas — como programas, y realizando inferencia bayesiana sobre sus historias de ejecución mediante Cadenas de Markov de Monte Carlo. Church se convirtió en uno de los documentos fundacionales del campo de la programación probabilística e influyó en una generación de sistemas como Anglican, Venture, Pyro y Stan.

El hilo matemático más profundo de su disertación fue una serie de resultados sobre la computabilidad de la probabilidad condicional y las medidas de de Finetti. El resultado negativo central — publicado en LICS 2011 y posteriormente en el Journal of the ACM con Nathanael Ackerman y Cameron Freer — mostró que las distribuciones de probabilidad condicional no son en general computables a partir de la conjunta, incluso cuando la conjunta es computable: la inferencia bayesiana es, en un sentido preciso, algorítmicamente intratable. Los resultados complementarios sobre medidas de de Finetti computables (Annals of Pure and Applied Logic, 2012, con Freer) extendieron estos resultados de imposibilidad a secuencias intercambiables.

Cambridge — Becarios Internacional Newton y del Emmanuel College (2011–2013)

En Cambridge, Roy trabajó con el grupo de Zoubin Ghahramani en modelos bayesianos no paramétricos y sus fundamentos de programación probabilística. El período de Cambridge produjo, entre otras cosas, un trabajo de revisión fundacional sobre modelos bayesianos de grafos y estructuras aleatorias intercambiables (IEEE PAMI, 2014, con Peter Orbanz), que estableció el marco graphex — un tratamiento unificado de los modelos bayesianos para datos relacionales y de redes a través del lente de la intercambiabilidad — como un programa de investigación estructurado.

Universidad de Toronto — Profesor (c. 2013–2026, con licencia a partir de 2026)

Roy se unió al Departamento de Ciencias Estadísticas de la Universidad de Toronto y fue nombrado conjuntamente en el Departamento de Ciencias de la Computación y en el Departamento de Ciencias Computacionales y Matemáticas de UTSC. Es Cátedra de IA de Canadá de CIFAR y fue miembro fundador del Vector Institute, desempeñándose posteriormente como su Director de Investigación hasta el 31 de diciembre de 2025.

Procesos y bosques aleatorios de Mondrian. El proceso de Mondrian (NIPS 2009, con Yee Whye Teh) es un proceso estocástico que genera particiones rectangulares jerárquicas del espacio multidimensional, cuya distribución es autoconsistente entre escalas — una especie de análogo espacial del proceso de Dirichlet. Los Bosques de Mondrian (NIPS 2014, AISTATS 2015, 2016, con Balaji Lakshminarayanan y Yee Whye Teh) extendieron esto a bosques aleatorios en línea escalables con cuantificación de incertidumbre. El Kernel de Mondrian (UAI 2016) proporcionó un kernel explícito correspondiente al proceso de Mondrian, conectando el modelo de partición con los métodos de kernel.

Procesos Graphex y grafos aleatorios dispersos. Un programa de investigación sostenido con Victor Veitch y otros generalizó el teorema de Aldous-Hoover para grafos intercambiables densos al régimen disperso mediante procesos graphex — medidas sobre las aristas de grafos aleatorios que generan modelos de grafos aleatorios dispersos (densidad sublineal) consistentes con los datos de red observados. Los principales resultados teóricos aparecieron en Annals of Statistics (2019) y contribuyeron a la literatura sobre grafos intercambiables dispersos.

Cotas de generalización PAC-Bayes. Comenzando con Gintare Karolina Dziugaite, Roy desarrolló una línea de trabajo sobre cotas PAC-Bayes como cotas prácticas y no vacuas para el error de generalización de redes neuronales profundas. “Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data” (UAI 2017) fue la primera demostración de una cota PAC-Bayes no trivial para una red neuronal grande entrenada con datos reales. Los artículos siguientes — sobre priores dependientes de los datos mediante privacidad diferencial (NeurIPS 2018), la conexión entre entropy-SGD y PAC-Bayes (ICML 2018) y cotas de generalización informacional para SGD (NeurIPS 2019) — desarrollaron los fundamentos teóricos y prácticos de la teoría del aprendizaje PAC-Bayes aplicada al aprendizaje profundo, e influyeron en la literatura posterior sobre generalización informacional.

Complejidad informacional del aprendizaje. Más recientemente, Roy y sus colaboradores (incluyendo a Mahdi Haghifam, Gintare Karolina Dziugaite, Idan Attias y Roi Livni) desarrollaron un programa de investigación sobre la complejidad informacional como medida de la dificultad de la optimización convexa estocástica y el aprendizaje estadístico. El Mejor Artículo de ICML 2024, “Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization”, estableció cotas de complejidad informacional ajustadas para SGD bajo condiciones estándar de optimización convexa — proporcionando un marco unificado que explica tanto las propiedades de generalización como los fenómenos de memorización observados en la práctica.

Fundamentos analíticos no estándar para la teoría de decisiones. Una tercera línea de trabajo paralela con Haosui Duanmu y David Schrittesser aplica el análisis no estándar a la teoría de decisiones clásica: los resultados caracterizan la admisibilidad de los procedimientos estadísticos como equivalente a la optimalidad bayesiana con respecto a un prior infinitesimal, resuelven cuestiones fundacionales de larga data sobre la existencia de distribuciones condicionales regulares bajo supuestos de mensurabilidad débiles y proporcionan pruebas no estándar de teoremas minimax estadísticos.

Director de Investigación del Vector Institute (hasta diciembre de 2025). Roy se desempeñó como Director de Investigación del Vector Institute, el instituto nacional de investigación en IA de Canadá, antes de renunciar el 31 de diciembre de 2025 para unirse a Google DeepMind como Investigador Visitante.

Google DeepMind — Investigador Visitante (enero de 2026–presente)

Roy se unió a Google DeepMind en Londres como Investigador Visitante en enero de 2026 y actualmente está en licencia de la Universidad de Toronto.

Contribuciones Clave

  • Lenguaje de programación probabilística Church (UAI 2008) — Co-creó Church con Noah Goodman, Vikash Mansinghka, Keith Bonawitz y Josh Tenenbaum. Un lenguaje basado en Lisp en el que cualquier distribución computable puede expresarse como un programa probabilístico y la inferencia bayesiana se realiza mediante MCMC sobre las historias de ejecución. Fundó el campo de la programación probabilística como un área de investigación formal.

  • Proceso de Mondrian (NIPS 2009) — Con Yee Whye Teh. Introdujo un proceso estocástico que genera particiones rectangulares jerárquicas de ℝ^d que es autoconsistente entre escalas — el prior no paramétrico canónico para partición espacial. Base para los bosques de Mondrian y el kernel de Mondrian.

  • Computabilidad de la probabilidad condicional (LICS 2011; Journal of the ACM) — Con Nathanael Ackerman y Cameron Freer. Demostró que las distribuciones de probabilidad condicional no son en general computables a partir de la conjunta, incluso cuando la conjunta es computable. Un resultado de imposibilidad fundamental en la teoría del cómputo bayesiano.

  • Medidas de de Finetti computables (Annals of Pure and Applied Logic, 2012) — Con Cameron Freer. Estableció resultados de computabilidad para representaciones de de Finetti de secuencias intercambiables, conectando los fundamentos de la estadística no paramétrica bayesiana con la teoría de la computabilidad.

  • Procesos Graphex y grafos intercambiables dispersos (Annals of Statistics, 2019; arXiv 2015) — Con Victor Veitch. Generalizó el teorema de representación de Aldous-Hoover a grafos aleatorios dispersos mediante medidas aleatorias intercambiables (graphexes), proporcionando un marco no paramétrico fundamentado para el análisis estadístico de datos de redes.

  • Cotas PAC-Bayes no vacuas para redes profundas (UAI 2017) — Con Gintare Karolina Dziugaite. Primera demostración de una cota ajustada y no vacua para el error de generalización de una red neuronal profunda entrenada con datos reales, utilizando un prior PAC-Bayes optimizado. Inició el programa moderno de teoría de generalización informacional para el aprendizaje profundo.

  • Complejidad informacional de la optimización convexa estocástica (Mejor Artículo ICML 2024) — Con Idan Attias, Gintare Karolina Dziugaite, Mahdi Haghifam y Roi Livni. Estableció cotas de complejidad informacional ajustadas para el descenso de gradiente estocástico bajo supuestos convexos estándar, proporcionando una teoría unificada de la generalización y la memorización en algoritmos de aprendizaje.

  • Fundamentos no estándar de la teoría de decisiones — Con Haosui Duanmu y David Schrittesser. Una serie de resultados que utilizan el análisis no estándar para resolver cuestiones fundacionales en la teoría de decisiones estadísticas: caracterizando la admisibilidad como optimalidad bayesiana con priores infinitesimales, demostrando la existencia de distribuciones condicionales regulares bajo supuestos débiles y proporcionando pruebas no estándar de teoremas minimax.

Premios y reconocimientos

  • Premio George M. Sprowls a la Tesis Doctoral del MIT EECS (2011) — El máximo honor del MIT para tesis doctorales en ciencias de la computación e ingeniería eléctrica.
  • Beca Internacional Newton de la Royal Society — Beca postdoctoral competitiva de la Royal Society del Reino Unido, realizada en Cambridge.
  • Beca de Investigación del Emmanuel College, Cambridge — Beca de investigación junior en uno de los colegios más antiguos de Cambridge.
  • Cátedra de IA de Canadá de CIFAR — Designado como Cátedra de IA de Canadá por el Instituto Canadiense de Investigación Avanzada.
  • Miembro fundador del Vector Institute — Uno de los miembros académicos fundadores originales del Vector Institute for Artificial Intelligence.
  • Premio al Mejor Artículo de ICML 2024 — Por “Information Complexity of Stochastic Convex Optimization.”
  • Editor de acción, JMLR — Sirviendo en el consejo editorial del Journal of Machine Learning Research.

Relaciones clave

  • Leslie Kaelbling — Directora de doctorado en el MIT; figura destacada en el aprendizaje robótico y la planificación de tareas; la relación de mentoría a través de la cual Roy ingresó a la comunidad de investigación en IA.
  • Josh Tenenbaum — Científico cognitivo computacional del MIT y pionero del modelado bayesiano; hogar intelectual para el proyecto Church; coautor de larga data en programación probabilística y ciencia cognitiva.
  • Vikash Mansinghka — Investigador de MIT CSAIL y pionero de la programación probabilística; co-creó Church; continúa colaborando en los fundamentos de la programación probabilística.
  • Cameron Freer — Colaborador principal en la computabilidad de la probabilidad condicional y las medidas de de Finetti; el hilo teórico de lógica/computabilidad de la carrera de Roy pasa en gran parte por esta colaboración.
  • Yee Whye Teh — Profesor de Oxford e investigador de Google DeepMind; coinventor del proceso de Mondrian; colaborador recurrente en Bayes no paramétrico y estructuras aleatorias.
  • Gintare Karolina Dziugaite — La colaboradora de investigación más prolífica de los años de Roy en Toronto; co-lideró el programa PAC-Bayes para redes profundas; publicaron más de una docena de artículos juntos y ocupó puestos postdoctorales y de investigación en el grupo de Roy.
  • Zoubin Ghahramani — Jefe del Grupo de Aprendizaje Automático de Cambridge y anfitrión postdoctoral; proporcionó el entorno bayesiano no paramétrico en Cambridge que conectó los fundamentos de Roy en el MIT con la teoría británica del aprendizaje automático.
  • Peter Orbanz — Estadístico de Columbia; coautor del estudio fundacional sobre graphex y estructuras aleatorias intercambiables; un socio intelectual clave en el programa estructural de estadística bayesiana no paramétrica.
  • Victor Veitch — El estudiante de doctorado más destacado de Roy; codesarrolló la teoría del proceso graphex; ganó el Premio Pierre Robillard de la Sociedad Canadiense de Estadística; ahora profesor asistente en la Universidad de Chicago.

Estilo personal

Roy es un raro ejemplo de un científico de la computación teórico que ha mantenido un estándar matemático constante a través de múltiples tradiciones de investigación — programación probabilística, estadística bayesiana no paramétrica, lógica estadística y teoría del aprendizaje — sin reducirse a un solo conjunto de herramientas técnicas. Su trabajo se caracteriza por una insistencia en los fundamentos: se siente atraído por preguntas sobre cuándo la inferencia bayesiana es computable, cuándo las cotas de generalización son realmente ajustadas y cuándo los supuestos estándar en estadística pueden eliminarse o debilitarse sin sacrificar la precisión. El marco de “eliminar supuestos de la estadística” — que utilizó en una charla reciente en ETH Zúrich — describe su programa de investigación actual sobre fundamentos analíticos no estándar con tanta precisión como describió su trabajo temprano sobre la imposibilidad de la computabilidad. El expediente de colocación de sus estudiantes es notable incluso para los estándares de grupos de teoría fuertes: Victor Veitch (Universidad de Chicago), Jeffrey Negrea y Mufan Li (Universidad de Waterloo), Jun Yang (Universidad de Copenhague), Yanbo Tang (Imperial College London) y otros ahora ocupan puestos de profesorado investigador, y Haosui Duanmu tiene una cátedra completa en China. Mantiene un wiki de “marginalia” en su sitio — una colección de erratas, aclaraciones y citas omitidas — que refleja su compromiso con la integridad científica por encima del pulido de la presentación.

Referencias