David Duvenaud

wiki
, , , ,
1

David Duvenaud

Probabilista canadense e pesquisador de aprendizado profundo na Universidade de Toronto, cujo artigo sobre Neural ODE estabeleceu redes de profundidade contínua como uma nova classe e cuja biblioteca Autograd deu origem ao ecossistema de diferenciação automática que mais tarde produziu o JAX — e que desde então mudou de foco para governança de IAG, avaliações de sabotagem e o risco sistêmico da desumanização gradual.

Perfil
Nacionalidade Canadense
Instituição(ões) Atual(is) Universidade de Toronto — Professor Associado, Ciência da Computação e Estatística; Cátedra Schwartz Reisman em Tecnologia e Sociedade; Vector Institute (Membro Fundador)
Áreas de Pesquisa Governança de IAG, Segurança de IA, Avaliação de Risco Catastrófico, Modelos Probabilísticos Profundos, Neural ODEs, Modelos Generativos, Diferenciação Automática
Orientador de Doutorado Carl Rasmussen; Zoubin Ghahramani
Tese de Doutorado Automatic Model Construction with Gaussian Processes (Universidade de Cambridge, 2014)
Site cs.toronto.edu/~duvenaud
X / Twitter @DavidDuvenaud
GitHub duvenaud
Google Scholar David Duvenaud

Visão Geral

David Duvenaud é um pesquisador canadense de aprendizado de máquina e professor associado na Universidade de Toronto, onde ocupa a Cátedra Schwartz Reisman em Tecnologia e Sociedade e é membro fundador do Vector Institute. Concluiu seu doutorado em Cambridge sob orientação de Carl Rasmussen e Zoubin Ghahramani, pós-doutorado em Harvard com Ryan Adams, e está em Toronto desde 2016. Sua carreira segue uma trajetória marcante de três fases: da teoria de processos Gaussianos e modelagem probabilística em Cambridge; às redes neurais de profundidade contínua, diferenciação automática e modelos generativos profundos em Toronto (culminando com o Prêmio de Melhor Artigo do NeurIPS 2018 por Neural ODEs e contribuições fundamentais para o Autograd, precursor do JAX); a uma virada quase completa, após um sabático prolongado na equipe de Ciência de Alinhamento da Anthropic, para governança de IAG, avaliação de modelos de fronteira e o risco estrutural de que a implantação incremental de IA possa gradualmente desumanizar a humanidade. Ele continua a orientar alunos de doutorado e lecionar em Toronto, atualmente focado inteiramente na agenda de alinhamento e segurança que assumiu na Anthropic.

Início da Vida e Educação

Universidade da Colúmbia Britânica — M.Sc. (2010)

Duvenaud concluiu um Mestrado em Ciências na UBC sob orientação de Kevin Murphy, trabalhando em campos aleatórios condicionais multiescala para rotulagem de imagens semissupervisionada. Sua dissertação de mestrado estabeleceu seu interesse em modelos gráficos probabilísticos e estrutura de variáveis latentes.

Universidade de Cambridge — PhD (2010–2014)

No Grupo de Aprendizado de Máquina de Cambridge, Duvenaud trabalhou com Carl Rasmussen e Zoubin Ghahramani — duas das figuras centrais na pesquisa de processos Gaussianos — no problema da construção automática de modelos. Sua dissertação, Automatic Model Construction with Gaussian Processes, introduziu uma gramática sobre kernels GP que um programa poderia pesquisar para identificar estrutura estatisticamente apropriada em um conjunto de dados, produzindo relatórios legíveis por humanos descrevendo o modelo ajustado. O projeto foi um protótipo para o que se tornou a agenda de pesquisa do Automatic Statistician. Seus componentes-chave — o artigo sobre busca composicional de kernel (ICML 2013), a descrição automática em linguagem natural de regressão não paramétrica (AAAI 2014) e o trabalho sobre GP aditivo e GP profundo — permanecem amplamente citados. Durante o doutorado, ele co-organizou a série de workshops de Numerics Probabilísticos, conectando análise numérica à inferência Bayesiana.

Harvard HIPS Group — Pós-doutorado (2014–2016)

Após Cambridge, Duvenaud juntou-se ao grupo Harvard Intelligent Probabilistic Systems (HIPS) como pós-doutorando com Ryan Adams. Este período produziu várias contribuições duradouras. A primeira foi o Autograd — desenvolvido principalmente por Dougal Maclaurin com Duvenaud e Matthew Johnson — uma biblioteca para diferenciação automática no modo reverso de Python e NumPy nativos, suportando loops, condicionais, closures e derivadas de ordem superior. O Autograd foi o precursor direto do JAX, a principal infraestrutura de pesquisa em ML do Google, e introduziu a filosofia de design de diferenciar através de código Python arbitrário que agora permeia o software de ML. A segunda grande contribuição de Harvard foi o artigo sobre convolução de impressões digitais moleculares (NeurIPS 2015, com Duvenaud como primeiro autor juntamente com Maclaurin, Gómez-Bombarelli, Adams e Aspuru-Guzik), que introduziu o primeiro extrator de características convolucionais aprendido ponta a ponta operando diretamente em grafos moleculares — um dos artigos fundadores das redes neurais de grafos para química. A terceira foi a otimização de hiperparâmetros baseada em gradiente através de aprendizado reversível (ICML 2015, com Maclaurin e Adams), permitindo o cálculo exato do gradiente da perda de validação em relação a milhares de hiperparâmetros diferenciando todo o procedimento de treinamento.

Carreira

Universidade de Toronto — Professor Associado (2016–presente)

Duvenaud ingressou no Departamento de Ciência da Computação de Toronto em 2016 e tem nomeação conjunta no Departamento de Ciências Estatísticas. Ele é membro fundador do Vector Institute for Artificial Intelligence e ocupa a Cátedra Schwartz Reisman em Tecnologia e Sociedade. Recebeu uma Bolsa de Pesquisa Sloan. Sua carreira em Toronto divide-se em dois programas de pesquisa distintos.

Modelos probabilísticos profundos e redes de profundidade contínua (2016–2021). O principal resultado do período inicial de Duvenaud em Toronto foi um conjunto de artigos desenvolvendo a interseção de equações diferenciais e aprendizado profundo. O resultado central foi Neural Ordinary Differential Equations (NeurIPS 2018, Prêmio de Melhor Artigo), coautorado com Ricky Tian Qi Chen, Yulia Rubanova e Jesse Bettencourt. O artigo propôs parametrizar a derivada do estado oculto de uma rede com uma rede neural, em vez de especificar transformações discretas camada por camada. A saída é calculada por um solucionador de EDO de caixa preta, produzindo um modelo de profundidade contínua com custo de memória constante durante o treinamento (via método adjunto), avaliação adaptativa e uma estrutura matemática elegante para modelagem generativa via fluxos normalizantes contínuos. O artigo foi imediatamente reconhecido como abrindo uma nova direção de pesquisa; torchdiffeq (a biblioteca de software associada de Ricky Chen) tornou-se amplamente usada em biologia, física e ML. Extensões desenvolvidas pelo grupo incluíram EDOs latentes para séries temporais amostradas irregularmente (NeurIPS 2019), gradientes de equações diferenciais estocásticas escaláveis (AISTATS 2020), redes neurais Bayesianas infinitamente profundas com EDEs (AISTATS 2022) e um substituto diferenciável para o custo do solucionador de EDO (NeurIPS 2020).

Juntamente com o trabalho em EDO, o grupo de Duvenaud contribuiu para fluxos normalizantes (FFJORD, ICLR 2019 Oral; Residual Flows, NeurIPS 2019; Invertible ResNets, ICML 2019), modelos baseados em energia (JEM, ICLR 2020), otimização de hiperparâmetros baseada em gradiente em escala (AISTATS 2020, com Lorraine e Vicol), amostragem discreta com gradientes („Oops I Took a Gradient,“ ICLR 2021, Menção Honrosa de Melhor Artigo) e design químico automático (ACS Central Science 2018, com Gómez-Bombarelli e Aspuru-Guzik). Ele também codesenvolveu Dex, uma linguagem de programação funcional para processamento seguro de arrays com paralelização automática (ICFP 2021, Prêmio de Artigo Distinto, com Adam Paszke e colegas do Google Brain).

Alinhamento de IAG, segurança e governança (2022–presente). Por volta de 2022, Duvenaud mudou o foco de seu grupo quase inteiramente para segurança e governança de IA. Ele completou um sabático prolongado na equipe de Ciência de Alinhamento da Anthropic, durante o qual coautorou um conjunto de artigos e ensaios técnicos relevantes para segurança. Seu trabalho em segurança abrange avaliação empírica de capacidades e riscos de modelos de fronteira, estruturas teóricas para desumanização gradual por IA e estudo empírico de como sistemas de IA implantados afetam a autonomia do usuário.

Duvenaud coautorou „Sabotage Evaluations for Frontier Models“ (Anthropic, 2024), que desenvolveu protocolos de avaliação para detectar se modelos capazes poderiam minar encobertamente processos de supervisão em um desenvolvedor de IA de fronteira — construindo protocolos para avaliar assistência encoberta de IA a evasores de monitoramento e subversores de decisão. Ele foi coautor em „Many-Shot Jailbreaking“ (NeurIPS 2024), demonstrando que solicitar modelos com centenas de exemplos de comportamento indesejável escala como uma lei de potência até centenas de exemplos, revelando ataques de contexto longo como uma nova superfície de ataque. Ele liderou ou coliderou pesquisas sobre sicofância („Towards Understanding Sycophancy in Language Models,“ ICLR 2024), quantificação de incerteza epistêmica („Experts Don’t Cheat,“ ICML 2024) e verificação de dados de treinamento („Tools for Verifying Neural Models’ Training Data,“ NeurIPS 2023).

Suas contribuições mais amplas para governança incluem „Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development“ (2025, com Jan Kulveit, Raymond Douglas e colegas) — um relatório técnico argumentando que mesmo sem saltos abruptos de capacidade, a substituição competitiva de humanos em papéis econômicos, criativos e sociais constitui um caminho estrutural para a desumanização permanente, e propondo esta como uma categoria de risco distinta e subestimada. Em 2025, ele publicou um ensaio no Guardian apresentando este argumento a uma audiência geral, e uma peça relacionada apareceu no The Economist. Um artigo empírico de 2026, „Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage“, analisou 1,5 milhão de conversas do Claude.ai para quantificar padrões de desumanização empiricamente, descobrindo que comportamentos preocupantes (reforçar teorias da conspiração, compor mensagens de relacionamento enviadas textualmente) correlacionam-se com maior satisfação do usuário — identificando uma tensão entre preferência do usuário e florescimento a longo prazo. Outro artigo de 2026, „The Artificial Self“, investigou empiricamente os limites da identidade da IA e suas consequências comportamentais. Em Toronto, ele retomou a supervisão de alunos focados em tópicos relevantes para segurança: os alunos atuais incluem Jesse Bettencourt e Raymond Douglas (este último focado em governança de IA).

Principais Contribuições

  • Autograd (2015) — Codesenvolvido com Dougal Maclaurin e Matthew Johnson. Uma biblioteca de diferenciação automática para Python e NumPy nativos suportando derivadas de ordem superior, fluxo de controle arbitrário e closures — o precursor arquitetônico direto do JAX (principal infraestrutura de pesquisa em ML do Google). Estabeleceu o paradigma de tratar programas de ML como funções diferenciáveis sobre Python em vez de grafos de computação sobre primitivas.

  • Impressões Digitais Moleculares via Convolução de Grafos (NeurIPS 2015) — Primeiro autor do artigo fundamental sobre redes neurais de grafos para previsão de propriedades moleculares, substituindo impressões digitais circulares artesanais por características aprendidas ponta a ponta operando na estrutura de grafos moleculares. Estabeleceu GNNs para química e levou a um artigo relacionado na Nature Materials e ao campo mais amplo de ML molecular.

  • Otimização de Hiperparâmetros Baseada em Gradiente (ICML 2015) — Com Maclaurin e Adams. Permitiu o cálculo exato do gradiente da perda de validação em relação a milhares de hiperparâmetros diferenciando procedimentos de treinamento inteiros, demonstrando otimização de tamanhos de passo, inicializações de peso e esquemas de regularização — uma demonstração inicial de meta-aprendizado através de treinamento diferenciável.

  • Neural Ordinary Differential Equations (NeurIPS 2018 Melhor Artigo) — Com Ricky Tian Qi Chen, Yulia Rubanova e Jesse Bettencourt. Introduziu redes neurais de profundidade contínua definidas por dinâmicas de estado oculto parametrizadas por EDO, treinadas com memória constante via método adjunto, com aplicações em fluxos normalizantes contínuos, modelos de séries temporais latentes e modelagem generativa reversível. Um dos artigos de ML mais influentes de 2018 e a base para uma grande literatura subsequente.

  • FFJORD: Free-Form Continuous Dynamics for Scalable Reversible Generative Models (ICLR 2019 Oral) — Com Will Grathwohl, Ricky Chen, Jesse Bettencourt e Ilya Sutskever. Estendeu Neural ODEs para modelagem generativa com estimativa de densidade não viesada via estimador de traço de Hutchinson, removendo as restrições arquitetônicas de modelos de fluxo normalizante anteriores.

  • Sabotage Evaluations for Frontier Models (Anthropic, 2024) — Desenvolveu o primeiro conjunto de avaliação para testar se modelos de fronteira podem minar encobertamente a supervisão humana do desenvolvimento de IA, incluindo protocolos para evasão de monitoramento assistida por modelo, sabotagem de decisão e ocultação de capacidade — contribuindo para a Política de Escalonamento Responsável da Anthropic.

  • Desumanização Gradual (2025) — Com Jan Kulveit, Raymond Douglas e outros. Uma estrutura técnica e conceitual argumentando que o desenvolvimento incremental de capacidade de IA — sem nenhum evento dramático único — representa risco estrutural de desumanização permanente através da substituição competitiva em papéis econômicos, criativos e sociais, independentemente de os sistemas de IA abrigarem objetivos desalinhados.

  • Linguagem Dex (ICFP 2021, Artigo Distinto) — Coautorado com Adam Paszke, Daniel D. Johnson e colegas. Uma linguagem de programação de arrays funcional suportando paralelismo implícito seguro e efeitos tipados refinados, prototipando conceitos incorporados no projeto de pesquisa Dex do JAX.

Prêmios e Reconhecimento

  • Prêmio de Melhor Artigo do NeurIPS 2018 — Por Neural Ordinary Differential Equations.
  • Bolsa de Pesquisa Sloan — Bolsa da Fundação Alfred P. Sloan para pesquisadores em início de carreira.
  • Cátedra Schwartz Reisman em Tecnologia e Sociedade — Cátedra nomeada na Universidade de Toronto.
  • Prêmio de Artigo Distinto do ICFP 2021 — Pelo artigo sobre a linguagem de programação de arrays Dex.
  • Menção Honrosa de Melhor Artigo do ICLR 2021 — Por „Oops I Took a Gradient: Scalable Sampling for Discrete Distributions.“
  • Membro Fundador do Vector Institute — Parte da equipe fundadora do instituto nacional de pesquisa em IA do Canadá.

Relacionamentos Chave

  • Carl Rasmussen — Orientador de doutorado em Cambridge; teórico de processos Gaussianos e coautor do livro-texto canônico sobre GP; moldou a orientação probabilística fundamental de Duvenaud.
  • Zoubin Ghahramani — Coorientador de doutorado em Cambridge; pioneiro em ML Bayesiano e diretor do MLG de Cambridge; o trabalho sobre gramática de kernel e Automatic Statistician está firmemente na tradição intelectual de Ghahramani.
  • Ryan P. Adams — Orientador de pós-doutorado em Harvard; o grupo HIPS foi o ambiente direto para Autograd, impressões digitais de grafos e hipergradientes; Adams e Duvenaud compartilham uma sensibilidade de desenvolver ferramentas de pesquisa como forma de contribuição.
  • Dougal Maclaurin — Arquiteto principal do Autograd e colaborador de pesquisa mais próximo do período de Harvard; agora lidera a equipe JAX no Google; a linhagem do Autograd passa por ambos.
  • Ricky Tian Qi Chen — O aluno de doutorado mais produtivo no grupo de Toronto de Duvenaud; primeiro autor de Neural ODEs, FFJORD, Residual Flows e trabalhos relacionados; agora cientista de pesquisa no Meta FAIR.
  • Roger Grosse — Colega da Universidade de Toronto em Ciência da Computação e Vector Institute; colaborador em aprendizado profundo Bayesiano, desembaraçamento e métodos de informação de Fisher.
  • Chris Maddison — Colega da Universidade de Toronto e colaborador próximo em amostragem discreta e modelos baseados em energia.
  • Mrinank Sharma — Cientista de alinhamento da Anthropic e coautor nos artigos sobre desumanização, sicofância e jailbreaking de muitos exemplos; um colaborador central na pesquisa de segurança de Duvenaud.
  • Jan Kulveit — Pesquisador de segurança de IA e coautor da estrutura de desumanização gradual; traz uma perspectiva de teoria de alinhamento para a orientação empírica de Duvenaud.

Estilo Pessoal

Duvenaud é um dos exemplos mais claros em aprendizado de máquina de um pesquisador que mudou seu foco de pesquisa de maneira fundamental em vez de estendê-lo — e que o fez publicamente, explicando o raciocínio em cada etapa. Sua mudança da modelagem probabilística para Neural ODEs foi metodológica (a matemática contínua forneceu melhores ferramentas para os problemas em questão); sua mudança de Neural ODEs para segurança de IA foi normativa (ele concluiu que o uso mais importante de suas habilidades de pesquisa era reduzir o risco catastrófico). Ele é excepcionalmente franco sobre incerteza: seu site pessoal agora descreve os destaques de pesquisa passados como passados e enquadra seus interesses atuais em torno da governança e risco de IAG sem hesitação. Sua escrita — técnica e pública — é precisa sem ser formal, e ele demonstrou um interesse consistente em tornar a infraestrutura de ML mais fundamentada (Autograd, Dex) em vez de meramente mais rápida. Seu botão de feedback anônimo e instruções detalhadas de ingresso em seu site refletem uma abordagem à orientação que trata a transparência sobre a cultura de trabalho como uma obrigação profissional, e não como um pensamento posterior.

Referências