Diederik P. (Durk) Kingma

wiki
, , , ,
1

Pesquisador holandês de aprendizado de máquina que coinventou o Autoencoder Variacional e o otimizador Adam — duas das contribuições mais fundamentais e mais citadas na história do aprendizado profundo — e desde então avançou fluxos normalizadores, modelos de difusão variacionais e desenvolvimento responsável de IA na OpenAI, Google Brain e Anthropic.

Perfil
Nascimento Países Baixos (data não divulgada publicamente)
Nacionalidade Holandesa
Instituição(ões) Atual(is) Anthropic (Cientista de Pesquisa, 2024–presente)
Áreas de Pesquisa Modelagem Generativa, Inferência Variacional, Otimização, Fluxos Normalizadores, Modelos de Difusão, Aprendizado de Máquina em Larga Escala
Orientador de Doutorado Max Welling
Tese de Doutorado Inferência Variacional e Aprendizado Profundo: Uma Nova Síntese (Universidade de Amsterdã, 2017, cum laude)
Website dpkingma.com
X / Twitter @dpkingma
GitHub dpkingma
Google Scholar Diederik P. Kingma

Visão Geral

Diederik P. Kingma — conhecido pelo apelido frísio Durk, pronunciado como Dirk — é um pesquisador holandês de aprendizado de máquina cujas duas contribuições mais reconhecidas, o Autoencoder Variacional (VAE, 2013) e o otimizador Adam (2014), estão entre os artigos mais citados na história da ciência da computação. O VAE estabeleceu o truque da reparametrização e o limite inferior da evidência como a maquinaria central para o aprendizado profundo escalável com variáveis latentes; o otimizador Adam tornou-se o algoritmo de treinamento padrão para praticamente toda rede neural treinada após 2015. Kingma foi membro fundador e líder de algoritmos na OpenAI (2015–2018), passou seis anos como Cientista de Pesquisa no Google Brain e no Google DeepMind (2018–2024) e ingressou na Anthropic em outubro de 2024, trabalhando remotamente dos Países Baixos. Seu doutorado na Universidade de Amsterdã, concluído cum laude sob orientação de Max Welling em 2017, foi o primeiro cum laude no departamento de Ciência da Computação da UvA em trinta anos. Seu perfil no Google Scholar reflete centenas de milhares de citações, impulsionadas principalmente pelo artigo do Adam, um dos trabalhos mais citados em qualquer disciplina científica.

Primeiros Anos & Educação

Kingma nasceu e foi criado nos Países Baixos. Começou a pesquisar na Universidade de Nova York, no laboratório de Yann LeCun, em 2009, como Cientista de Pesquisa Júnior — um encontro formativo inicial com o programa de pesquisa em aprendizado profundo antes de se tornar mainstream. Retornou ao laboratório de LeCun para um segundo período em 2012. Entre esses períodos, cofundou a Advanza, uma empresa de tecnologia holandesa, atuando como líder técnico de 2010 a 2012; a Advanza foi adquirida com sucesso em 2016.

Kingma iniciou seu doutorado em 2013 na Universidade de Amsterdã sob a supervisão de Max Welling, trabalhando com aprendizado profundo e modelos generativos. Durante seus anos de doutorado, passou também os verões de 2014 e 2015 no DeepMind em Londres para colaborações e recebeu a primeira Bolsa Europeia de Doutorado do Google em Aprendizado Profundo em 2015. Concluiu seu doutorado em 2017 com a distinção cum laude — a maior honraria do sistema holandês — e a primeira tal distinção no departamento de Ciência da Computação da UvA em trinta anos. Sua tese, Inferência Variacional e Aprendizado Profundo: Uma Nova Síntese, integrou o arcabouço de inferência variacional baseado em reparametrização que ele desenvolveu com um tratamento mais amplo da modelagem generativa profunda.

Carreira

NYU / Advanza (2009–2013)

As primeiras posições de pesquisa de Kingma no laboratório de Yann LeCun o expuseram à tradição de redes neurais que logo se tornaria o paradigma dominante no aprendizado de máquina. Sua cofundação da Advanza durante os anos intermediários adicionou uma dimensão inicial de startup e construção de produto ao seu histórico, que o distinguiu de pesquisadores puramente acadêmicos.

Universidade de Amsterdã — Doutorado (2013–2017)

Dois artigos produzidos durante os anos de doutorado de Kingma transformaram o campo.

Autoencoder Variacional (ICLR 2014). „Auto-Encoding Variational Bayes,“ coautorado com Max Welling, introduziu o VAE: uma arquitetura de rede neural para aprender modelos profundos de variáveis latentes na qual um codificador mapeia entradas para uma distribuição sobre um espaço latente e um decodificador reconstrói entradas a partir de representações latentes amostradas. A contribuição técnica crítica foi o truque da reparametrização, que permitiu que gradientes fluíssem através de operações de amostragem estocástica e tornou o treinamento conjunto do codificador e decodificador por gradiente descendente estocástico tratável. O VAE unificou a modelagem generativa probabilística com o aprendizado profundo escalável pela primeira vez, estabeleceu o limite inferior da evidência (ELBO) como um objetivo de treinamento para modelos generativos profundos e tornou-se a espinha dorsal conceitual dos modelos de difusão latente, incluindo o Stable Diffusion. Independentemente, Danilo Rezende, Shakir Mohamed e Daan Wierstra publicaram uma abordagem intimamente relacionada (SGVB) ao mesmo tempo. O artigo do VAE recebeu o Prêmio Test of Time do ICLR 2024 — o ano inaugural desse prêmio — em reconhecimento ao seu impacto duradouro.

Otimizador Adam (ICLR 2015). „Adam: A Method for Stochastic Optimization,“ coautorado com Jimmy Ba, introduziu o algoritmo Adam: um otimizador de taxa de aprendizado adaptativa que mantém estimativas de primeiro e segundo momentos por parâmetro e aplica correção de viés. O Adam combinou os benefícios do AdaGrad (adaptação a gradientes esparsos) e do RMSProp (eficaz em configurações não estacionárias) em um único algoritmo com hiperparâmetros intuitivos. Foi imediatamente adotado como o otimizador padrão para treinar redes neurais em praticamente todos os domínios e permaneceu assim por uma década. O artigo do Adam tornou-se um dos mais citados em toda a ciência da computação e em todas as disciplinas científicas, com citações na casa das centenas de milhares. Recebeu o Prêmio Test of Time do ICLR 2025 (com Jimmy Ba).

OpenAI — Membro Fundador, Cientista de Pesquisa, Líder da Equipe de Algoritmos (2015–2018)

Kingma ingressou na OpenAI como membro de sua equipe fundadora em 2015 e atuou como Cientista de Pesquisa e líder da equipe de Algoritmos, focado em pesquisa fundamental sobre métodos generativos de IA. Durante este período, continuou desenvolvendo o arcabouço de inferência variacional (Inferência Variacional Melhorada com Fluxo Autoregressivo Inverso, NIPS 2016, com Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever e Max Welling — introduzindo fluxos normalizadores como um caminho para aproximações posteriores mais expressivas) e contribuiu para trabalhos sobre aprendizado semissupervisionado e aprendizado de representações. Saiu da OpenAI em 2018.

Google Brain / Google DeepMind — Cientista de Pesquisa (2018–2024)

Após um breve período como investidor anjo e consultor em tempo parcial, Kingma retornou à organização de pesquisa do Google em julho de 2018, começando no Google Brain. Liderou projetos de pesquisa em modelos generativos para texto, imagem e vídeo.

Glow (NeurIPS 2018). „Glow: Generative Flow with Invertible 1×1 Convolutions,“ coautorado com Prafulla Dhariwal, introduziu um modelo de fluxo normalizador usando convoluções invertíveis 1×1 como elemento arquitetural central. O Glow gerou imagens faciais foto-realistas de alta resolução e forneceu um modelo de verossimilhança exata tratável — uma demonstração de que fluxos poderiam alcançar qualidade visual comparável a GANs, permanecendo baseados em verossimilhança. A demonstração do Glow, lançada como um site interativo, tornou-se uma das primeiras demonstrações publicamente acessíveis de geração de imagem foto-realista de alta fidelidade por IA.

Modelos de Difusão Variacionais (NeurIPS 2021). „Variational Diffusion Models,“ coautorado com Tim Salimans, Ben Poole e Jonathan Ho, unificou os arcabouços VAE e de modelo de difusão ao mostrar que modelos de difusão podem ser vistos como VAEs de profundidade infinita com um cronograma de ruído específico. O artigo demonstrou que esses modelos poderiam alcançar verossimilhanças de última geração em benchmarks de densidade de imagem, simplificou o entendimento teórico dos modelos de difusão através de uma formulação de relação sinal-ruído e provou uma equivalência entre vários métodos propostos anteriormente distintos. Contribuiu para a base teórica do paradigma do modelo de difusão que sustenta a maioria dos sistemas contemporâneos de geração de imagem e vídeo.

Durante seu período no Google, Kingma também contribuiu para pesquisas sobre grandes modelos de linguagem e outros modelos generativos para texto e vídeo, consistente com o foco crescente do Google Brain em modelos fundacionais.

Anthropic — Cientista de Pesquisa (2024–presente)

Em outubro de 2024, Kingma anunciou que estava ingressando na Anthropic, trabalhando principalmente remotamente dos Países Baixos com visitas regulares à área da Baía de São Francisco. Ao anunciar a mudança, escreveu que a abordagem da Anthropic ao desenvolvimento de IA ressoava com suas próprias crenças sobre o desenvolvimento responsável de sistemas poderosos de IA. Sua chegada continuou o padrão da Anthropic de recrutar pesquisadores proeminentes da OpenAI e do Google que compartilham sua cultura de pesquisa orientada à segurança.

Principais Contribuições

  • Autoencoder Variacional (VAE, ICLR 2014) — „Auto-Encoding Variational Bayes,“ com Max Welling. Introduziu o truque da reparametrização e o limite inferior da evidência como a maquinaria para treinamento escalável de modelos profundos de variáveis latentes. Estabeleceu o arcabouço canônico para modelagem generativa profunda e aprendizado de representações; conceitualmente fundamental para modelos de difusão latente, incluindo o Stable Diffusion. Recebeu o inaugural Prêmio Test of Time do ICLR 2024. Mais de 35.000 citações.

  • Otimizador Adam (ICLR 2015) — „Adam: A Method for Stochastic Optimization,“ com Jimmy Ba. Introduziu a estimativa de momento adaptativa para taxas de aprendizado por parâmetro com correção de viés. Tornou-se o otimizador padrão para treinar redes neurais profundas em praticamente todos os domínios por uma década. Entre os artigos científicos mais citados em qualquer disciplina, com mais de 200.000 citações. Recebeu o Prêmio Test of Time do ICLR 2025.

  • Fluxo Autoregressivo Inverso (NIPS 2016) — „Improved Variational Inference with Inverse Autoregressive Flow,“ com Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever e Max Welling. Estendeu o arcabouço VAE compondo fluxos normalizadores flexíveis para enriquecer a aproximação posterior, melhorando substancialmente a expressividade e o desempenho da inferência variacional para modelos de variáveis latentes.

  • Normalização de Pesos (NIPS 2016) — „Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks,“ com Tim Salimans. Introduziu a reparametrização de vetores de peso por sua magnitude e direção, acelerando a convergência e fornecendo uma alternativa mais simples à normalização em lote em certas configurações.

  • Glow (NeurIPS 2018) — „Glow: Generative Flow with Invertible 1×1 Convolutions,“ com Prafulla Dhariwal. Demonstrou geração de imagem de verossimilhança exata e alta fidelidade usando fluxos normalizadores; produziu a primeira demonstração publicamente acessível amplamente vista de geração foto-realista de rostos por IA, antecedendo a exposição pública generalizada à síntese de imagem.

  • Modelos de Difusão Variacionais (NeurIPS 2021) — „Variational Diffusion Models,“ com Tim Salimans, Ben Poole e Jonathan Ho. Forneceu um arcabouço variacional fundamentado unificando VAEs e modelos de difusão, alcançou verossimilhanças de última geração em benchmarks de imagem e contribuiu com clareza teórica para a formulação de relação sinal-ruído dos processos de difusão que sustenta os sistemas modernos de texto para imagem.

Prêmios & Reconhecimento

  • Prêmio Test of Time do ICLR 2025 — Pelo artigo do otimizador Adam (com Jimmy Ba).
  • Prêmio Test of Time do ICLR 2024 (inaugural) — Pelo artigo do VAE (com Max Welling), concedido no primeiro ano em que a conferência introduziu este reconhecimento.
  • Prêmio Holandês de Datascience (2019) — Da Real Sociedade Holandesa de Ciências e Humanidades, por contribuições à pesquisa em aprendizado de máquina.
  • Prêmio ELLIS de Doutorado (2019) — Do Laboratório Europeu para Aprendizado e Sistemas Inteligentes, por realizações de pesquisa excepcionais durante a fase de dissertação.
  • Doutorado cum laude, Universidade de Amsterdã (2017) — A mais alta distinção doutoral holandesa; o primeiro no departamento de Ciência da Computação da UvA em trinta anos.
  • Bolsa Europeia de Doutorado do Google em Aprendizado Profundo (2015) — A primeira bolsa desse tipo concedida pelo Google na Europa.

Relacionamentos-Chave

  • Max Welling — Orientador de doutorado na Universidade de Amsterdã e coautor do VAE; a parceria intelectual mais consequente da carreira de Kingma. A orientação probabilística de aprendizado de máquina de Welling moldou todo o programa do VAE e sua conexão com a inferência bayesiana.
  • Jimmy Ba — Coautor do otimizador Adam; o impacto do artigo é um dos exemplos mais dramáticos de um trabalho de dois autores remodelando um campo inteiro.
  • Tim Salimans — O colaborador mais próximo e de longo prazo dos anos de indústria de Kingma; coautorou a Normalização de Pesos, o Fluxo Autoregressivo Inverso e os Modelos de Difusão Variacionais em ambos os períodos da OpenAI e Google Brain.
  • Prafulla Dhariwal — Colega do Google Brain e OpenAI; coautor do Glow; posteriormente conhecido por avanços em DALL-E e modelos de difusão na OpenAI.
  • Jonathan Ho — Coautor dos Modelos de Difusão Variacionais; conhecido separadamente como autor principal do DDPM (Modelos Probabilísticos de Difusão com Remoção de Ruído), o artigo que ancorou o paradigma moderno do modelo de difusão.
  • Yann LeCun — Mentor inicial no laboratório da NYU em 2009 e 2012; um dos primeiros pesquisadores seniores a dar a Kingma experiência em pesquisa antes de seu doutorado.
  • Ilya Sutskever — Colega da equipe fundadora da OpenAI e coautor no artigo do Fluxo Autoregressivo Inverso.
  • Dario Amodei — CEO da Anthropic e ex-Vice-Presidente de Pesquisa da OpenAI; seu recrutamento de Kingma para a Anthropic reflete história e valores compartilhados do período da OpenAI.

Estilo Pessoal

A prática de pesquisa de Kingma é organizada em torno de um pequeno número de ideias fundamentais perseguidas com profundidade matemática, em vez de ampla cobertura empírica. O truque da reparametrização, introduzido para o VAE, é característico: um movimento conceitualmente simples que resolveu um obstáculo de longa data ao treinamento de modelos de variáveis latentes por gradiente descendente e, em seguida, revelou-se aplicável a uma ampla gama de problemas. O Adam é construído de forma semelhante — um algoritmo intuitivo e bem motivado cuja ampla aplicabilidade não era imediatamente óbvia, mas que acumulou citações a uma taxa incomparável à da maioria dos resultados teóricos. Sua trajetória por quatro instituições (OpenAI, Google Brain, Google DeepMind, Anthropic) reflete uma preferência por ambientes onde a pesquisa fundamental é tratada como um fim em si mesma, em vez de um meio para lançamentos de produtos. Ele fez poucas declarações públicas, mas aquelas que fez — incluindo sua justificativa para ingressar na Anthropic — enfatizam o alinhamento entre os valores institucionais e suas crenças pessoais sobre o desenvolvimento responsável de IA. Ele continua a trabalhar dos Países Baixos, mantendo uma base europeia incomum entre pesquisadores de seu nível de reconhecimento na indústria de IA centrada nos EUA.

Referências