디데리크 P. (더크) 킹마

위키
, , , ,
1

네덜란드 출신의 머신러닝 연구자로, 딥러닝 역사상 가장 근본적이고 가장 많이 인용된 기여 중 두 가지인 Variational Autoencoder(변분 오토인코더)와 Adam 옵티마이저를 공동 발명했으며, 이후 OpenAI, Google Brain, Anthropic에서 normalizing flows, variational diffusion models, 책임 있는 AI 개발을 발전시켰습니다.

프로필
출생 네덜란드 (생년월일은 공개되지 않음)
국적 네덜란드
소속 기관 Anthropic (연구 과학자, 2024–현재)
연구 분야 생성 모델링, 변분 추론, 최적화, Normalizing Flows, 확산 모델, 대규모 머신러닝
박사 지도교수 Max Welling
박사 학위 논문 변분 추론과 딥러닝: 새로운 종합(Variational Inference and Deep Learning: A New Synthesis) (암스테르담 대학교, 2017, cum laude)
웹사이트 dpkingma.com
X / 트위터 @dpkingma
GitHub dpkingma
Google Scholar Diederik P. Kingma

개요

Diederik P. Kingma — 프리지아어 별명 Durk(더크)으로 알려짐, Dirk처럼 발음 — 은 네덜란드의 머신러닝 연구자로, 그의 가장 널리 인정받는 두 가지 기여인 Variational Autoencoder(VAE, 2013)와 Adam 옵티마이저(2014)는 컴퓨터 과학 역사상 가장 많이 인용된 논문 중 하나입니다. VAE는 재매개변수화 트릭(reparameterization trick)과 증거 하한(evidence lower bound)을 확장 가능한 잠재 변수 딥러닝의 핵심 메커니즘으로 확립했습니다. Adam 옵티마이저는 2015년 이후 훈련된 거의 모든 신경망의 기본 훈련 알고리즘이 되었습니다. Kingma는 OpenAI의 창립 팀 멤버이자 알고리즘 리드(2015–2018)였으며, Google Brain과 Google DeepMind에서 6년간 연구 과학자로 재직(2018–2024)했고, 2024년 10월에 Anthropic에 합류하여 네덜란드에서 원격으로 근무하고 있습니다. 암스테르담 대학교에서 Max Welling의 지도 아래 2017년에 cum laude로 박사 학위를 받았는데, 이는 암스테르담 대학교 컴퓨터공학과에서 30년 만에 처음으로 cum laude를 받은 사례였습니다. 그의 Google Scholar 프로필은 수십만 건의 인용을 반영하며, 주로 Adam 논문에 기인하며, 이는 모든 과학 분야에서 가장 많이 인용된 연구 중 하나입니다.

초기 생애 및 교육

Kingma는 네덜란드에서 태어나고 자랐습니다. 그는 2009년 뉴욕 대학교 Yann LeCun의 연구실에서 주니어 연구 과학자로 연구를 시작했습니다 — 이는 딥러닝 연구 프로그램이 주류가 되기 전의 형성기 조기 경험이었습니다. 그는 2012년에 LeCun의 연구실로 두 번째 기간 동안 돌아왔습니다. 이 기간 사이에 그는 네덜란드 기술 회사인 Advanza를 공동 창립하여 2010년부터 2012년까지 기술 리더로 재직했으며, Advanza는 2016년에 성공적으로 인수되었습니다.

Kingma는 2013년 암스테르담 대학교에서 Max Welling의 지도 아래 박사 과정을 시작하여 딥러닝과 생성 모델을 연구했습니다. 박사 과정 동안 그는 2014년과 2015년 여름을 런던의 DeepMind에서 협업하며 보냈고, 2015년에는 구글의 첫 유럽 박사 펠로우십(Deep Learning 분야)을 받았습니다. 그는 2017년에 네덜란드 시스템에서 최고 영예인 cum laude로 박사 학위를 마쳤으며, 이는 암스테르담 대학교 컴퓨터공학과에서 30년 만에 처음이었습니다. 그의 논문인 변분 추론과 딥러닝: 새로운 종합(Variational Inference and Deep Learning: A New Synthesis) 은 그가 개발한 재매개변수화 기반 변분 추론 프레임워크를 심층 생성 모델링에 대한 광범위한 처리와 통합했습니다.

경력

NYU / Advanza (2009–2013)

Kingma의 Yann LeCun 연구실에서의 초기 연구 직책들은 곧 머신러닝의 지배적인 패러다임이 될 신경망 전통에 그를 노출시켰습니다. 그 사이 Advanza를 공동 창립한 것은 순수 학계 연구자들과 그를 차별화하는 초기 스타트업 및 제품 구축 경험을 그의 배경에 추가했습니다.

암스테르담 대학교 — 박사 (2013–2017)

Kingma의 박사 과정 동안 나온 두 편의 논문이 해당 분야를 변화시켰습니다.

Variational Autoencoder (ICLR 2014). Max Welling과 공동 작성한 „Auto-Encoding Variational Bayes"는 VAE를 소개했습니다: 인코더가 입력을 잠재 공간에 대한 분포에 매핑하고 디코더가 샘플링된 잠재 표현에서 입력을 재구성하는 심층 잠재 변수 모델을 학습하기 위한 신경망 아키텍처입니다. 중요한 기술적 기여는 재매개변수화 트릭으로, 이는 확률적 샘플링 연산을 통해 그래디언트가 흐를 수 있게 하고 확률적 경사 하강법에 의한 인코더와 디코더의 공동 훈련을 가능하게 했습니다. VAE는 확률적 생성 모델링을 확장 가능한 딥러닝과 처음으로 통합했으며, 증거 하한(ELBO)을 심층 생성 모델의 훈련 목표로 확립했고, Stable Diffusion을 포함한 잠재 확산 모델의 개념적 기반이 되었습니다. 독립적으로 Danilo Rezende, Shakir Mohamed, Daan Wierstra도 같은 시기에 밀접하게 관련된 접근 방식(SGVB)을 발표했습니다. VAE 논문은 지속적인 영향을 인정받아 ICLR 2024 Test of Time Award(해당 상의 첫 해)를 수상했습니다.

Adam 옵티마이저 (ICLR 2015). Jimmy Ba와 공동 작성한 „Adam: A Method for Stochastic Optimization"은 Adam 알고리즘을 소개했습니다: 매개변수별 1차 및 2차 모멘트 추정치를 유지하고 편향 보정을 적용하는 적응형 학습률 옵티마이저입니다. Adam은 AdaGrad(희소 그래디언트에 대한 적응)와 RMSProp(비정상적 설정에서 효과적)의 장점을 직관적인 하이퍼파라미터와 함께 단일 알고리즘에 결합했습니다. 이는 거의 모든 도메인에서 신경망 훈련을 위한 기본 옵티마이저로 즉시 채택되었으며 10년 동안 그 지위를 유지했습니다. Adam 논문은 전체 컴퓨터 과학 및 모든 과학 분야에서 가장 많이 인용된 논문 중 하나가 되었으며, 인용 횟수는 수십만 회에 달합니다. 이는 (Jimmy Ba와 함께) ICLR 2025 Test of Time Award를 수상했습니다.

OpenAI — 창립 팀, 연구 과학자, 알고리즘 팀 리드 (2015–2018)

Kingma는 2015년 OpenAI의 창립 팀 멤버로 합류하여 연구 과학자이자 알고리즘 팀의 리더로 활동하며 생성 AI 방법에 대한 기초 연구에 집중했습니다. 이 기간 동안 그는 변분 추론 프레임워크(Improved Variational Inference with Inverse Autoregressive Flow, NIPS 2016, Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, Max Welling과 공동 — 보다 표현력 있는 근사 사후 확률을 위한 경로로 normalizing flows 도입)를 계속 개발하고 준지도 학습 및 표현 학습에 관한 연구에 기여했습니다. 그는 2018년에 OpenAI를 떠났습니다.

Google Brain / Google DeepMind — 연구 과학자 (2018–2024)

파트타임 엔젤 투자자 및 고문으로 짧은 기간을 보낸 후, Kingma는 2018년 7월 Google Brain에서 시작하여 Google의 연구 조직에 재합류했습니다. 그는 텍스트, 이미지, 비디오를 위한 생성 모델에 걸친 연구 프로젝트를 이끌었습니다.

Glow (NeurIPS 2018). Prafulla Dhariwal과 공동 작성한 „Glow: Generative Flow with Invertible 1×1 Convolutions"은 핵심 아키텍처 요소로 가역 1×1 컨볼루션을 사용하는 normalizing flow 모델을 소개했습니다. Glow는 고해상도의 사실적인 얼굴 이미지를 생성하고 다루기 쉬운 정확한 우도 모델을 제공했습니다 — 이는 flow가 GAN과 견줄만한 시각적 품질을 달성하면서도 우도 기반으로 남을 수 있다는 시연이었습니다. 대화형 웹사이트로 출시된 Glow 데모는 고충실도 사실적 AI 이미지 생성의 최초의 공개 시연 중 하나가 되었습니다.

Variational Diffusion Models (NeurIPS 2021). Tim Salimans, Ben Poole, Jonathan Ho와 공동 작성한 „Variational Diffusion Models"는 확산 모델이 특정 노이즈 스케줄을 가진 무한 깊이 VAE로 볼 수 있음을 보여줌으로써 VAE와 확산 모델 프레임워크를 통합했습니다. 이 논문은 이러한 모델이 이미지 밀도 추정 벤치마크에서 최첨단 우도를 달성할 수 있음을 입증하고, 신호 대 잡음비 공식을 통해 확산 모델에 대한 이론적 이해를 단순화했으며, 이전에 구별되었던 여러 제안된 방법 간의 동등성을 증명했습니다. 이는 대부분의 현대 이미지 및 비디오 생성 시스템의 기반이 되는 확산 모델 패러다임의 이론적 토대에 기여했습니다.

Google 재직 기간 동안 Kingma는 Google Brain의 파운데이션 모델에 대한 확장 초점과 일관되게 대규모 언어 모델 및 텍스트와 비디오를 위한 기타 생성 모델에 대한 연구에도 기여했습니다.

Anthropic — 연구 과학자 (2024–현재)

2024년 10월, Kingma는 Anthropic에 합류한다고 발표했으며, 네덜란드에서 주로 원격 근무하고 정기적으로 샌프란시스코 베이 에어리어를 방문합니다. 이직을 발표하면서 그는 Anthropic의 AI 개발 접근 방식이 강력한 AI 시스템을 책임감 있게 개발하는 것에 대한 자신의 신념과 공명한다고 썼습니다. 그의 합류는 Anthropic이 안전 중심의 연구 문화를 공유하는 OpenAI와 Google의 저명한 연구자들을 영입하는 패턴을 이어갔습니다.

주요 기여

  • Variational Autoencoder (VAE, ICLR 2014) — Max Welling과 공동으로 „Auto-Encoding Variational Bayes". 심층 잠재 변수 모델의 확장 가능한 훈련을 위한 메커니즘으로 재매개변수화 트릭과 증거 하한을 도입했습니다. 심층 생성 모델링 및 표현 학습을 위한 표준 프레임워크를 확립했습니다. Stable Diffusion을 포함한 잠재 확산 모델의 개념적 기초가 되었습니다. 첫 번째 ICLR 2024 Test of Time Award를 수상했습니다. 35,000회 이상 인용.

  • Adam 옵티마이저 (ICLR 2015) — Jimmy Ba와 공동으로 „Adam: A Method for Stochastic Optimization". 편향 보정이 있는 매개변수별 학습률에 대한 적응형 모멘트 추정을 도입했습니다. 거의 모든 도메인에서 10년 동안 심층 신경망 훈련을 위한 기본 옵티마이저가 되었습니다. 어떤 분야에서든 가장 많이 인용된 과학 논문 중 하나이며, 200,000회 이상 인용되었습니다. ICLR 2025 Test of Time Award를 수상했습니다.

  • Inverse Autoregressive Flow (NIPS 2016) — Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, Max Welling과 공동으로 „Improved Variational Inference with Inverse Autoregressive Flow". 유연한 normalizing flows를 구성하여 근사 사후 확률을 풍부하게 함으로써 VAE 프레임워크를 확장하여 잠재 변수 모델에 대한 변분 추론의 표현력과 성능을 실질적으로 개선했습니다.

  • Weight Normalization (NIPS 2016) — Tim Salimans와 공동으로 „Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks". 가중치 벡터를 크기와 방향으로 재매개변수화하여 수렴을 가속화하고 특정 설정에서 배치 정규화에 대한 더 간단한 대안을 제공했습니다.

  • Glow (NeurIPS 2018) — Prafulla Dhariwal과 공동으로 „Glow: Generative Flow with Invertible 1×1 Convolutions". normalizing flows를 사용하여 고충실도, 정확한 우도 이미지 생성을 시연했습니다. 이미지 합성에 대한 대중의 광범위한 노출보다 앞서 사실적인 AI 얼굴 생성의 최초로 널리 알려진 공개 데모를 제작했습니다.

  • Variational Diffusion Models (NeurIPS 2021) — Tim Salimans, Ben Poole, Jonathan Ho와 공동으로 „Variational Diffusion Models". VAE와 확산 모델을 통합하는 원칙적인 변분 프레임워크를 제공하고, 이미지 벤치마크에서 최첨단 우도를 달성했으며, 현대 텍스트-이미지 시스템의 기초가 되는 확산 과정의 신호 대 잡음비 공식에 이론적 명확성을 기여했습니다.

수상 및 인정

  • ICLR 2025 Test of Time Award — Adam 옵티마이저 논문 (Jimmy Ba와 공동).
  • ICLR 2024 Test of Time Award (첫 회) — VAE 논문 (Max Welling과 공동), 컨퍼런스에서 이 인정을 처음 도입한 해에 수여됨.
  • 네덜란드 데이터사이언스 상(2019) — 네덜란드 왕립 예술 과학 학회(Royal Holland Society of Sciences and Humanities), 머신러닝 연구에 대한 기여.
  • ELLIS 박사상(2019) — 유럽 학습 및 지능형 시스템 연구소(European Laboratory for Learning and Intelligent Systems), 박사 과정 동안의 뛰어난 연구 성과.
  • 암스테르담 대학교 박사 cum laude(2017) — 네덜란드 최고 박사 영예; 암스테르담 대학교 컴퓨터공학과에서 30년 만에 처음.
  • Google 유럽 박사 펠로우십 (딥러닝, 2015) — 구글이 유럽에서 수여한 첫 번째 해당 펠로우십.

주요 관계

  • Max Welling — 암스테르담 대학교 박사 지도교수이자 VAE 공동 저자; Kingma 경력에서 가장 중요한 지적 파트너십. Welling의 확률적 머신러닝 지향은 전체 VAE 프로그램과 베이지안 추론과의 연결을 형성했습니다.
  • Jimmy Ba — Adam 옵티마이저의 공동 저자; 논문의 영향은 두 저자의 작업이 전체 분야를 재편한 가장 극적인 예 중 하나입니다.
  • Tim Salimans — Kingma의 산업 현장에서 가장 가까운 오랜 협력자; OpenAI와 Google Brain 기간 모두에 걸쳐 Weight Normalization, Inverse Autoregressive Flow, Variational Diffusion Models를 공동 저술했습니다.
  • Prafulla Dhariwal — Google Brain 및 OpenAI 동료; Glow 공동 저자; 이후 DALL-E 및 OpenAI의 확산 모델 발전으로 알려짐.
  • Jonathan Ho — Variational Diffusion Models 공동 저자; 별도로 현대 확산 모델 패러다임을 정착시킨 논문인 DDPM(Denoising Diffusion Probabilistic Models)의 주 저자로 알려짐.
  • Yann LeCun — 2009년과 2012년 NYU 연구실에서의 초기 멘토; 박사 과정 전에 Kingma에게 연구 경험을 제공한 최초의 선임 연구원 중 한 명.
  • Ilya Sutskever — OpenAI 창립 팀 동료이자 Inverse Autoregressive Flow 논문의 공동 저자.
  • Dario Amodei — Anthropic CEO이자 전 OpenAI 연구 부사장; 그가 Kingma를 Anthropic에 영입한 것은 OpenAI 시절의 공유된 역사와 가치를 반영합니다.

개인적 스타일

Kingma의 연구 실천은 광범위한 경험적 적용보다는 수학적 깊이를 추구하는 소수의 기초 아이디어를 중심으로 조직됩니다. VAE를 위해 도입된 재매개변수화 트릭은 특징적입니다: 개념적으로 단순한 움직임이 잠재 변수 모델의 경사 하강법 훈련에 대한 오랜 장애물을 해결했고, 이후 광범위한 문제에 적용되는 것으로 밝혀졌습니다. Adam도 유사하게 구성되었습니다 — 직관적이고 동기 부여가 잘 된 알고리즘으로, 그 광범위한 적용 가능성이 즉시 명백하지는 않았지만 대부분의 이론적 결과와 비교할 수 없는 속도로 인용을 축적했습니다. 네 기관(OpenAI, Google Brain, Google DeepMind, Anthropic)에 걸친 그의 궤적은 기초 연구가 제품 출시를 위한 수단이 아니라 그 자체로 목적으로 취급되는 환경에 대한 선호를 반영합니다. 그는 공개적인 발언을 거의 하지 않았지만, 그가 한 발언 — Anthropic에 합류한 이유를 포함하여 — 은 기관의 가치와 책임 있는 AI 개발에 대한 그의 개인적 신념 사이의 일치를 강조합니다. 그는 계속해서 네덜란드에서 일하며, 미국 중심의 AI 산업에서 그의 인정 수준의 연구자들 사이에서는 드문 유럽 거점을 유지하고 있습니다.

참고 자료