Jascha Sohl-Dickstein

위키
, , , ,
1

미국의 머신러닝 연구자. 2015년 확산 기반 생성 모델(diffusion-based generative models)을 발명했습니다. 이 모델은 Stable Diffusion, DALL-E 2, Sora 등 사실상 모든 주요 생성형 AI 이미지 및 비디오 시스템의 수학적 토대가 되었습니다. 그의 경력은 화성 탐사 로버를 조종하는 것으로 시작되었으며, 신경망 이론, 메타 러닝, LLM 평가에 깊이 기여했습니다.

프로필
국적 미국
현 소속 Anthropic (Member of Technical Staff)
연구 분야 생성 모델, 확산 모델, 통계 물리학, 신경망 이론, 메타 러닝, 무한 폭 네트워크, LLM 평가
박사 지도교수 Bruno Olshausen
박사 학위 논문 UC 버클리, 레드우드 센터 이론 신경과학 박사 (2012)
웹사이트 sohldickstein.com
블로그 sohl-dickstein.github.io
X / 트위터 @jaschasd
깃허브 Sohl-Dickstein
구글 스콜라 Jascha Sohl-Dickstein

개요

Jascha Sohl-Dickstein은 미국의 머신러닝 연구자로, 현재 Anthropic에서 Member of Technical Staff로 재직 중이며, 확산 기반 생성 모델의 발명자로 가장 널리 알려져 있습니다. 그가 첫 저자로 참여한 2015년 ICML 논문(„Deep Unsupervised Learning using Nonequilibrium Thermodynamics„)은 평형 통계 물리학에서 차용한 반복적인 순방향 노이즈 추가 및 학습된 역방향 노이즈 제거의 수학적 프레임워크를 도입했습니다. 이는 DDPM, Score Matching, Latent Diffusion Models, Stable Diffusion, DALL-E 2, Imagen, Sora 등 현대 확산 모델 계열 전체의 기초가 됩니다. 이 논문은 5년 동안 크게 주목받지 못하다가 Jonathan Ho 등이 DDPM 논문(2020)을 통해 그 실용적 잠재력을 대규모로 입증한 후에야, 현장은 Sohl-Dickstein의 2015년 정립을 근본적인 기여로 인정했습니다. 확산 모델 외에도 과잉 매개변수화 및 무한 폭 신경망 이론(Neural Tangents 라이브러리 공동 창작 포함), 학습된 최적화기의 메타 러닝, 대규모 언어 모델 평가를 위한 BIG-Bench 벤치마크에 중요한 기여를 했습니다. 그의 배경은 머신러닝 연구자로서는 이례적으로 넓습니다. 물리학과 이론 신경과학을 공부했으며, JPL의 화성 탐사 로버 임무에 참여(화성 시간으로 잠시 생활), Khan Academy의 학술 레지던트, Surya Ganguli의 스탠포드 연구실 방문 학자, 그리고 Google Brain 및 Google DeepMind에서 10년간 Principal Scientist로 재직했습니다.

초기 생애 및 교육

화성 탐사 로버 — JPL (박사 전)

학술 머신러닝에 입문하기 전, Sohl-Dickstein은 NASA 제트 추진 연구소(JPL)에서 화성 탐사 로버 임무(Mars Exploration Rover mission)에 참여했습니다. 이는 스피릿(Spirit)과 오퍼튜니티(Opportunity)를 2004년 1월 화성에 착륙시킨 쌍둥이 로버 프로젝트입니다. 그의 역할은 „화성 시간„으로 작업하는 것을 필요로 했습니다. 화성의 하루는 약 24시간 37분이기 때문에, 임무 통제관들은 화성의 일출과 일몰에 맞춰 수면 및 각성 주기를 동기화해야 했으며, 매일 지구 시간을 37분씩 변경해야 했습니다. 그는 이것을 자신의 경력 중 가장 특이한 직업적 요구사항이라고 묘사했으며, 이는 3개월간 지속되었습니다.

박사 — UC 버클리, 레드우드 센터 이론 신경과학 (–2012)

Sohl-Dickstein은 UC 버클리의 레드우드 센터 이론 신경과학(Redwood Center for Theoretical Neuroscience)에서 Bruno Olshausen의 지도 아래 박사 과정을 마쳤습니다. 이 센터는 생물학적 신경 시스템의 계산 및 수학적 모델을 전문으로 합니다. 그의 논문은 물리학, 신경과학, 머신러닝의 교차점을 활용하여 통계 물리학에 기원을 둔 데이터 분포에 대한 확률적 모델을 개발했습니다. 초기 주요 결과는 „Minimum Probability Flow Learning„(ICML 2011, Peter Battaglino 및 Michael DeWeese와 공동)으로, 계산하기 어려운 정규화 상수나 평형 분포 샘플링을 피하기 위해 비평형 흐름 역학을 활용하는 새로운 매개변수 추정 방법을 제안했습니다. 이는 이후 확산 모델 프레임워크를 정의하게 될 열역학적 직관을 예고하는 것이었습니다.

박사 후: 스탠포드 및 칸 아카데미

버클리 이후, Sohl-Dickstein은 Surya Ganguli의 스탠포드 이론 신경과학 연구실에서 방문 학자로 재직하며 확산 모델 논문을 탄생시킨 통계 물리학과 머신러닝의 교차점을 연구했습니다. 또한 교육 비영리 단체인 Khan Academy에서 학술 레지던트로 시간을 보내며 머신러닝이 교육 기술에 어떻게 적용될 수 있는지에 대한 관심을 반영했습니다.

경력

Google Brain — Principal Scientist (약 2015–2023)

Sohl-Dickstein은 2015년 확산 모델 논문 제출 직후 Google Brain에 합류하여 Principal Scientist가 되었으며, 2023년 Brain-DeepMind 합병까지 약 8년간 재직했습니다. Google Brain에서의 연구는 여러 병행 방향에 걸쳐 있었습니다.

확산 모델 (2015, 인정 2020–). Eric Weiss, Niru Maheswaranathan, Surya Ganguli와 공동 저술한 ICML 2015 논문 „Deep Unsupervised Learning using Nonequilibrium Thermodynamics„은 확산 확률 모델 프레임워크를 도입했습니다. 비평형 열역학에서 얻은 핵심 통찰은 우아합니다. 순방향 마르코프 체인은 가우시안 노이즈를 단계별로 추가하여 데이터 분포의 구조를 점진적으로 파괴하고, 심층 신경망으로 매개변수화된 역방향 마르코프 체인은 이 과정을 되돌리도록 훈련되어 노이즈로부터 구조를 복원합니다. 역방향 과정의 각 단계는 작고 잘 동작하는 잡음 제거 연산이기 때문에, 학습된 분포의 높은 유연성에도 불구하고 모델을 훈련하고 샘플링하는 것이 가능합니다. 이 논문은 MNIST, CIFAR-10 및 기타 데이터세트에서 기술을 시연했지만, 5년 동안 인용 및 커뮤니티의 관심은 제한적이었습니다. 2020년, Jonathan Ho, Ajay Jain, Pieter Abbeel은 NeurIPS에 „Denoising Diffusion Probabilistic Models„(DDPM)을 발표하여 고품질 이미지 합성으로 접근 방식을 확장하고 Sohl-Dickstein의 2015년 정립을 근본적인 선행 연구로 명시적으로 인정했습니다. 이후 이 분야의 폭발적인 성장(Stable Diffusion, DALL-E 2, Imagen, Score-Based Models, Latent Diffusion Models, Sora)은 2015년 논문에 직접적으로 기인합니다. 2025년까지 20,000회 이상 인용되어 역사상 가장 중요한 생성 모델링 논문 중 하나가 되었습니다.

신경망 이론 — 과잉 매개변수화 및 무한 폭 네트워크. 주로 Samuel Schoenholz와 함께 작업하여 Sohl-Dickstein은 심층 신경망의 이론적 속성에 대한 일련의 논문을 개발했습니다. 여기에는 매우 깊은 네트워크를 훈련할 수 있는지 여부를 결정하는 신호 전파 및 기울기 흐름 속성을 특성화한 „Deep Information Propagation„(ICLR 2017)과 무한히 넓은 신경망과 가우시안 과정 간의 대응 관계(NNGP 대응 관계)를 확립한 일련의 논문이 포함됩니다. 이 연구는 무한 폭에서 신경망 함수 공간의 형식적 분석에 기여했으며, 이후 Neural Tangent Kernel(NTK) 프레임워크에서 종합되었습니다.

Neural Tangents (2020). Sohl-Dickstein은 Neural Tangents를 공동 창작했습니다. 이는 유한 네트워크에 대해 신경망 가우시안 과정(NNGP) 커널과 신경 탄젠트 커널(NTK)을 정확하게 계산하고, 임의 깊이 및 아키텍처의 무한 폭 네트워크에 대해 분석적으로 계산할 수 있게 하는 오픈소스 JAX 라이브러리입니다. 이 라이브러리는 커널 및 베이지안 관점에서 과잉 매개변수화된 신경망을 연구하기 위한 표준 도구가 되었으며, 신경망 학습 역학에 대한 경험적 연구에 널리 사용되었습니다.

BIG-Bench: Beyond the Imitation Game (2022). Sohl-Dickstein은 BIG-Bench에 주요 기여자로 참여했습니다. 이는 130개 이상의 기관에서 444명의 저자가 참여한 언어 모델 능력과 한계를 평가하기 위한 협업 벤치마크입니다. BIG-Bench는 표준 벤치마크로는 평가할 수 없는 추론, 세계 지식, 언어 이해의 측면을 탐구하도록 설계된 204개의 작업을 모았으며, GPT-3, GPT-4의 전신, PaLM 등을 포함한 모델을 테스트했습니다. 결과 논문은 출판 당시 최첨단 LLM 능력에 대한 가장 포괄적인 공개 특성화 중 하나를 제공했으며, 이후의 스케일링 법칙 및 능력 분석 작업에 널리 사용되었습니다.

학습된 최적화기 (2022). Sohl-Dickstein은 „Learned Optimizers that Outperform Adam on Wall-Clock and Test Loss„(2022)를 공동 저술하여, 메타 훈련된 신경망 기반 최적화기가 다양한 작업에서 수렴 속도와 최종 모델 품질 모두에서 Adam을 능가할 수 있음을 입증했습니다. 이 연구는 최적화 알고리즘의 메타 러닝에 대한 이전 결과를 확장하고, 이전에 학습된 최적화기가 대규모로 배포되는 것을 막았던 실제적인 장애물을 해결했습니다.

선형 모드 연결성. Jonathan Frankle, Gintare Karolina Dziugaite, Daniel Roy, Michael Carbin과 함께 Sohl-Dickstein은 „Linear Mode Connectivity and the Lottery Ticket Hypothesis„(ICML 2020)를 공동 저술하여 신경망 손실 풍경의 기하학적 구조를 특성화하고 확률적 경사 하강법으로 찾은 해가 짧은 초기 훈련 기간 후에 가중치 공간에서 선형적으로 연결되어 있음을 보여주었습니다. 이는 로또 티켓 가설 및 모델 안정성에 영향을 미칩니다.

Google DeepMind (2023)

2023년 Google Brain과 DeepMind의 합병 후, Sohl-Dickstein은 합병된 기관에서 Principal Scientist 직함을 잠시 유지하다가 Anthropic으로 옮겼습니다.

Anthropic — Member of Technical Staff (약 2024–현재)

Sohl-Dickstein은 기술 직원으로 Anthropic에 합류했습니다. 2024년 1월에 업데이트된 그의 개인 웹사이트는 이 소속을 확인합니다. Anthropic이 AI 안전성, 해석 가능성 및 최첨단 모델 개발에 중점을 두고 있다는 점을 고려할 때, 그의 합류는 확산 모델의 발명가이자 10년 동안의 대규모 신경망 이론 전문가를 안전성에 초점을 맞춘 연구 환경에 가져왔습니다.

주요 기여

  • 확산 확률 모델 (ICML 2015) — Eric Weiss, Niru Maheswaranathan, Surya Ganguli과 공동 저술한 „Deep Unsupervised Learning using Nonequilibrium Thermodynamics„. 비평형 열역학을 활용하여 순방향 노이즈 추가 및 학습된 역방향 노이즈 제거를 생성 모델링 패러다임으로 도입했습니다. 현재 Stable Diffusion, DALL-E 2, Imagen, Sora를 구동하는 전체 확산 모델 계열의 기초 논문입니다. 20,000회 이상 인용되었습니다. Sohl-Dickstein 자신의 말로는 그의 „가장 큰 명성„으로 널리 묘사됩니다.

  • Minimum Probability Flow Learning (ICML 2011) — 비평형 역학을 활용하여 분할 함수 계산을 피하는 확률 모델에 대한 매개변수 추정 방법을 개발했습니다. 이는 Sohl-Dickstein의 통계 물리학 개념을 머신러닝에 도입하는 독특한 접근 방식의 첫 번째 시연으로, 이후 확산 모델 기여를 정의했습니다.

  • Neural Tangents 라이브러리 (2020) — JAX에서 무한 폭 및 유한 폭 신경망에 대한 NNGP 및 NTK 커널을 계산하기 위한 표준 오픈소스 라이브러리를 공동 창작했습니다. 무한 폭 신경망 연구의 참조 도구가 되었습니다.

  • Deep Information Propagation (ICLR 2017) — Samuel Schoenholz와 공동. 심층 네트워크에서 신호 전파의 평균장 이론을 특성화하여 깊이, 초기화 및 아키텍처의 함수로 훈련 가능성을 분석하기 위한 최초의 원칙적 프레임워크를 제공했습니다. 이는 매우 깊은 네트워크에서의 기울기 폭발 및 소멸에 대한 후속 이해에 직접적인 영향을 미쳤습니다.

  • BIG-Bench: Beyond the Imitation Game (2022) — 444명의 저자가 참여한 협업 벤치마크에 주요 기여자로 참여하여 204개의 다양한 추론 및 지식 작업에 걸쳐 당시 사용 가능한 최첨단 언어 모델 능력에 대한 가장 포괄적인 평가를 제공했습니다.

  • 학습된 최적화기 (2022) — 메타 훈련된 신경망 최적화기가 대규모로 Adam을 능가할 수 있음을 입증하여 학습된 최적화의 실용적 실행 가능성을 발전시킨 공동 저술 연구.

수상 및 인정

  • ICML 2015 최우수 논문 후보 — 확산 모델 논문은 ICML 2015에서 발표되었습니다. 2025년 기준 20,000회 이상의 인용으로 10년 동안 가장 중요한 ML 논문 중 하나로 사후 인정받았습니다.
  • NeurIPS 2022 우수 논문 (BIG-Bench) — BIG-Bench 논문은 우수 논문 인정을 받았습니다.
  • Semantic Scholar 식별 — 생성 모델링 분야에서 가장 많이 인용된 연구자 중 일관되게 식별됩니다.

주요 관계

  • Bruno Olshausen — UC 버클리 레드우드 센터 이론 신경과학 박사 지도교수. 희소 코딩 및 계산 신경과학의 선구자로, Sohl-Dickstein의 물리학 기반 머신러닝 접근 방식을 형성했습니다.
  • Surya Ganguli — 스탠포드 이론 신경과학 교수이자 협력자. 2015년 확산 모델 논문의 공동 저자. Sohl-Dickstein은 그의 연구실에서 방문 학자로 재직했으며, 둘은 통계 물리학과 머신러닝 이론을 연결하는 데 헌신하고 있습니다.
  • Eric Weiss 및 Niru Maheswaranathan — 2015년 확산 논문의 공동 저자. 둘 다 Ganguli 연구실 또는 Redwood Center 네트워크의 일원이었습니다.
  • Jonathan Ho — DDPM(2020)의 주 저자로, Sohl-Dickstein의 2015년 논문에 직접적으로 기반하여 확산 모델을 실용적인 대규모 유틸리티로 가져왔습니다. Ho의 논문은 Sohl-Dickstein의 근본적 기여와 현대 확산 모델 생태계를 연결하는 고리입니다.
  • Samuel Schoenholz — Google Brain 동료이자 신경망 이론에 대한 가장 가까운 협력자. 심층 정보 전파 및 과잉 매개변수화 이론 연구는 지속적인 협력이었습니다.
  • Jonathan Frankle, Gintare Karolina Dziugaite, Daniel Roy, Michael Carbin — 선형 모드 연결성 논문의 공동 저자. Google Brain과 MIT, UToronto, 학계의 로또 티켓 가설 연구를 연결한 기관 간 협력.

개인 스타일

Sohl-Dickstein의 지적 프로필은 진정으로 이례적입니다. 그의 가장 유명한 연구는 19세기 열역학(Jarzynski 등식 및 비평형 통계 역학)을 활용하여 21세기 머신러닝 문제를 해결했으며, 이론 신경과학 박사 과정을 밟기 전에 문자 그대로 화성 시간으로 몇 달을 살았습니다. 그의 개인 웹사이트는 자신의 관심사를 „머신러닝, 신경과학, 통계 물리학, 동적 시스템„이라고 설명하며, 많은 유사한 목록과 달리 이 목록은 정확합니다. 그가 „너무 이상하거나, 불완전하거나, 주제에서 벗어나 학술 논문으로 만들 수 없는 아이디어„를 위한 공간이라고 설명하는 자신의 블로그는 완성된 결과를 기다리기보다 반쯤 형성되었지만 잠재적으로 중요한 아이디어를 공유하는 것을 선호함을 반영합니다. 확산 모델 유산에 대한 그의 관계는 특징적으로 냉소적입니다. 그의 웹사이트는 자신이 „확산 모델을 발명한 것으로 가장 (악)명이 높다„고 말하며, 블로그 소개 페이지는 이를 자신의 „가장 큰 명성„이라고 부르면서 블로그 자체는 머신러닝이나 기이한 시간을 지키는 것과 관련이 없는 것들에 관한 것임을 의도한다고 언급합니다.

참고 문헌