Ruslan Salakhutdinov

위키
, , , ,
1

타타르계 캐나다인 연구자이며 카네기 멜론 대학교 UPMC 교수로, 심층 신뢰 신경망(Deep Belief Networks), 심층 볼츠만 머신(Deep Boltzmann Machines), 드롭아웃(Dropout), 베이지안 프로그램 학습(Bayesian Program Learning)에 대한 기초적인 공헌으로 알려져 있습니다. 현재 메타(Meta)에서 생성형 AI 연구 담당 부사장으로 재직 중입니다.

프로필
출생 1980년경, 우즈베키스탄(당시 소련) 타슈켄트
국적 캐나다
현 소속 기관 메타(연구 부사장, 생성형 AI); 카네기 멜론 대학교(UPMC 교수, 머신러닝 학과)
연구 분야 딥러닝, 확률적 그래피컬 모델, 대규모 최적화, 멀티모달 LLM, AI 에이전트
박사 지도교수 제프리 힌튼(Geoffrey Hinton)
박사 학위 논문 학습 심층 생성 모델(Learning Deep Generative Models) (토론토 대학교, 2009)
CMU 웹사이트 cs.cmu.edu/~rsalakhu
Google 학술검색 루슬란 살라쿠트디노프(Ruslan Salakhutdinov) — 인용 264,000회 이상
X / 트위터 @rsalakhu

개요

루슬란 “러스” 살라쿠트디노프는 2000년대 중반 시작된 딥러닝 르네상스의 중심 인물 중 한 명입니다. 토론토 대학교에서 제프리 힌튼 밑에서 수학하며 머신러닝의 지배적인 패러다임으로 신경망을 재정립하는 데 도움을 준 심층 신뢰 신경망과 심층 볼츠만 머신에 관한 논문을 공동 집필했습니다. 이후 딥러닝 역사상 가장 널리 사용되는 정규화 기법이라고 할 수 있는 드롭아웃(Dropout)을 공동 발명했으며, 인간의 원샷 개념 습득에 대한 영향력 있는 모델인 베이지안 프로그램 학습(Bayesian Program Learning)에도 기여했습니다. 그의 경력은 학계와 산업계를 특별한 방식으로 연결해 왔습니다. 2016년부터 현재까지 카네기 멜론 대학교의 정교수직을 유지하면서 동시에 애플(Apple)의 첫 AI 연구 책임자(Director of AI Research)를 역임했고, 2024년부터는 메타(Meta)에서 생성형 AI 연구 담당 부사장을 맡고 있습니다. 그의 논문은 누적 인용 횟수 264,000회를 넘어서며 해당 분야 역사상 가장 많이 인용된 연구자 중 한 명이 되었습니다.

초기 생애 및 교육

살라쿠트디노프는 1980년경 (당시 소련의 우즈베키스탄이었던) 타슈켄트에서 타타르계 가정에서 태어났습니다. 그는 캐나다로 이민하여 토론토 대학교에서 대학원 과정 전체를 마쳤습니다. 2004년 제프리 힌튼을 만나기 전에는 인공지능 분야를 떠날까 고민했지만, 힌튼이 자신이 "심층 신뢰 신경망"이라고 명명한 인공 신경망 훈련의 새로운 방식에 초점을 맞춘 프로젝트에 참여하도록 초대하면서 마음을 바꾸었습니다. 이 만남은 결정적이었습니다. 살라쿠트디노프는 박사 과정 동안 힌튼의 가장 가까운 협력자 중 한 명이 되어 현대 딥러닝 시대를 연 논문들을 공동 집필했습니다.

그는 2009년 토론토 대학교에서 머신러닝(컴퓨터 과학) 박사 학위를 받았습니다. 그의 논문인 *학습 심층 생성 모델(Learning Deep Generative Models)*은 계층적 확률 모델의 비지도 학습을 다루었습니다. 박사 학위 취득 후 2009년부터 2011년까지 2년간 MIT 뇌인지과학부 및 컴퓨터과학·인공지능 연구소(CSAIL)에서 박사후 연구원으로 지냈습니다.

경력

토론토 대학교 (2011–2016)

살라쿠트디노프는 2011년 토론토 대학교의 컴퓨터과학과 및 통계학과 조교수로 임용되었습니다. 이 기간 동안 여러 주요 신진 연구자 상을 수상하고, 드롭아웃을 공동 발명했으며, MIT의 협력자들과 함께 원샷 학습(One-Shot Learning)에 관한 영향력 있는 연구를 진행했습니다. 그는 캐나다 고등연구원(CIFAR)의 펠로우가 되었고, NSERC, 슬론 재단, 구글, 마이크로소프트, 삼성 등으로부터 연구 자금을 지원받았습니다.

카네기 멜론 대학교 (2016–현재)

살라쿠트디노프는 2016년 카네기 멜론 대학교의 머신러닝 학과에 부교수로 합류했습니다. 이후 UPMC의 지원을 받아 AI, 머신러닝 및 헬스케어 데이터 분석 연구를 발전시키기 위해 설립된 석좌 교수직인 UPMC 컴퓨터 과학 교수로 임용되었습니다. CMU에서 그의 연구는 자연어 처리 및 멀티모달 학습으로 확장되었고, 그의 연구 그룹은 독해, 그래프 신경망, 언어 기반 에이전트, 멀티모달 기초 모델 등에 관한 영향력 있는 연구 결과를 내놓았습니다. 그는 NLP, 비전, 강화 학습 전반에 걸쳐 광범위한 영향을 미친 수많은 박사 과정 학생들을 지도했습니다. 여기에는 XLNet의 공동 제1저자인 Zhilin Yang도 포함됩니다.

애플 — AI 연구 책임자 (2016–2020)

2015년, 살라쿠트디노프는 AI 기술에 주력하는 회사인 Perceptual Machines를 공동 창업했으며, 이 회사는 이후 애플에 인수되었습니다. 살라쿠트디노프는 2016년 애플의 AI 연구 책임자(Director of AI Research)로 합류했습니다. 애플 역사상 처음으로 해당 직함을 가진 사람이었으며, 주요 AI 및 머신러닝 연구 이니셔티브를 주도했습니다. 그는 2020년 초 CMU에서의 역할에 집중하기 위해 애플을 떠났습니다.

메타 — 연구 부사장, 생성형 AI (2024–현재)

2024년 6월, 살라쿠트디노프는 메타에 생성형 AI 연구 담당 부사장(Vice President of Research in Generative AI)으로 합류하여 멀티모달 대규모 언어 모델(LLM)과 AI 에이전트 연구에 주력하고 있습니다. 그는 CMU의 UPMC 교수직을 유지하고 있습니다.

주요 기여

  • 심층 신뢰 신경망(DBN, Deep Belief Networks) (2006) — 제프리 힌튼과 공동으로 심층 생성 모델의 효율적인 탐욕적(greedy) 층별 사전 훈련을 입증한 획기적인 논문을 발표했습니다. 사이언스(Science) 저널과 NIPS 논문으로 발표된 이 연구는 심층 신경망이 처음으로 규모 있게 효과적으로 훈련될 수 있음을 보여주며 현대 딥러닝 르네상스의 출발점 중 하나로 널리 평가받고 있습니다.

  • 심층 볼츠만 머신(DBM, Deep Boltzmann Machines) — AISTATS 2009에서 힌튼과 함께 소개된 DBM은 비방향성 그래피컬 모델 프레임워크를 여러 층으로 확장하여 근사 추론 절차를 갖춘 완전한 확률론적 심층 아키텍처를 제공했습니다. 이후 AISTATS 2010에서 발표된 효율적인 DBM 학습에 관한 후속 연구는 멀티모달 데이터에 적용할 수 있는 실용적인 훈련 알고리즘을 제시했습니다.

  • 협업 필터링을 위한 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine) — 넷플릭스 프라이즈 추천 문제에 RBM을 적용하여 경쟁력 있는 결과를 달성하고, 확률적 잠재 변수 모델이 산업용 추천 작업으로 확장될 수 있음을 입증했습니다.

  • 드롭아웃(Dropout) (JMLR 2014) — Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever와 공동 저술. 이 논문은 훈련 중 신경망 유닛을 무작위로 제외하는 방법을 간단하면서도 매우 효과적인 정규화 기법으로 제안했습니다. 머신러닝 역사상 가장 많이 인용된 논문 중 하나가 되었으며 신경망 훈련의 표준 구성 요소로 남아 있습니다.

  • 베이지안 프로그램 학습 / 원샷 개념 학습(Bayesian Program Learning / One-Shot Concept Learning) (사이언스, 2015) — Brenden Lake, Josh Tenenbaum과 공동 저술. 이 논문은 단일 예제만으로 새로운 문자를 인식하는 데 있어 인간의 성능과 일치하거나 능가할 수 있는 인간 필기체 학습의 확률적 모델을 제안했습니다. 이는 원샷 학습을 주요 연구 의제로 확립하고 인지 과학과 딥러닝을 연결했습니다.

  • XLNet (NeurIPS 2019) — Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Quoc V. Le와 공동 저술. XLNet은 자기회귀 언어 모델링과 BERT 스타일의 양방향 맥락의 장점을 결합한 일반화된 자기회귀 사전 훈련 방법을 제안했습니다. 공개 당시 SQuAD, GLUE, RACE 등 20개 작업에서 BERT를 능가하고 18개 작업에서 최고 성능을 달성했습니다.

  • 멀티모달 대규모 언어 모델 (2023–현재) — CMU와 메타에서 살라쿠트디노프의 연구 그룹은 공동 멀티모달 입력 및 출력을 위해 언어 모델을 이미지에 기반하도록 하는 초기 연구(FROMAGe, GILL)와 레이블이 지정된 멀티모달 데이터 없이 멀티모달 학습을 수행하는 연구를 진행하여 현대 멀티모달 LLM 연구의 기초를 다졌습니다.

수상 및 인정

  • 앨프리드 P. 슬론 연구 펠로우십(Alfred P. Sloan Research Fellowship) (2013–2015) — 연구에서 뛰어난 신진 연구자에게 수여.
  • 마이크로소프트 리서치 교수 펠로우십(Microsoft Research Faculty Fellowship) (2013–2015) — 컴퓨터 과학 분야의 뛰어난 신진 교수진을 인정.
  • 조기 연구자 상(Early Researcher Award) (2012–2017) — 온타리오주 연구혁신부에서 뛰어난 신진 연구자에게 수여.
  • 코노트 신진 연구자 상(Connaught New Researcher Award) (2012–2014) — 토론토 대학교에서 연구 성과를 인정하여 수여.
  • Google 교수 연구 상(Google Faculty Research Award) (2014–2015) — 연구 우수성을 인정한 보조금.
  • UPMC 교수직, 카네기 멜론 대학교 — AI, 머신러닝, 헬스 데이터 분석 분야 석좌 교수직.
  • NVIDIA AI 선구자 상(Nvidia Pioneers of AI Award) — 해당 분야에 대한 기초적 기여를 인정.
  • CIFAR 시니어 펠로우(Senior Fellow, CIFAR) — 캐나다 고등연구원의 기계 및 뇌 학습(Learning in Machines and Brains) 프로그램의 시니어 펠로우십.
  • Google 학술검색 인용 — 총 264,000회 이상 인용, 세계에서 가장 많이 인용된 AI 연구자 중 한 명.

주요 관계

  • 제프리 힌튼(Geoffrey Hinton) — 토론토 대학교 박사 지도교수이자 빈번한 공동 저자; 튜링상 수상자(2018)이자 살라쿠트디노프가 발전을 도운 딥러닝 프로그램의 수석 설계자. 2004년 힌튼과의 우연한 만남은 살라쿠트디노프 경력의 결정적인 전환점이었습니다.
  • 조슈아 테넌바움(Josh Tenenbaum) — 베이지안 프로그램 학습 및 원샷 개념 학습에 관한 MIT 협력자; 인지 과학과 머신러닝을 연결한 그들의 연구는 사이언스 2015년 논문인 인간 수준의 개념 학습에 관한 논문을 탄생시켰습니다.
  • 일리야 수츠케버(Ilya Sutskever) — 토론토 대학교 동료이자 드롭아웃 공동 저자; 이후 OpenAI 및 Safe Superintelligence Inc.의 공동 창업자.
  • 니티쉬 스리바스타바(Nitish Srivastava) — 박사 과정 학생이자 드롭아웃의 주요 공동 발명가; 그의 JMLR 2014 논문은 머신러닝 역사상 가장 많이 읽힌 논문 중 하나가 되었습니다.
  • 양즈린(짐린 양, Zhilin Yang) — CMU 박사 과정 학생이자 XLNet의 제1저자; 살라쿠트디노프의 가장 영향력 있는 박사 제자 중 한 명.
  • 알렉스 크리제프스키(Alex Krizhevsky) — 드롭아웃 공동 저자; 또한 힌튼의 박사 과정 학생이자 AlexNet의 창시자로, 그의 기여는 동일한 딥러닝 혁신 시대를 형성했습니다.
  • 에릭 싱(Eric Xing) — CMU 머신러닝 학과 동료; 확률 모델 및 NLP에 대한 장기 협력자.

개인 스타일

살라쿠트디노프는 이론적 기초부터 엔지니어링 구현에 이르기까지 전체 스펙트럼에 걸쳐 지속적으로 활동해 왔으며, 이러한 폭은 고위 연구자들 사이에서도 이례적입니다. 그의 초기 경력 기여 — DBN, DBM, 드롭아웃 — 는 점진적인 개선이 아니라 비지도 사전 훈련, 정규화 및 생성 모델에 대한 분야의 사고 방식을 재구성한 패러다임 수준의 개입이었습니다. 인터뷰에서 그는 학문적 자유와 산업적 규모의 상호 보완성을 강조했습니다. 그는 학계가 장기적인 문제를 연구할 수 있는 더 큰 자유를 제공하는 반면, 산업 연구는 핵심 AI 기술이 개발될 때 수백만 사용자에게 영향을 미칠 수 있다는 점에서 흥미롭다고 언급했습니다. 그의 CMU 강의 자료와 공개 튜토리얼 강연 — 버클리 시몬스 연구소(Simons Institute at Berkeley)에서 진행한 4부작 딥러닝 튜토리얼 포함 — 은 전 세계 대학원 교육에서 널리 사용되었습니다.

참고자료