Hugo Larochelle

위키
, , , ,
1

캐나다의 딥러닝 연구자이자 밀라(Mila) – 퀘벡 AI 연구소의 과학 책임자로, 신경망 자기회귀 모델, 잡음 제거 오토인코더, 제로샷 학습에 기초적인 공헌을 한 인물로 알려져 있다.

프로필
출생 1981년, 캐나다
국적 캐나다
현 소속 기관 밀라(Mila) – 퀘벡 AI 연구소; 몬트리올 대학교(겸임); 맥길 대학교(겸임)
연구 분야 딥러닝, 생성 모델, 표현 학습, 제로샷 학습
박사 지도교수 요슈아 벤지오(Yoshua Bengio)
박사 학위 논문 Études de techniques d’apprentissage non-supervisé pour l’amélioration de l’entraînement supervisé de modèles connexionnistes (2009)
개인 웹사이트 cs.toronto.edu/~larocheh
X / Twitter @hugo_larochelle
GitHub larocheh

개요

위고 라로셸(Hugo Larochelle)은 캐나다의 컴퓨터 과학자로, 박사 과정 및 박사후 연구 과정에서 몬트리올 딥러닝 생태계가 형성되던 시기에 그 중심에 있었다. 그의 연구는 잡음 제거 오토인코더, 신경망 자기회귀 분포 모델, 그리고 제로샷 학습의 초기 형식화 등 현재 AI 시스템에 내장된 여러 기법을 탄생시켰다. 학계, 스타트업 인수, 그리고 구글 몬트리올 AI 연구소의 리더십을 거친 10년 후, 그는 2025년 9월에 퀘벡 AI 연구소인 밀라(Mila)의 과학 책임자로 임명되어 로랑 샤를랭(Laurent Charlin)의 뒤를 이었다. 이는 사실상 자신의 박사 지도교수였던 요슈아 벤지오와 오랫동안 연관되어 온 기관의 자리를 물려받은 셈이다. 그는 몬트리올 대학교와 맥길 대학교에서 겸임 교수직을 맡고 있으며, 캐나다 CIFAR AI 석좌 교수이다.

생애 초기 및 교육

위고 라로셸은 1981년 캐나다에서 태어나 몬트리올 대학교에서 모든 대학 교육을 마쳤다. 2004년 수학 및 컴퓨터 과학 학사 학위를 취득한 후, 같은 학교에서 박사 과정을 밟았다.

2009년 요슈아 벤지오의 지도 아래 컴퓨터 과학 박사 학위를 마쳤다. 논문 제목은 Études de techniques d’apprentissage non-supervisé pour l’amélioration de l’entraînement supervisé de modèles connexionnistes (연결주의 모델의 지도 훈련 개선을 위한 비지도 학습 기법 연구)로, 이 분야가 주류의 인정을 받지 못하던 시기에 심층 신경망을 위한 사전 훈련 전략을 탐구했다. 라로셸이 회고한 바와 같이, 인공 신경망을 다룬 초기 연구는 상당한 회의에 부딪혔다. 그가 작업한 첫 논문은 인공 신경망을 포함하고 있다는 이유로 무관심을 받았는데, 당시 이 개념은 아직 큰 주목을 받지 못했기 때문이다.

2009년부터 2011년까지 그는 토론토 대학교에서 제프리 힌튼(Geoffrey Hinton)의 지도 아래 박사후 연구를 마쳤다. 힌튼은 현재 흔히 „AI의 대부"라고 불리는 두 인물 중 한 명으로, 그의 초기 경력을 형성한 인물이다.

경력

셰르브루크 대학교 (2011–2016)

라로셸은 2011년 셰르브루크 대학교 컴퓨터 과학과에 조교수로 합류했다. 이 기간 동안 그는 생성 모델과 표현 학습에 관한 많은 논문을 계속 발표했으며, 이후 널리 회자되는 온라인 강의 시리즈의 기반이 될 강의를 진행했다. 또한 이 시기에 그는 이후 스타트업으로 이어질 응용 연구를 시작했다.

Whetlab / Twitter (2014–2016)

셰르브루크에 있는 동안, 라로셸은 재스퍼 스누크(Jasper Snoek), 케빈 스워스키(Kevin Swersky), 라이언 P. 아담스(Ryan P. Adams), 알렉스 윌츠코(Alex Wiltschko)와 함께 Whetlab을 공동 창업했다. 이 회사는 머신러닝 하이퍼파라미터 튜닝을 자동화하기 위한 실용적인 베이지안 최적화 기법에 주력했다. Whetlab은 2015년 6월 트위터에 인수되었다. 인수 후, 라로셸은 트위터로 옮겨 트위터 코텍스 그룹(Twitter Cortex group)에서 연구 과학자로 일했다.

Google Brain Montreal (2016–2023)

2016년 말, 라로셸은 트위터를 떠나 몬트리올에 새로운 구글 브레인 연구 그룹을 설립하고 이끌었다. 이는 캐나다에 설립된 구글의 첫 번째 전담 AI 연구소였다. 그는 구글의 몬트리올 AI 연구소를 이끌도록 영입되었으며, 이 연구소는 현재 Google DeepMind에 통합되었다. 그의 지휘 아래, 이 연구소는 강화 학습 및 생성 모델링부터 환경 과학 및 코드 생성 분야 응용에 이르기까지 연구를 수행하며 구글에서 가장 생산적인 연구 거점 중 하나로 성장했다.

Google DeepMind Montreal (2023–2025)

2023년 4월, Google Brain은 DeepMind와 합병하여 Google DeepMind가 되었다. 라로셸은 2025년 4월까지 통합된 Google DeepMind 조직 내 몬트리올에서 수석 과학자(Principal Scientist)로 일했다.

Mila – 퀘벡 AI 연구소 (2025–현재)

2025년 9월, Mila는 위고 라로셸을 과학 책임자로 임명한다고 발표했다. 그는 9월 2일 공식적으로 직무를 시작하여, 요슈아 벤지오가 Mila의 설립자이자 과학 고문 역할로 전환한 이후 그 직무를 대행해 온 로랑 샤를랭의 뒤를 이었다. 이 자격으로 그는 1,500명 이상의 연구자와 150개의 산업 파트너로 구성된 커뮤니티를 보유한 연구소를 이끌고 있다. 그가 표명한 비전은 머신러닝을 생태학, 건강, 환경 과학과 같은 분야와 연결하는 „AI와 x"라고 부르는 학제간 연구를 강조한다.

주요 기여

  • 잡음 제거 오토인코더(DAE) — 2008년 ICML 기념비적 논문과 2010년 JMLR 확장판을 파스칼 뱅상(Pascal Vincent), 요슈아 벤지오 등과 공동 저술했다. 이 연구는 대량의 레이블이 없는 데이터로부터 의미 있는 표현을 학습하기 위한 확장 가능한 패러다임으로서 손상된 입력 재구성을 확립했으며, 자기 지도 학습(self-supervised learning) 분야의 초석이 되는 참고 자료로 남아 있다.

  • 새로운 작업의 제로데이터 학습 — 2008년 AAAI 논문으로, 뒤미트루 에르한(Dumitru Erhan) 및 요슈아 벤지오와 함께 레이블이 지정된 훈련 예제가 존재하지 않는 범주로 일반화하는 개념을 형식화했다. 이 연구는 현대 전이 학습(transfer learning) 및 퓨샷 학습(few-shot learning) 연구의 많은 부분을 뒷받침하는 현재 표준적인 제로샷 학습 개념을 도입했다.

  • 신경망 자기회귀 분포 추정기(NADE) — 2011년 AISTATS에서 이언 머레이(Iain Murray)와 함께 발표하여 주목할 만한 논문상(Notable Paper Award)을 수상했다. NADE는 다변량 분포를 모델링하기 위한 다루기 쉽고 확장 가능한 접근 방식을 제공했으며, 이는 신경망 자기회귀 모델링을 실용적인 패러다임으로 확립하는 데 기여했다. NADE 및 MADE와 같은 모델을 통해, 라로셸은 현재 생성형 AI에서 보편화된 신경망 자기회귀 모델링 패러다임을 대중화하는 데 기여했다.

  • 심층 신경망의 탐욕적 층별 훈련(Greedy Layer-Wise Training of Deep Networks) — 2007년 NIPS에서 요슈아 벤지오 및 동료들과 공동 저술한 논문으로, 층별 비지도 사전 훈련을 통해 심층 신경망을 효과적으로 훈련할 수 있음을 보여준 획기적인 논문 중 하나이다.

  • 심층 신경망 훈련을 위한 전략 탐구(Exploring Strategies for Training Deep Neural Networks) — 2009년 JMLR의 포괄적인 연구로, 심층 아키텍처 훈련에 관한 체계적인 경험적 지침을 제공했으며, 이후 10년간의 딥러닝 개발에서 널리 인용되었다.

  • 머신러닝 연구 거래(TMLR, Transactions on Machine Learning Research) — 라로셸은 라이아 하젤(Raia Hadsell) 및 조경현(Kyunghyun Cho)과 함께 TMLR을 공동 창립했다. 이 저널은 2022년 머신러닝 연구 저널(Journal of Machine Learning Research) 체제 아래에서 시작되었다. 그는 2025년 말까지 창립 편집장을 역임하며 ML 커뮤니티에 더 빠르고 개방적인 피어 리뷰를 제공하도록 설계된 출판 모델을 구축했다.

  • 신경망 온라인 강좌 — 셰르브루크 대학교에서 진행한 강의를 바탕으로 신경망 및 딥러닝에 대한 포괄적인 비디오 강의 시리즈를 제작하여 YouTube에 무료로 공개했으며, 전 세계 학습자와 교육자들이 널리 사용하고 있다.

  • TechAide 컨퍼런스 — 연례 TechAide 행사를 창설하여 몬트리올 기술 커뮤니티를 동원해 Centraide를 위한 기금을 모금함으로써 빈곤 및 사회적 배제 퇴치 임무를 지원했다.

수상 및 표창

  • AISTATS 주목할 만한 논문상 (2011) — 이언 머레이와 공동 저술한 „The Neural Autoregressive Distribution Estimator"에 수여됨.
  • 캐나다 CIFAR AI 석좌 교수 — 캐나다의 선도적인 AI 연구자를 인정하는 경쟁력 있는 연구 석좌로, CIFAR의 기계 및 두뇌 학습(Learning in Machines & Brains) 프로그램과 연계되어 있음.
  • 튜링상 계보 — 요슈아 벤지오(2018년 튜링상)와 제프리 힌튼(2018년 튜링상) 두 사람 모두에게 직접 훈련을 받은 독특한 학문적 계보로, 이는 라로셸을 몬트리올 딥러닝 학파의 중심에 위치시킨다.

주요 관계

  • 요슈아 벤지오 — 몬트리올 대학교 박사 지도교수; 튜링상 수상자이자 Mila의 설립자로, 라로셸이 현재 과학 책임자 직위를 맡고 있음.
  • 제프리 힌튼 — 토론토 대학교 박사후 지도교수; 튜링상 수상자이자 딥러닝 혁명의 주요 인물 중 한 명.
  • 파스칼 뱅상 — 초기 자주 공동 연구한 협력자; 자기 지도 학습의 이정표가 된 잡음 제거 오토인코더 논문의 공동 저자.
  • 이언 머레이 — NADE 논문(AISTATS 2011 주목할 만한 논문)의 공동 저자; 생성 모델링 분야의 오랜 협력자.
  • 재스퍼 스누크 & 케빈 스워스키 — Whetlab 공동 창업자; 스타트업의 기반이 된 베이지안 하이퍼파라미터 최적화 연구 협력자.
  • 라이아 하젤 & 조경현 — TMLR 공동 창립자; 세 사람이 협력하여 ML 연구를 위한 새로운 피어 리뷰 모델로 저널을 설계하고 출시함.
  • 에런 쿠빌(Aaron Courville) — Mila 동료이자 딥러닝 및 강화 학습 연구 분야의 장기 협력자.
  • 로랑 샤를랭 — Mila의 임시 과학 책임자로서 직전 전임자; HEC 몬트리올 부교수.

개인 스타일

라로셸의 연구 스타일은 신중한 경험적 엄격함과 순수 공학 중심 접근 방식보다는 다루기 쉽고 원칙적인 확률 모델에 대한 선호로 특징지어지며, 이는 벤지오 학파에서의 훈련을 반영한다. 공개 담론에서 그는 신중하고 협력적이며, 논쟁적이지 않은 편이고, 학계 AI 연구의 중요성을 산업 연구소가 덜 우선시할 수 있는 질문을 추구할 수 있는 능력의 관점에서 설명하는 경향이 있다. Mila의 과학 책임자 역할을 맡은 이후, 그는 학제간 응용(„AI와 x")에 초점을 맞춘 비전을 표명했으며, 대기업 연구소의 시대에 개방적이고 대학에 뿌리를 둔 연구의 지속적인 관련성에 대해 목소리를 높여 왔다. 자선가로서, 그는 아내와 함께 환경 문제에 적용되는 AI 분야 대학원 장학금을 지원하기 위해 상당한 개인 재정적 약속을 했으며, 이는 그가 표명한 가치와 직업적 선택 사이의 일관된 정렬을 반영한다.

참고 자료