나두 지 프레이타스

위키
, , , ,
1

머신러닝 연구자, 연쇄 창업가, Microsoft AI 부사장. 베이즈 추론, 순차 몬테카를로 방법, 베이즈 최적화, 딥러닝 분야에서 기초적인 기여를 했으며, 30년에 걸쳐 4개 기관에서 이 분야의 발전을 이끌어 왔습니다.

프로필

항목 세부 정보
본명 Nando de Freitas
생년월일 공개되지 않음
출생지 짐바브웨
국적 남아프리카 공화국 / 포르투갈 (짐바브웨, 모잠비크, 포르투갈, 베네수엘라, 남아프리카 공화국에서 성장)
현재 소속 Microsoft AI
현재 직위 부사장 (AI)
연구 분야 베이즈 추론, 순차 몬테카를로, 베이즈 최적화, 딥러닝, 강화학습, 멀티모달 AI
박사 학위 논문 Bayesian Methods for Neural Networks (2000)
박사 지도교수 Andrew Howard Gee, Mahesan Niranjan, Christophe Andrieu, Arnaud Doucet
개인 웹사이트 (UBC) cs.ubc.ca/~nando
옥스퍼드 페이지 cs.ox.ac.uk/people/nando.defreitas
Microsoft AI 페이지 microsoft.ai/team/nando-de-freitas
X / Twitter @NandoDF
GitHub nandodf
Google Scholar nzEluBwAAAAJ

개요

Nando de Freitas는 현대 머신러닝 분야에서 가장 폭넓게 영향력을 행사한 연구자 중 한 명으로, 30년 이상 베이즈 확률론적 방법, 베이즈 최적화, 딥러닝 전반에 걸쳐 획기적인 기여를 했습니다. 브리티시 컬럼비아 대학교(2001~2014)와 옥스퍼드 대학교(2013~2017)에서 교수직을 역임했으며, 창업한 회사들은 각각 CNN과 Google DeepMind에 인수되었습니다. DeepMind에서는 약 10년간 오디오 및 이미지 생성 시스템 연구를 이끌었습니다. 2024년 9월 Microsoft AI의 부사장으로 합류하여 멀티모달 인식 및 생성 팀을 이끌고 있습니다. 그의 논문은 ICML, ICLR, IJCAI 등에서 여러 최우수 논문상을 수상했으며, 머신러닝 분야에서 입자 필터링(Particle Filtering) 및 베이즈 최적화 커뮤니티의 공동 창시자로 널리 인정받고 있습니다. 연구와 더불어 Deep Learning Indaba 및 Khipu AI와 같은 이니셔티브를 통해 아프리카와 라틴 아메리카의 AI 교육에 오랜 기간 헌신해 왔습니다.

초기 생애 및 교육

De Freitas는 짐바브웨에서 태어나 모잠비크, 포르투갈, 베네수엘라, 남아프리카 공화국 등 여러 국가에서 성장한 후, 요하네스버그에 있는 위트워터스랜드 대학교(Wits)에서 학사 및 석사 과정을 마쳤습니다. 신경망과의 첫 접촉은 학부 마지막 해 프로젝트를 통해서였는데, 남아프리카 공화국 광산에 사용되는 제어 밸브 진단 도구를 구축한 이 경험은 그의 전체 연구 경력의 방향을 결정지었다고他自己 회고한 바 있습니다. 그는 학창 시절의 재정적 불안정에 대해 이야기하며, 처음에는 대학원 진학을 포기하고 취업을 하려 했으나 케임브리지 교수의 권유와, 아버지의 폭력적인 사망 이후 가족들의 지속적인 학업에 대한 바람 덕분에 계속할 수 있었다고 밝혔습니다.

B.Sc. (우등) 전기공학, 위트워터스랜드 대학교, 1991–1994. 전기공학과 최우수 졸업생에게 수여되는 Bernard Price Prize, Institution of Electrical Engineers Prize, Engineering Council of South Africa Merit Medal 등 다수의 상을 수상했습니다.

M.Sc. (우등) 제어 시스템, 위트워터스랜드 대학교, 1994–1996. 논문: Neural Network Based Nonparametric Regression for System Identification and Fault Detection. Foundation for Research Development 및 남아프리카 지역 포르투갈계 학생 최고 학업 성적자에게 수여되는 포르투갈 정부 메달(1995)의 지원을 받았습니다.

Ph.D. 신경망을 위한 베이즈 방법, 케임브리지 대학교 트리니티 칼리지, 1996–2000. Andrew Howard Gee, Mahesan Niranjan, Christophe Andrieu, Arnaud Doucet 교수의 지도를 받았습니다. Cambridge Commonwealth Trust Fellowship, Trinity College External Research Studentship, South African Foundation for Research Development Overseas PhD Scholarship 등의 지원을 받았습니다.

경력

UC 버클리 — 박사후 연구원 (1999–2001)

Stuart Russell의 AI 그룹에서 근무하며 머신러닝, 컴퓨터 비전, 이미지 검색, 변분 추론, 입자 필터링, MCMC 시뮬레이션에 대한 전문성을 키웠습니다. 이 시기는 순차 몬테카를로 방법에 관한 그의 가장 영향력 있는 초기 논문들이 나온 시기입니다.

브리티시 컬럼비아 대학교 — 교수 (2001–2014)

De Freitas는 UBC 컴퓨터과학과에 종신 트랙 교수진으로 합류하여 정교수로 승진했습니다. 이 기간 동안 매우 생산적인 연구 그룹을 구축하고 수많은 박사 과정 학생들을 배출했으며, 기초 저서인 Sequential Monte Carlo Methods in Practice (Doucet, de Freitas, Gordon, 2001)를 공동 편집하고 널리 인용되는 논문인 „An Introduction to MCMC for Machine Learning“ (Andrieu, de Freitas, Doucet, Jordan, Machine Learning, 2003)을 발표했습니다. 연구 결과를 바탕으로 두 개의 회사를 공동 창업했습니다. 학생 Eric Brochu 및 Mike Klaas와 함께 개발한 추천 머신러닝 기반 개인화 뉴스 애플리케이션 Zite는 CNN에 인수되어 CNN Trends의 엔진이 되었고, 이후 Dark Blue Labs(아래 참조)를 설립했습니다. Charles A. McDowell Award for Excellence in Research (2013), MITACS Young Researcher Award (2010), Killam Faculty Research Fellowship (2008), CIFAR Fellowship (2009)을 수상했으며, UBC Incredible Instructor Award를 네 차례(2002, 2003, 2004, 2009) 수상했습니다. UAI 2013의 총장을 역임했습니다. 옥스퍼드로 이동한 후에도 UBC의 겸임 교수직을 유지했습니다.

옥스퍼드 대학교 — 교수 (2013–2017)

De Freitas는 옥스퍼드 대학교 컴퓨터과학과 정교수 및 Linacre College 연구원으로 합류하여, 그의 그룹은 심층 강화학습, 프로그램 유도, 멀티모달 시퀀스 학습 분야에서 획기적인 연구 결과를 만들어 냈습니다. 이 시기의 주요 논문으로는 Dueling Network Architectures (ICML 2016 최우수 논문상), Neural Programmer-Interpreters (ICLR 2016 최우수 논문상), LipNet (2016) 등이 있습니다. 그는 2017년 4월에 옥스퍼드를 공식적으로 떠났습니다.

Google DeepMind (2014–2024)

2014년 10월, DeepMind는 de Freitas가 공동 창업한 옥스퍼드 스핀오프 Dark Blue Labs를 영국 내 두 AI 팀 동시 인수 합병(Acqui-hire)의 일환으로 인수했습니다. De Freitas는 수석 연구 과학자로 DeepMind에 합류했으며, 이후 오디오 및 이미지 생성을 위한 도구 팀을 이끌었습니다. DeepMind에서의 10년은 심층 강화학습, 생성 모델링, 대규모 학습 시스템 분야의 기초 연구를 포함합니다. 2014년 인수와 동시에 Google Faculty Research Award를 수상했습니다.

Microsoft AI — 부사장 (2024년 9월~현재)

De Freitas는 2024년 9월 Microsoft AI의 AI 부사장으로 합류했습니다. 그는 멀티모달 팀의 일원으로, 인식(이미지 콘텐츠 이해) 및 생성(대화형 미디어 생성)에 주력하고 있습니다. 그는 엔지니어와 연구원으로 구성된 팀에 힘을 실어주는 동시에 개인적으로 연구, 코딩, 최신 문헌에 가까이 있겠다는 목표를 가지고 있다고 밝혔습니다. 이 기간 동안 그의 대외 커뮤니케이션은 AI 확장, 안전성, 그리고 강력한 AI 시스템의 사회적 영향에 대한 집중도가 높아지고 있음을 반영합니다.

주요 기여

  • „An Introduction to MCMC for Machine Learning“ (Andrieu, de Freitas, Doucet, Jordan; Machine Learning, 2003) — 확률론적 머신러닝 분야에서 가장 영향력 있는 튜토리얼 논문 중 하나로, 마르코프 체인 몬테카를로 방법을 한 세대의 머신러닝 연구자들에게 소개했으며 대학원 과정의 표준 참고 자료로 남아 있습니다.

  • Sequential Monte Carlo Methods in Practice (편집 저서, Doucet, de Freitas, Gordon; Springer, 2001) — 입자 필터링 분야의 기초 서적을 공동 편집하여 용어를 표준화하고 순차적 베이즈 추론을 발전시키는 커뮤니티를 결집시켰습니다.

  • „Taking the Human Out of the Loop: A Review of Bayesian Optimization“ (Shahriari, Swersky, Wang, Adams, de Freitas; Proceedings of the IEEE, 2016) — 베이즈 최적화에 대한 포괄적인 개요 논문으로, 해당 분야의 표준 참고 문헌이 되었으며 머신러닝, AutoML, 실험 설계 커뮤니티 전반에 걸쳐 널리 인용되고 있습니다.

  • REMBO: Bayesian Optimization in High Dimensions via Random Embeddings (Wang, Zoghi, Hutter, Matheson, de Freitas; IJCAI 2013, Distinguished Paper Award) — 무작위 선형 임베딩을 사용하여 베이즈 최적화를 수십억 차원 공간으로 확장하여 대규모 하이퍼파라미터 및 알고리즘 구성 문제에 적용할 수 있게 했습니다.

  • Dueling Network Architectures for Deep Reinforcement Learning (Wang, de Freitas, Lanctot; ICML 2016, 최우수 논문상) — 상태-가치와 이점 추정을 분리하는 심층 Q-네트워크를 위한 듀얼링 아키텍처를 도입하여 Atari 벤치마크에서 최고 성능을 달성했습니다.

  • Neural Programmer-Interpreters (Reed, de Freitas; ICLR 2016, 최우수 논문상) — 프로그램을 표현하고 실행하는 방법을 학습하는 순환 신경망을 제안하여 프로그램 유도 연구 라인을 발전시키고 이후 신경 추론 및 코드 생성 연구에 영향을 미쳤습니다.

  • LipNet (Assael, Shillingford, Whiteson, de Freitas; 2016) — 종단 간 문장 수준의 입술 읽기를 수행하는 최초의 딥러닝 시스템으로, 자체 벤치마크에서 인간의 성능을 훨씬 뛰어넘는 정확도를 달성하여 음성, 비전, 접근성 커뮤니티에서 널리 주목을 받았습니다.

  • Dark Blue Labs — De Freitas가 공동 창업하고 2014년 DeepMind에 인수된 옥스퍼드 스핀오프로, DeepMind의 자연어 및 오디오 연구 역량을 크게 강화한 거래 중 하나입니다.

  • Zite — UBC 학생들과 함께 개발한 뉴스 개인화 스타트업으로 CNN에 인수되어 CNN Trends의 추천 엔진으로 배포되었으며, 베이즈 머신러닝의 초기 산업 규모 응용 사례를 보여주었습니다.

  • YouTube ML 강좌 — UBC에서 녹화되어 무료로 제공되는 학부 및 대학원 수준의 머신러닝 강의 시리즈로, 해당 분야에서 가장 초기이자 가장 널리 시청된 공개 강좌 중 하나이며 MOOC 시대 머신러닝 커리큘럼의 모델이 되었습니다.

  • Deep Learning Indaba 및 Khipu AI — De Freitas가 개인적인 헌신을 표명한 교육 이니셔티브로, 각각 아프리카와 라틴 아메리카의 ML 연구 커뮤니티 성장을 지원합니다.

수상 및 인정

  • 최우수 논문상, ICML 2016 — Dueling Network Architectures for Deep Reinforcement Learning
  • 최우수 논문상, ICLR 2016 — Neural Programmer-Interpreters
  • Yelp Dataset Challenge Award, KDD 2015 — 다중 인스턴스 전이 학습 논문
  • Distinguished Paper Award, IJCAI 2013 — REMBO (고차원 베이즈 최적화)
  • Charles A. McDowell Award for Excellence in Research (2012/2013) — UBC 교수진에게 수여되는 최고 연구상
  • Google Faculty Research Award (2014) — 딥러닝 연구에 대한 공로로 Dark Blue Labs 인수와 동시에 수상
  • MITACS Young Researcher Award (2010) — 수리정보기술 및 복잡계 분야
  • CIFAR Fellowship (2009) — 신경 계산 및 적응 지각 프로그램, 캐나다 고등연구소
  • Killam Faculty Research Fellowship (2008) — UBC
  • UBC Incredible Instructor Award — 4회 수상: 2002, 2003, 2004, 2009
  • 최우수 논문상, Cognitive Computer Vision 트랙, ECCV 2004 — Kenji Okuma, Ali Taleghani, James Little, David Lowe와 공동
  • 최우수 논문상, Cognitive Computer Vision 트랙, ECCV 2002 — Pinar Duygulu, Kobus Barnard, David Forsyth와 공동
  • Cambridge Commonwealth Trust Fellowship (1997)
  • 포르투갈 정부 메달 (1995) — 남아프리카 지역 포르투갈계 학생 최고 학업 성적자
  • Bernard Price Prize (1994) — 전기공학과 최우수 졸업생, 위트워터스랜드 대학교

주요 관계

  • Arnaud Doucet — 케임브리지 박사 공동 지도교수이자 장기 협력자; 기초 입자 필터링 저서를 공동 편집하고, 두 사람을 순차 몬테카를로 분야의 권위자로 만든 MCMC 튜토리얼 논문을 공동 작성했습니다.

  • Stuart Russell — UC 버클리 박사후 지도교수; de Freitas를 북미 AI 연구 커뮤니티에 소개하고 확률론적 추론과 머신러닝의 통합을 형성했습니다.

  • Yannis Assael — 옥스퍼드 박사 과정 학생; LipNet의 공동 제1저자이며 현재 Google DeepMind의 선임 연구원; de Freitas의 옥스퍼드 그룹에서 가장 성공한 졸업생 중 한 명입니다.

  • Ziyu Wang — 옥스퍼드 박사 과정 학생; Dueling Networks 논문(ICML 2016 최우수 논문상) 및 REMBO 논문의 제1저자; de Freitas 연구 그룹의 심층 강화학습 분야를 대표합니다.

  • Scott Reed — 옥스퍼드/DeepMind 협력자; Neural Programmer-Interpreters (ICLR 2016 최우수 논문상)의 공동 저자이며 이후 대규모 생성 모델링의 핵심 인물이 되었습니다.

  • Jakob Foerster — 옥스퍼드 박사 과정 학생; 다중 에이전트 통신 연구를 공동으로 수행했으며 이후 옥스퍼드 교수이자 Recursive.AI의 공동 창업자가 되었습니다.

  • Christophe Andrieu — 케임브리지 박사 공동 지도교수; 박사 과정 중 및 이후에 기초 MCMC 및 입자 필터링 논문을 공동으로 작업했습니다.

  • Mustafa Suleyman — Microsoft AI의 CEO; de Freitas를 2024년 DeepMind(공동 창업자)에서 Microsoft AI로 영입한 경영진입니다.

개인적 스타일

De Freitas의 연구 경력은 비정상적으로 넓은 범위를 특징으로 합니다. 베이즈 통계학의 기초 이론 연구, 강화학습에 대한 알고리즘적 기여, 컴퓨터 비전 및 음성 분야의 응용 연구, 회사 창업을 통한 시스템 수준의 기여에 이르기까지 다양한 연구를 발표했습니다. 그는 자신의 원동력을 특정 하위 분야가 아니라 지능이 무엇이고 뇌가 어떻게 작동하는지에 대한 질문이라고 설명하며, 이는 남아프리카 공화국 학부 시절 첫 신경망 프로젝트로 거슬러 올라가는 프레이밍입니다. X (@NandoDF)에서 그의 게시물은 유사하게 넓은 지향성을 반영합니다. AI 확장 및 안전에 대한 기술적 논평, 글로벌 사우스에서의 AI 교육 옹호, 철학적 성찰, 그리고 자신의 배경에 대한 개인적인 글쓰기가 함께 나타납니다. 그는 여러 국가에서 성장한 경험, 아파르트헤이트 아래에서 인종 차별을 경험한 일, 그리고 자신의 진로를 가능하게 한 뛰어난 교사들의 역할에 대해 공개적으로 이야기해 왔으며, 이러한 입장은 아프리카와 라틴 아메리카의 교육 이니셔티브에 대한 그의 오랜 관여에 영향을 미치고 있습니다.

참고 자료