Quoc V. Le

위키
, , , ,
1

베트남계 미국인 컴퓨터 과학자이자 Google Brain의 창립 멤버로, seq2seq, 신경 아키텍처 검색, 대규모 비지도 학습에 대한 연구는 현대 딥러닝과 언어 AI의 구조적 토대를 마련했습니다.

프로필
출생 1982년, 베트남 후에성 흐엉투이현
국적 베트남계 미국인
재직 기관 Google DeepMind (저명 과학자; Google Fellow)
연구 분야 딥러닝, 대규모 언어 모델, 신경 아키텍처 검색, AutoML, 시퀀스 모델링, 표현 학습, 수학적 추론
박사 지도 교수 앤드류 응 (Andrew Ng)
박사 학위 논문 확장 가능한 특징 학습 (Scalable Feature Learning, 스탠포드 대학교, 2013)
웹사이트 cs.stanford.edu/~quocle
X / Twitter @quocleix
Google Scholar Quoc V. Le — 440,000회 이상 인용

개요

Quoc V. Le (베트남어: Lê Viết Quốc)는 Google DeepMind의 저명 과학자이자 Google Fellow이며, 동시대에서 가장 영향력 있는 AI 연구자 중 한 명입니다. 2011년 Google Brain의 창립 멤버로서, 그는 10년 이상 딥러닝의 여러 패러다임 전환의 중심에 있었습니다. 신경망이 고양이를 인식하도록 훈련시킨 획기적인 대규모 비지도 학습 실험, 현대 기계 번역의 기반이 되는 인코더-디코더 seq2seq 아키텍처, 모델 설계를 자동화한 신경 아키텍처 검색 프로그램이 그 예입니다. 그의 Google Scholar 인용 횟수는 440,000회를 넘어, 머신러닝 분야에서 가장 많이 인용된 연구자 중 하나입니다. 기술적 성과 외에도, Le는 자문 및 교육 역할을 통해 베트남에서의 AI 접근성을 민주화하려는 꾸준한 노력을 기울여 왔습니다.

초기 생애 및 교육

Le는 1982년 베트남 중부 후에성 흐엉투이현에서 태어났습니다. 그는 전기가 없던 집에서 자랐지만, 근처에 도서관이 있었고 그곳에서 위대한 발명에 관한 이야기들을 접하며 스스로 발견을 할 수 있을 만큼 똑똑한 컴퓨터를 만들겠다는 초기의 야망을 키웠다고 말합니다. 그는 베트남에서 가장 경쟁이 치열한 고등학교 중 하나인 Quốc Học Huế 영재고등학교를 다녔습니다.

2004년, Le는 호주로 건너가 캔버라에 있는 호주국립대학교(ANU)에서 학부 과정을 밟았으며, NICTA(호주국립정보통신기술원)에서 알렉스 스몰라(Alex Smola)와 함께 머신러닝의 커널 방법에 대해 연구했습니다. 그는 최우등으로 졸업했습니다. 이 기간 동안 그는 또한 독일 튀빙겐에 있는 막스 플랑크 생물 사이버네틱스 연구소의 베른하르트 숄코프(Bernhard Schölkopf) 부서에서 방문 연구원으로 시간을 보냈습니다.

2007년, Le는 미국으로 이주하여 스탠포드 대학교에서 앤드류 응 밑에서 박사 과정을 시작했습니다. 그의 논문인 _확장 가능한 특징 학습_은 대규모 데이터셋에서 심층 신경망을 보다 효율적으로 훈련하는 방법을 다루었는데, 이는 당시 의미 있는 규모에서는 계산적으로 다루기 힘든 문제였습니다. 그는 2013년에 박사 학위를 받았습니다.

경력

스탠포드 AI 연구소 / 초기 Google Brain (2009–2013)

박사 과정을 마치는 동안, Le는 앤드류 응과 대규모 딥러닝에 대한 협업을 시작했고, 이는 Google의 주목을 받았습니다. 2011년, 그는 응, 제프 딘(Jeff Dean), 그렉 코라도(Greg Corrado)와 함께 Google Brain의 창립 멤버가 되었습니다. 팀의 첫 번째 주요 공개 결과는 2012년에 발표되었는데, 16,000개의 CPU 코어로 훈련된 신경망이 레이블이 지정된 데이터 없이도 YouTube 썸네일에서 고양이를 인식하는 법을 학습한 것이었습니다. 이는 최초의 주목할 만한 대규모 비지도 학습 시연 중 하나였습니다. 해당 논문은 뉴욕 타임즈와 The Atlantic과 같은 주류 미디어의 주목을 받았고, 딥러닝을 실용적인 기술로서 대중의 관심으로 이끌었습니다.

Google Brain — 연구 과학자에서 저명 과학자로 (2013–2023)

스탠포드 졸업 후, Le는 Google Brain에 전임으로 합류했습니다. 이후 10년 동안 그는 여러 하위 분야에 걸친 연구에 기여하며 수석 연구 과학자, 그리고 저명 과학자로 승진했습니다.

시퀀스 모델링 (2014). Ilya Sutskever 및 Oriol Vinyals와 함께, Le는 2014년 NeurIPS에서 시퀀스-투-시퀀스(seq2seq) 아키텍처를 소개했습니다. 하나의 순환 네트워크가 입력 시퀀스를 고정 길이 벡터로 압축하고 다른 네트워크가 이를 출력 시퀀스로 디코딩하는 인코더-디코더 프레임워크는 Transformer의 직접적인 전신이 되었으며 최초 세대의 실용적인 신경 기계 번역 시스템의 기반이 되었습니다. 같은 해, Tomáš Mikolov와 함께 doc2vec (Paragraph Vectors)을 소개하여 단어 임베딩 아이디어를 가변 길이 문서로 확장했습니다.

Google 신경 기계 번역 (2016). Le는 Google 신경 기계 번역(GNMT) 시스템의 핵심 기여자였습니다. 이는 seq2seq의 프로덕션 규모 배포로, Google 번역에서 구문 기반 시스템을 대체하고 신경 기계 번역을 수억 명의 사용자에게 제공했습니다.

신경 아키텍처 검색 및 AutoML (2017–2020). Le는 Google Brain에서 AutoML 프로젝트를 시작하고 주도했으며, Barret Zoph와 함께 “Neural Architecture Search with Reinforcement Learning”(2017)을 공동 저술했습니다. 이 연구는 강화 학습을 사용하여 수년간의 전문가 수동 튜닝을 대체하여 신경망 아키텍처를 자동으로 설계할 수 있음을 보여주었습니다. 그의 지도 하에 이루어진 후속 연구로는 효율적인 신경 아키텍처 검색(ENAS), EfficientNet(2019) — 매개변수 수의 일부로 최첨단 정확도와 일치하거나 능가하는 이미지 분류기 제품군 — 및 AutoML-Zero(2020) — 인간의 입력이 거의 없는 기본 수학 연산에서 ML 알고리즘을 진화시킴 — 이 있습니다. 이 프로젝트는 결국 Google Cloud AutoML이 되어 비전문가 실무자도 모델 훈련을 쉽게 할 수 있게 했습니다.

Meena / LaMDA (2020). Le는 seq2seq 기반 위에 구축된 Google의 초기 대규모 오픈 도메인 대화 모델 중 하나인 Meena(이후 LaMDA로 이름 변경)에 기여하여, 2014년 아키텍처 연구에서 프로덕션 수준의 대화 시스템으로 가는 길을 보여주었습니다.

Chain-of-thought 프롬프팅 (2022). Le는 “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”(NeurIPS 2022)의 선임 공동 저자였으며, 이는 2020년대에 가장 많이 인용된 NLP 논문 중 하나로, LLM에 중간 추론 단계를 생성하도록 프롬프팅하면 다단계 작업의 성능이 극적으로 향상된다는 것을 보여주었습니다.

Google DeepMind (2023–현재)

2023년 Google Brain과 DeepMind의 합병으로 Google DeepMind가 된 후, Le는 저명 과학자 및 Google Fellow 직함을 보유하고 있습니다. 그는 수학적 추론에 대한 연구를 계속하여 AlphaGeometry(2024)에 기여했습니다. 이 AI 시스템은 국제 수학 올림피아드 기하학 문제 30개 중 25개를 풀었으며, 이 결과는 _Nature_에 게재되었고 자동 정리 증명의 이정표로 널리 간주됩니다.

AI for Vietnam Foundation (2025–현재)

Le는 AI for Vietnam Foundation(AIV)의 선임 자문관을 맡고 있습니다. 이 비영리 단체는 베트남어 및 문화적 맥락에 맞는 AI 도구를 개발하고 현지 AI 인재 파이프라인을 구축하기 위해 노력합니다. 그는 베트남어 AI 리소스의 제한된 가용성에 대한 인식이 이 역할을 맡게 된 개인적 동기라고 언급했습니다.

주요 기여

  • 대규모 비지도 학습 („고양이 논문", 2012) — “Building High-level Features Using Large Scale Unsupervised Learning,” 앤드류 응, 제프 딘 공저. 레이블이 지정되지 않은 비디오를 충분한 규모로 훈련한 신경망이 „고양이 감지기"를 포함하여 의미론적으로 의미 있는 표현을 자발적으로 학습한다는 최초의 공개 시연. ICML 2022 Test of Time Honorable Mention Award 수상.

  • 시퀀스 투 시퀀스 학습 (seq2seq, 2014) — “Sequence to Sequence Learning with Neural Networks”(NeurIPS 2014), Ilya Sutskever, Oriol Vinyals 공저. 이후 10년간 기계 번역, 요약 및 대화의 지배적인 패러다임이 된 인코더-디코더 아키텍처를 도입했으며, Transformer의 직접적인 구조적 조상입니다. NeurIPS 2024 Test of Time Award 수상.

  • doc2vec / Paragraph Vectors (2014) — “Distributed Representations of Sentences and Documents,” Tomáš Mikolov 공저. word2vec 임베딩을 가변 길이 텍스트로 확장하여 Transformer 시대 이전에 널리 사용된 일반적인 비지도 문장 표현 방법을 제공했습니다.

  • Google 신경 기계 번역 (GNMT, 2016) — Google 번역에서 규칙 기반 및 구문 기반 파이프라인을 대체하고 수억 명의 사용자에게 신경 기계 번역을 제공하며 출시 당시 Google 번역의 오류율을 약 1/3로 줄인 프로덕션 시스템의 핵심 기여자.

  • 강화 학습을 이용한 신경 아키텍처 검색 (NAS, 2017) — “Neural Architecture Search with Reinforcement Learning,” Barret Zoph 공저. RL로 훈련된 컨트롤러 네트워크가 인간이 설계한 최첨단 아키텍처와 경쟁할 수 있는 컨볼루션 및 순환 아키텍처를 설계할 수 있음을 입증하여 AutoML 분야를 창시했습니다.

  • EfficientNet (2019) — Mingxing Tan 공저. 네트워크 깊이, 너비 및 해상도를 원칙적인 비율로 체계적으로 확장하는 복합 스케일링을 도입하여 ImageNet에서 새로운 정확도-효율성 파레토 최적 경계를 달성하고 다운스트림 작업에 잘 전이되는 모델을 생성했습니다. 프로덕션 비전 시스템에서 널리 사용됩니다.

  • Chain-of-Thought 프롬프팅 (2022) — Jason Wei, Denny Zhou 등과 함께한 NeurIPS 2022 논문의 선임 공동 저자. 언어 모델에 명시적 추론 단계를 생성하도록 프롬프팅하면 산술, 상식 및 기호 추론 벤치마크에서 성능이 극적으로 향상된다는 것을 입증했습니다.

  • AlphaGeometry (2024) — Nature(2024년 1월)에 게재된 „인간 시연 없이 올림피아드 기하학 풀기"의 공동 저자. 합성 기하학 증명으로 훈련된 언어 모델과 기호 연역 엔진을 결합한 이 시스템은 IMO 기하학 문제 30개 중 25개를 풀어 IMO 은메달리스트의 평균 성능을 능가했습니다.

수상 및 표창

  • ECML 최우수 논문상 (2007) — ANU 재학 시절 커널 방법에 대한 연구로 수상.
  • MIT Technology Review 35세 미만 혁신가 (2014) — Google 신경 기계 번역 및 대규모 비지도 학습에 대한 기여 인정.
  • ICML Test of Time Honorable Mention Award (2022) — 2012년 대규모 비지도 학습에 관한 „고양이 논문"으로, 출판 10년 후 지속적인 영향력을 인정받음.
  • ANU 컴퓨팅 스쿨 동문 명예상 (2022) — 컴퓨팅 교육 50주년의 일환으로 호주국립대학교가 경력 성과를 인정하여 수여.
  • NeurIPS Test of Time Award (2024) — „Sequence to Sequence Learning with Neural Networks"(2014)로, Ilya Sutskever 및 Oriol Vinyals와 공동 저술. 선정 위원회는 seq2seq 프레임워크를 현대 AI의 „초석"으로, 인코더-디코더 아키텍처를 확립하고 대규모 언어 모델에 필요한 기반을 마련했다고 설명했습니다.
  • Google Fellow — Google에서 Google Fellow 지정을 보유한 소수의 연구자 중 한 명으로, 회사에서 가장 높은 기술 개인 기여자 직함입니다.

주요 관계

  • 앤드류 응 — 스탠포드 박사 지도 교수이자 Google Brain 공동 창립자; Le를 Google 궤도로 이끌고 대규모 학습에 대한 그의 접근 방식을 형성한 멘토 관계.
  • Ilya Sutskever — Google Brain에서 seq2seq에 대한 긴밀한 협력자; 이후 OpenAI 공동 창립자이자 수석 과학자. 그들의 2014년 논문은 딥러닝 역사상 가장 중요한 협업 중 하나로 남아 있습니다.
  • Oriol Vinyals — Google Brain 동료이자 seq2seq 공동 저자; 이후 Google DeepMind에서 급진적 연구 부사장(VP of Drastic Research).
  • 제프 딘 — Google Brain 공동 창립자이자 Google 수석 과학자; Le의 Google 경력 전반에 걸친 선임 동료이자 2012년 고양이 논문의 공동 저자.
  • Barret Zoph — 신경 아키텍처 검색 및 EfficientNet의 주요 협력자; NAS 연구 프로그램은 Le의 Google 재임 기간 중 가장 지속적인 협업이었습니다.
  • 알렉스 스몰라 — ANU/NICTA에서 학부 멘토로, 커널 방법을 통해 Le를 엄격한 ML 연구에 소개했습니다.
  • Jason Wei — Google Brain의 주니어 동료; chain-of-thought 프롬프팅 논문의 공동 저자; 이후 OpenAI와 Meta로 이동.
  • Tomáš Mikolov — Facebook AI Research 과학자; Google Brain 재직 시절 doc2vec 공동 저자.

개인적 스타일

Le의 연구 철학은 머신러닝 파이프라인에서 인간의 노력을 제거하려는 강박, 즉 고양이 논문(대규모 비지도 학습), seq2seq(엔드 투 엔드 학습 번역), AutoML(인간 튜닝 없는 아키텍처 설계)의 동기가 특징입니다. 동료들은 그가 수동 프로세스에 인내심이 없고 지루한 전문가 노동을 자동화로 대체할 수 있는 문제에 끌린다고 언급했습니다. 그의 공개적인 모습은 인용 기록에 비해 상대적으로 조용합니다. 그는 정책 논쟁이나 소셜 미디어상의 AI 담론에 거의 참여하지 않으며, 발표된 결과가 논쟁을 이끌어가도록 두는 것을 선호합니다. AI for Vietnam Foundation을 통한 베트남과의 지속적인 교류는 그가 만드는 데 도움을 준 기술이 원래 개발된 맥락을 넘어 접근 가능해야 한다는 개인적 신념을 반영합니다.

참고 자료