Quoc V. Le

维基
, , , ,
1

越南裔美籍计算机科学家，谷歌大脑创始成员。他在序列到序列学习、神经架构搜索和大规模无监督学习方面的研究，为现代深度学习与语言AI奠定了结构性基础。

个人档案
出生 1982年，越南承天顺化省香水县
国籍 越南裔美国人
现任机构 谷歌DeepMind（杰出科学家；谷歌院士）
研究领域 深度学习、大语言模型、神经架构搜索、自动机器学习（AutoML）、序列建模、表征学习、数学推理
博士导师 吴恩达（Andrew Ng）
博士论文 《可扩展的特征学习》（斯坦福大学，2013年）
个人网站 cs.stanford.edu/~quocle
X / Twitter @quocleix
谷歌学术 Quoc V. Le —— 44万余次引用

概述

Quoc V. Le（越南语：Lê Viết Quốc）是谷歌DeepMind的杰出科学家和谷歌院士，也是他这一代最具影响力的AI研究者之一。2011年，他作为创始成员加入谷歌大脑，在超过十年的时间里，始终处于深度学习的多次范式变革核心：从具有里程碑意义的大规模无监督学习实验（教会神经网络识别猫），到支撑现代机器翻译的编码器-解码器序列到序列（seq2seq）架构，再到实现模型设计自动化的神经架构搜索程序。他的谷歌学术引用次数超过44万次，跻身机器学习领域引用最高的研究者之列。除了技术产出，Le还通过担任顾问和教育角色，持续致力于在越南推动AI技术的普及。

早年生活与教育

Le于1982年出生在越南中部承天顺化省的香水县。他曾回忆，儿时家中没有电，但附近有一家图书馆，那里关于伟大发明的记述让他早早立下志向：建造一台足够智能、能够自行发现的计算机。他曾就读于越南最具竞争力的中学之一——顺化国学专长高中。

2004年，Le移居澳大利亚，在堪培拉的澳大利亚国立大学（ANU）攻读本科，期间在NICTA（澳大利亚国家信息通信技术中心）与Alex Smola合作，研究机器学习中的核方法。他以一等荣誉毕业。在此期间，他还曾作为访问学者，在德国图宾根的马克斯·普朗克生物控制论研究所Bernhard Schölkopf的部门进行短期研究。

2007年，Le移居美国，在斯坦福大学师从吴恩达（Andrew Ng）攻读博士学位。他的博士论文《可扩展的特征学习》探讨了如何在大型数据集上更高效地训练深度神经网络，这在当时的大规模计算条件下是非常棘手的难题。他于2013年获得博士学位。

职业生涯

斯坦福AI实验室 / 谷歌大脑早期（2009–2013）

在攻读博士学位期间，Le开始与吴恩达合作进行大规模深度学习，这项工作引起了谷歌的关注。2011年，他成为谷歌大脑的创始成员之一，其他成员包括吴恩达、Jeff Dean和Greg Corrado。该团队于2012年发布的首个重大公开成果是，一个在16,000个CPU核心上训练的神经网络，在没有任何标签数据的情况下，学会了识别YouTube缩略图中的猫——这是大规模无监督学习最早的高调展示之一。该论文吸引了《纽约时报》和《大西洋月刊》等主流媒体的报道，将深度学习作为一项实用技术带入公众视野。

谷歌大脑——研究科学家到杰出科学家（2013–2023）

从斯坦福毕业后，Le全职加入谷歌大脑。在接下来的十年里，他从研究科学家晋升为高级研究科学家，再到杰出科学家，在多个子领域均有贡献。

序列建模（2014年）。 2014年，Le与Ilya Sutskever、Oriol Vinyals在NeurIPS上共同提出了序列到序列（seq2seq）架构。这种编码器-解码器框架将一个循环网络压缩输入序列为定长向量，再由另一个循环网络将其解码为输出序列。它直接催生了Transformer，并支撑了第一代实用的神经机器翻译系统。同年，他与Tomáš Mikolov共同提出了doc2vec（段落向量），将词嵌入思想扩展到可变长度文档。

谷歌神经机器翻译（2016年）。 Le是谷歌神经机器翻译（GNMT）系统的关键贡献者之一。该系统是seq2seq的生产级部署，取代了谷歌翻译中的基于短语的系统，将神经机器翻译带给了数亿用户。

神经架构搜索与AutoML（2017–2020）。 Le在谷歌大脑发起并领导了AutoML项目，与Barret Zoph合著了《基于强化学习的神经架构搜索》（2017）。该研究表明，强化学习可用于自动设计神经网络架构，取代多年的人工调参。在他指导下，后续工作包括高效神经架构搜索（ENAS）、EfficientNet（2019）——一个以极小的参数量达到或超越最先进精度的图像分类器系列——以及AutoML-Zero（2020），它从原始的数学运算进化出机器学习算法，几乎无需人工干预。该项目最终发展为Google Cloud AutoML，使非专业从业者也能进行模型训练。

Meena / LaMDA（2020年）。 Le参与了Meena（后更名为LaMDA）的研发，这是谷歌早期基于seq2seq基础构建的大规模开放域对话模型之一，展示了他2014年架构工作通向生产级对话系统的路径。

思维链提示（2022年）。 Le是《思维链提示激发大型语言模型的推理能力》（NeurIPS 2022）的高级合著者。这篇论文是2020年代被引用最多的自然语言处理论文之一，文中表明，提示LLM生成中间推理步骤显著提升了其在多步任务上的表现。

谷歌DeepMind（2023年至今）

2023年谷歌大脑与DeepMind合并为谷歌DeepMind后，Le担任杰出科学家和谷歌院士。他继续在数学推理领域工作，为AlphaGeometry（2024）做出贡献。该系统解决了30道国际数学奥林匹克几何题中的25道，该成果发表在《自然》杂志上，被广泛视为自动定理证明领域的里程碑。

AI for Vietnam基金会（2025年至今）

Le担任AI for Vietnam基金会（AIV）的高级顾问。该非营利组织致力于开发适应越南语言文化背景的AI工具，并建设本地AI人才梯队。他曾表示，意识到目前越南语言AI资源有限，是他担任此角色的个人动力。

关键贡献

  • 大规模无监督学习（「猫论文」，2012年） —— 与吴恩达、Jeff Dean合作的《利用大规模无监督学习构建高级特征》。首次公开展示，在无标签视频上以足够规模训练的神经网络能够自发学习语义上有意义的表征，包括一个「猫检测器」。获得ICML 2022时间检验荣誉提名奖。

  • 序列到序列学习（seq2seq，2014年） —— 与Ilya Sutskever和Oriol Vinyals合作的《基于神经网络的序列到序列学习》（NeurIPS 2014）。提出的编码器-解码器架构在随后十年成为机器翻译、摘要和对话系统的主导范式，并直接催生了Transformer。获得NeurIPS 2024时间检验奖。

  • doc2vec / 段落向量（2014年） —— 与Tomáš Mikolov合作的《句子和文档的分布式表示》。将word2vec嵌入扩展到可变长度文本，提供了一种通用的无监督句子表示方法，在Transformer时代之前被广泛使用。

  • 谷歌神经机器翻译（GNMT，2016年） —— 生产系统的关键贡献者。该系统取代了谷歌翻译中基于规则和基于短语的流水线，将神经机器翻译带给数亿用户，上线时消除了谷歌翻译约三分之一的错误率。

  • 基于强化学习的神经架构搜索（NAS，2017年） —— 与Barret Zoph合作的《基于强化学习的神经架构搜索》。展示了用强化学习训练的控制器网络能够设计出与人类精心设计的架构相竞争甚至更优的卷积和循环架构，开创了AutoML领域。

  • EfficientNet（2019年） —— 与Mingxing Tan合作。提出了复合缩放方法——以经验确定的比率系统性地缩放网络深度、宽度和分辨率——从而在ImageNet上取得了新的准确率-效率帕累托前沿，并能很好地迁移到下游任务。广泛应用于生产视觉系统。

  • 思维链提示（2022年） —— 与Jason Wei、Denny Zhou等人合著的NeurIPS 2022论文的高级合著者。该论文展示，提示语言模型生成显式的推理步骤显著提升了其在算术、常识和符号推理基准测试上的表现。

  • AlphaGeometry（2024年） —— 合著作者，参与《无需人类演示解决奥林匹克几何题》论文，发表于《自然》（2024年1月）。该系统结合了在合成几何证明上训练的语言模型与符号演绎引擎，解决了30道IMO几何题中的25道，超越了IMO银牌得主的平均水平。

奖项与荣誉

  • ECML最佳论文奖（2007年） —— 因在ANU期间的核方法研究获奖。
  • MIT Technology Review 35岁以下创新者（2014年） —— 因对谷歌神经机器翻译和大规模无监督学习的贡献而入选。
  • ICML时间检验荣誉提名奖（2022年） —— 因2012年关于大规模无监督学习的「猫论文」，在发表十年后因其持久影响力而获奖。
  • ANU计算机学院校友荣誉获得者（2022年） —— 澳大利亚国立大学为表彰其职业成就而授予，作为该校计算机教育50周年纪念活动的一部分。
  • NeurIPS时间检验奖（2024年） —— 因2014年与Ilya Sutskever和Oriol Vinyals合著的《基于神经网络的序列到序列学习》。评奖委员会称seq2seq框架是现代AI的「基石」，它确立了编码器-解码器架构，并为大型语言模型奠定了基础。
  • 谷歌院士 —— 谷歌极少数获此头衔的研究者之一，是该公司最高的技术个人贡献者级别。

关键关系

  • 吴恩达（Andrew Ng） —— 斯坦福博士导师和谷歌大脑联合创始人；正是这段师生关系将Le带入谷歌，并塑造了他对大规模学习的研究方法。
  • Ilya Sutskever —— 谷歌大脑期间在seq2seq上的密切合作者；后来成为OpenAI联合创始人和首席科学家。他们2014年的论文至今仍是深度学习史上最具影响力的合作之一。
  • Oriol Vinyals —— 谷歌大脑同事和seq2seq合著者；后来担任谷歌DeepMind的Drastic Research副总裁。
  • Jeff Dean —— 谷歌大脑联合创始人和谷歌首席科学家；在Le的谷歌职业生涯中一直是高级同事，也是2012年「猫论文」的合著者。
  • Barret Zoph —— 神经架构搜索和EfficientNet的主要合作者；NAS研究项目是Le在谷歌期间最持续的合作。
  • Alex Smola —— 在ANU/NICTA的本科导师，通过核方法将Le引向严谨的机器学习研究。
  • Jason Wei —— 谷歌大脑的初级同事；思维链提示论文的合著者；后来分别加入了OpenAI和Meta。
  • Tomáš Mikolov —— Facebook AI研究院科学家；在谷歌大脑期间是doc2vec的合著者。

个人风格

Le的研究理念特点在于一种将人力从机器学习流水线中解放出来的执着——这驱使他提出了猫论文（大规模无监督学习）、seq2seq（端到端的翻译学习）和AutoML（无需人工调参的架构设计）。同事们指出，他对需要人工干预的流程缺乏耐心，更倾向于那些能用自动化取代繁琐专家劳动的问题。与他巨大的引用量相比，他的公众形象相对低调；他很少参与政策辩论或社交媒体上的AI讨论，更愿意让已发表的研究结果本身说话。他通过AI for Vietnam基金会持续参与越南事务，这反映了他个人致力于确保他帮助创造的技术能够惠及其最初开发环境以外的领域。

参考文献