Thomas M. Siebel 机器学习教授(斯坦福大学),斯坦福自然语言处理小组创始人,自然语言处理史上最具影响力的人物之一——以 GloVe 词向量、乘法注意力机制、Stanford CoreNLP、两本里程碑式教科书以及一门全球数十万人观看的研究生课程而闻名。
简介
| 领域 | 详情 |
|---|---|
| 出生 | 1965年9月18日 |
| 国籍 | 澳大利亚裔美国人 |
| 现任机构 | 斯坦福大学——计算机科学系与语言学系 |
| 现任职务 | Thomas M. Siebel 机器学习教授;斯坦福 HAI 副主任;AIX Ventures 普通合伙人 |
| 研究方向 | 自然语言处理、深度学习 NLP、计算语言学、信息检索、自然语言推理、通用依存关系 |
| 博士导师 | Joan Bresnan |
| 博士论文 | 作格性:论元结构与语法关系(斯坦福,1994) |
| 学术主页 | nlp.stanford.edu/~manning |
| 斯坦福简介页 | profiles.stanford.edu/chris-manning |
| X / Twitter | @chrmanning |
| GitHub | @manning |
| Google Scholar | scholar.google.com |
总览
Christopher Manning 是一位澳裔美籍计算机科学家与应用语言学家,他在斯坦福大学的职业生涯跨越三十余年,为自然语言处理做出了奠基性贡献。他是首任 Thomas M. Siebel 机器学习教授,在计算机科学和语言学两系担任联合教职,并于 2018 年至 2025 年担任斯坦福人工智能实验室(SAIL)主任。他的技术贡献包括 GloVe 词向量模型(EMNLP 2014,ACL 2024 时间检验奖)、乘法或双线性形式的注意力机制(Transformer 的点积注意力的直接扩展,EMNLP 2015,ACL 2025 时间检验奖)、树结构递归神经网络,以及斯坦福的一系列开源 NLP 软件——CoreNLP、Stanza 和 GloVe 工具包。他与他人合著的两本教科书——《统计自然语言处理基础》(1999)和《信息检索导论》(2008)——至今仍是该领域引用最广泛的参考书之一。他的课程 CS224N:自然语言处理与深度学习 免费在线提供多个版本,已惠及全球数十万学习者。IEEE 在授予他 2024 年约翰·冯·诺依曼奖章时称他为 „自然语言处理领域的顶尖研究者“。
早期生活与教育
Manning 在澳大利亚长大,并在澳大利亚国立大学攻读本科,于 1989 年获得优等荣誉学士学位,主修数学、计算机科学和语言学三个专业——这种罕见的组合预示了他日后直接处于这三门学科交汇点的职业生涯。
文学士(优等),数学 / 计算机科学 / 语言学 —— 澳大利亚国立大学,1989
哲学博士,语言学 —— 斯坦福大学,1994
Manning 在斯坦福大学师从词汇功能语法(LFG)领域的领军人物 Joan Bresnan,完成了语言学博士学位。他的论文《作格性:论元结构与语法关系》研究了作格性这一类型学现象——即某些语言将不及物动词的主语标记得像及物动词的宾语而不是主语——并将其置于语法关系的正式理论框架中。这种对形式语言学和类型语言学的深入理解,为他后来在句法依存表示和通用依存关系方面的工作奠定了基础,并使得他的计算语言学方法具有非同寻常的语言学原则性。
职业生涯
卡内基梅隆大学(1994–1996)
获得博士学位后,Manning 加入卡内基梅隆大学的计算语言学项目担任助理教授,开始了他的教学生涯,在短暂返回澳大利亚后,他又回到了斯坦福。
悉尼大学(1996–1999)
Manning 在悉尼大学语言学系担任了三年讲师 B 职位,在澳大利亚期间保持活跃的研究。
斯坦福大学(1999–至今)
Manning 于 1999 年回到斯坦福,担任计算机科学系和语言学系的助理教授,2006 年晋升为终身副教授,2012 年晋升为正教授。他于 2017 年成为首任 Thomas M. Siebel 机器学习教授。
斯坦福 NLP 小组 —— 创始人(1999–至今)
Manning 创立并领导斯坦福 NLP 小组超过二十五年,将其建设成为世界上最高产的自然语言处理研究环境之一,以及该领域从业者和学者的重要培养基地。该小组于 2025 年 10 月举办了 25 周年聚会。
Stanford CoreNLP 和开源 NLP(2002–至今)
从 2002 年起,Manning 倡导开发并维护文档齐全、生产品质的开源 NLP 软件——这在当时的学术 NLP 界是一个不同寻常的重点。Stanford CoreNLP 是一套基于 Java 的工具集,涵盖分词、词性标注、命名实体识别、共指消解和依存句法分析,在十多年间一直是该领域占主导地位的工具包。Stanza(2020)是一个基于神经网络方法的 Python 后继版本,将这一传统延续给了新一代从业者。GloVe 软件包(2014)发布了预训练的词向量,这些词向量成为了整个 NLP 领域标准流水线的输入。
SAIL —— 主任(2018–2025)
Manning 担任斯坦福人工智能实验室主任七年,在深度学习浪潮之后该领域迅速扩张期间,负责管理美国最著名的人工智能研究中心之一。
斯坦福 HAI —— 创始人与副主任
Manning 是斯坦福大学以人为本人工智能研究院的创始成员之一,并一直担任副主任,将他自己的 NLP 研究与 HAI 围绕人工智能与社会的更广泛使命联系起来。
CS224N:自然语言处理与深度学习(2012–至今)
Manning 的 CS224N 课程——至少从 2012 年开始以各种形式提供,2017、2019、2021、2023 和 2024 版的录像可免费在线获取——已成为事实上的全球研究生级 NLP 教育标准。该课程的多个版本已被斯坦福以外的数十万学习者观看,并培养了一代从业者,他们虽然无法接触到类似水平的机构项目,但通过这些课程进入了工业界。
AIX Ventures —— 普通合伙人(2021–至今)
2021 年,Manning 以普通合伙人(后称投资合伙人)身份加入 AIX Ventures,这是一家专注于人工智能初创公司的风险投资基金。这一角色反映了他与前博士生 Richard Socher 一起,致力于将学术 NLP 研究转化为商业应用。
ServiceNow Research —— 研究顾问
Manning 一直担任 ServiceNow Research 人类决策支持项目的研究顾问,在企业人工智能领域贡献应用 NLP 研究。
主要贡献
-
GloVe:用于词表示的全局向量 —— 与 Jeffrey Pennington 和 Richard Socher 合著(EMNLP 2014),GloVe 通过分解全局词-词共现统计信息(而非优化局部上下文窗口)来训练词向量表示。它在词相似性和类比任务上取得了领先水平的结果,同时比竞争方法更快、更易解释,并成为 Transformer 时代之前最广泛采用的嵌入模型之一。该论文在发表十年后获得了 ACL 2024 年时间检验奖——该领域对最具持久影响力论文的认可。
-
乘法 / 双线性注意力 —— 《基于注意力的神经机器翻译的有效方法》(Luong, Pham 和 Manning;EMNLP 2015)引入了对编码器-解码器隐藏状态的点积(乘法)注意力形式,作为 Bahdanau 等人加性注意力的更简单且更具可扩展性的替代方案。原始 Transformer 论文(《注意力就是一切》,2017)中的点积注意力机制是 Luong 等人公式的直接推广。该论文获得了 ACL 2025 年时间检验奖——这是 Manning 连续第三次获得此类奖项。
-
Stanford CoreNLP —— 于 2002 年首次发布并持续维护,Stanford CoreNLP 在十多年间成为学术界和工业界使用最广泛的生产品质自然语言处理工具包,提供了可靠、基于语言学的核心自然语言处理流水线实现。其开源可用性和详尽的文档使其成为无数应用级自然语言处理项目和研系统的基础。
-
Stanza —— 于 2020 年发布,Stanza 是一个 Python 自然语言处理库,为 70 多种语言提供分词、词性标注、词形还原和依存句法分析,基于神经网络方法设计,并与通用依存关系树库生态系统集成。
-
斯坦福依存关系与通用依存关系 —— Manning 是斯坦福依存关系表示(自 2006 年起)的主要架构师之一,该表示定义了一种类型化的依存语法,旨在以对自然语言处理应用有用的形式捕获表层语法关系。他随后领导了通用依存关系(UD)的开发,这是一种跨语言一致的标注标准,现已覆盖 100 多种语言,并成为多语言自然语言处理计算研究的基础。Manning 定律——即核心在前的语言倾向于使用介词,而核心在后的语言倾向于使用后置词这一经验规律——以他对通用依存关系与类型学文献的贡献命名。
-
树结构递归神经网络 —— Manning 团队在博士生 Richard Socher 的带领下,开发了递归神经网络,该网络使用共享参数处理树结构输入(特别是句法分析树),证明了组合性可以有效地学习,用于情感分析、语义相关性和自然语言推理。与这项工作一同发布的斯坦福情感树库(SST)至今仍是标准基准。
-
《统计自然语言处理基础》(与 Hinrich Schütze 合著;MIT Press,1999)—— 2000 年代概率性自然语言处理领域的权威研究生教材,向一代研究者介绍了用于句法分析、标注、词义和机器翻译的统计方法。该书至今仍在使用,并可免费在线获取。
-
《信息检索导论》(与 Prabhakar Raghavan 和 Hinrich Schütze 合著;Cambridge University Press,2008)—— 信息检索领域的标准研究生教材,涵盖布尔模型和向量空间模型、概率检索、索引和评估。同样可免费在线获取,已在全球多所大学被广泛采用。
-
自然语言推理与文本蕴含 —— Manning 团队对自然语言推理做出了重要贡献,包括早期关于识别文本蕴含(RTE)的工作,以及斯坦福自然语言推理(SNLI)语料库——这是第一个用于训练和评估自然语言推理模型的大规模、众包数据集,成为了推动句子表示方法发展的标准基准。
奖项与认可
- 美国国家工程院(2025)—— 因自然语言处理方法的开发与推广而当选。
- 美国艺术与科学院(2025)
- ACL 时间检验奖 —— 连续三次获奖:GloVe(ACL 2024);乘法注意力(ACL 2025);以及早一年的一次,反映了在多项研究线索中非同寻常的持续影响力。
- IEEE 约翰·冯·诺依曼奖章(2024)—— 因 „在自然语言的计算表示与分析方面的进展“ 而获奖;颁奖词形容 Manning 为 „自然语言处理领域的顶尖研究者“。
- 阿姆斯特丹大学荣誉博士学位(2023)
- 计算语言学协会主席(2015)
- ACM 会士(2013)—— 因对统计自然语言处理的贡献。
- 首任 ACL 会士(2011)—— ACL 设立的首批会士之一。
- AAAI 会士(2010)
- ACL、COLING、EMNLP 和 CHI 最佳论文奖(职业生涯中多次)
学术传承
Manning 在斯坦福的职业生涯中指导了大量博士生。其中最著名的包括:
- Dan Klein —— 开发了最先进的无监督和判别式句法分析算法;现任加州大学伯克利分校教授;是他那一代最有影响力的句法分析研究者之一。
- Richard Socher —— 开发了树递归神经网络、GloVe 和深度自然语言处理系统;后担任 Salesforce 首席科学家;共同创立了 MetaMind;现任 you.com 首席执行官,并与 Manning 同在 AIX Ventures 担任普通合伙人。
- Danqi Chen —— 在阅读理解(DrQA)和依存句法分析方面有贡献;现任普林斯顿大学副教授,在问答和稠密检索方面具有重要影响力。
- Sepandar Kamvar —— 在大规模图算法方面做出了早期贡献;后从事社会计算与社区设计工作。
- Thang Luong —— 作为 Manning 的博士生开发了乘法注意力机制;后任 Google Brain 研究科学家。
重要关系
- Joan Bresnan —— 斯坦福博士导师;Manning 的学位论文属于形式语言学(LFG),Bresnan 的影响体现在他基于原则的句法自然语言处理工作(包括依存表示)的语法基础中。
- Hinrich Schütze —— 两本主要教科书的合著者;跨越数十年的长期合作关系。
- Richard Socher —— Manning 最有影响力的博士生之一;他们的实验室合作产生了 GloVe、树递归网络和斯坦福情感树库;现在 AIX Ventures 是合作者。
- Danqi Chen —— 负责阅读理解和问答方面重要工作的博士生;现任普林斯顿大学领军教职人员;代表了 Manning 通过学生安置对领域影响的深度。
- Fei-Fei Li —— 斯坦福同事兼斯坦福 HAI 共同创始人;他们的机构合作帮助将 HAI 建设成为负责任人工智能研究的领先中心。
- Dan Jurafsky —— 长期斯坦福同事;与 Manning 共同讲授了 2012 年 Coursera 自然语言处理大规模开放在线课程,这是最早的大规模在线自然语言处理课程之一;还在 2024 年共同讲授了关于自然语言处理历史的 CS 324H 课程。
- Yann LeCun —— Manning 最著名的专业追随者之一;在 Manning 从自然语言处理领域帮助推动的深度学习用于自然语言处理的更广泛轨迹上有所交集。
个人风格
Manning 的研究身份以深度语言学知识与经验严谨性的结合为特征——在一个常将两者视为替代而非互补的领域,这种组合并不多见。他自 2002 年起致力于开源软件,这反映了他的信念:研究的影响需要可复现性和可及性,而不仅仅是发表。他的在线教学——CS224N 视频是任何学术领域观看次数最多的技术讲座系列之一——将这一理念延伸到了教育领域。在公共沟通中,Manning 将精确性与直率相结合,并且非常愿意指出领域中的潮流何时超越了它的理解;他对评估实践和基准有效性的评论反映了在一个有时更关注基准测试性能的文化中对科学诚信的持续关注。他公开认同自己的澳大利亚身份,并将其融入到了他的公众形象中——他的个人网站和 X 简介都注明了国籍——这或许是对他所处的斯坦福-硅谷文化引力的一种温和平衡。
参考文献
- Wikipedia — Christopher D. Manning
- Personal website — nlp.stanford.edu/~manning
- Stanford Profiles
- X / Twitter — @chrmanning
- GitHub — @manning
- Digg profile
- Google Scholar
- GloVe project page — nlp.stanford.edu/projects/glove
- Stanford NLP Group
- CS224N course — YouTube
- IEEE John von Neumann Medal citation (2024)
- ServiceNow AI Research profile