Nando de Freitas

维基
, , , ,
1

机器学习研究员、连续学术创业者、微软AI副总裁，其在贝叶斯推断、序贯蒙特卡洛方法、贝叶斯优化和深度学习方面的基础性贡献，横跨三个十年、四个机构，塑造了该领域的发展。

个人档案

领域 详细信息
全名 Nando de Freitas
出生日期 未公开
出生地 津巴布韦
国籍 南非/葡萄牙（在津巴布韦、莫桑比克、葡萄牙、委内瑞拉和南非长大）
现任机构 微软AI
现任职务 人工智能副总裁
研究领域 贝叶斯推断、序贯蒙特卡洛、贝叶斯优化、深度学习、强化学习、多模态AI
博士论文 用于神经网络的贝叶斯方法 (2000)
博士导师 Andrew Howard Gee, Mahesan Niranjan, Christophe Andrieu, Arnaud Doucet
个人网站 (UBC) cs.ubc.ca/~nando
牛津大学页面 cs.ox.ac.uk/people/nando.defreitas
微软AI页面 microsoft.ai/team/nando-de-freitas
X / Twitter @NandoDF
GitHub nandodf
Google Scholar nzEluBwAAAAJ

概述

Nando de Freitas 是现代机器学习领域最具广泛影响力的研究者之一，三十多年来在贝叶斯概率方法、贝叶斯优化和深度学习方面做出了开创性贡献。他曾任不列颠哥伦比亚大学（2001-2014）和牛津大学（2013-2017）教授，创立的两家公司分别被CNN和Google DeepMind收购，并在DeepMind领导了约十年的生成式音频和图像系统研究工作。2024年9月，他加入微软AI担任副总裁，领导一个专注于多模态感知与生成的团队。他的出版物涵盖多篇在ICML、ICLR和IJCAI上获得最佳论文奖的作品，并被认为是机器学习中粒子滤波和贝叶斯优化社区的联合创始人。在研究之余，他通过“深度学习因达巴”（Deep Learning Indaba）和“基普AI”（Khipu AI）等倡议，长期致力于非洲和拉丁美洲的AI教育。

早年生活与教育

德弗雷塔斯出生于津巴布韦，在莫桑比克、葡萄牙、委内瑞拉和南非等多个国家长大，之后在约翰内斯堡的金山大学（Wits）完成了本科和硕士学业。他与神经网络的接触源于本科最后一个学年的一项项目，该项目为南非矿山使用的控制阀构建诊断工具，他将其描述为决定其整个职业生涯的经历。他曾谈到自己早年学术生涯的经济拮据，最初计划放弃研究生学业去工作，后来在一位剑桥教授的鼓励下，以及在其父亲遭遇暴力去世后，家人希望他继续学业的愿望下，才坚持了下来。

工学学士（优等），电子工程，金山大学，1991–1994。获得伯纳德·普莱斯奖（电子工程专业最佳毕业生）、电气工程师学会奖、南非工程委员会优异奖章等多项奖项。

理学硕士（优等），控制系统，金山大学，1994–1996。论文：用于系统辨识与故障检测的基于神经网络的非参数回归。获得南非研究发展基金会资助以及葡萄牙政府授予的“南部非洲最高学术成就葡萄牙学生奖章”（1995）。

博士，神经网络中的贝叶斯方法，剑桥大学三一学院，1996–2000。导师：Andrew Howard Gee、Mahesan Niranjan、Christophe Andrieu和Arnaud Doucet。获得剑桥联邦信托基金奖学金、三一学院外部研究生奖学金、南非研究发展基金会海外博士奖学金等资助。

职业生涯

加州大学伯克利分校——博士后研究员（1999–2001）

在Stuart Russell的AI小组工作，德弗雷塔斯在机器学习、计算机视觉、图像检索、变分推断、粒子滤波和MCMC模拟等方面积累了专业知识。这段时期产生了他关于序贯蒙特卡洛方法的一些最具持久影响力的早期论文。

不列颠哥伦比亚大学——教授（2001–2014）

德弗雷塔斯加入UBC计算机科学系担任终身轨教职，并晋升为正教授。在此期间，他建立了一个高产的研究小组，指导了多名博士生毕业，与他人合编了基础性著作《序贯蒙特卡洛方法实践》（Doucet, de Freitas, Gordon, 2001），并发表了被广泛引用的《机器学习中的MCMC导论》（Andrieu, de Freitas, Doucet, Jordan, Machine Learning, 2003）。他将研究衍生的两所公司联合创立：一是Zite，一个基于推荐机器学习的个性化新闻应用程序，由他与学生Eric Brochu和Mike Klaas共同开发，后被CNN收购，成为“CNN趋势”（CNN Trends）的引擎；另一家是后来的深蓝实验室（Dark Blue Labs，见下文）。他获得了查尔斯·A·麦克道尔卓越研究奖（2013）、MITACS青年研究员奖（2010）、Killam教职研究奖学金（2008）、CIFAR奖学金（2009）以及四次UBC杰出讲师奖（2002、2003、2004、2009）。他曾任UAI 2013大会主席。在转至牛津大学后，他继续担任UBC的兼职教授。

牛津大学——教授（2013–2017）

德弗雷塔斯加入牛津大学计算机科学系担任正教授，并成为利纳克学院院士。他的小组在深度强化学习、程序归纳和多模态序列学习方面产出了里程碑式的工作。其间的关键出版物包括“决斗网络架构”论文（ICML 2016最佳论文）、“神经编程器-解释器”（ICLR 2016最佳论文）和LipNet（2016）。他于2017年4月正式离开牛津大学。

Google DeepMind（2014–2024）

2014年10月，DeepMind收购了深蓝实验室（Dark Blue Labs），这是一家由德弗雷塔斯联合创立的牛津大学衍生公司，同时对两支英国AI团队进行了收购式招聘（acqui-hire）。德弗雷塔斯作为首席研究科学家加入DeepMind，后领导负责生成音频和图像工具开发的团队。他在DeepMind的十年涵盖了深度强化学习、生成式建模和大规模学习系统方面的基础性工作。他在收购同期获得了2014年谷歌教师研究奖。

微软AI——副总裁（2024年9月至今）

德弗雷塔斯于2024年9月加入微软AI担任人工智能副总裁。他是多模态团队的一员，专注于感知与生成——即理解图像内容和生成交互式媒体。他将自己的目标描述为：赋能一个工程师和研究人员团队，同时个人保持贴近研究、编码和最新文献。在此期间他的公开言论反映出他对AI扩展、安全性以及强大AI系统社会影响的高度关注。

主要贡献

  • 《机器学习中的MCMC导论》（Andrieu, de Freitas, Doucet, Jordan; Machine Learning, 2003）——概率机器学习领域最具影响力的教程论文之一；向一代机器学习研究者介绍了马尔可夫链蒙特卡洛方法，并至今仍是研究生课程的标准参考读物。

  • 《序贯蒙特卡洛方法实践》（编辑卷，Doucet, de Freitas, Gordon; Springer, 2001）——联合编辑了粒子滤波领域的基础性著作，该著作规范了术语，并汇聚了研究序贯贝叶斯推断的社区。

  • 《将人类排除在循环之外：贝叶斯优化综述》（Shahriari, Swersky, Wang, Adams, de Freitas; Proceedings of the IEEE, 2016）——一篇关于贝叶斯优化的全面综述，成为该领域的标准参考，在机器学习、AutoML和实验设计社区中被广泛引用。

  • REMBO：通过随机嵌入进行高维贝叶斯优化（Wang, Zoghi, Hutter, Matheson, de Freitas; IJCAI 2013，杰出论文奖）——利用随机线性嵌入将贝叶斯优化扩展到十亿维空间，使其能够应用于大规模超参数和算法配置问题。

  • 用于深度强化学习的决斗网络架构（Wang, de Freitas, Lanctot; ICML 2016，最佳论文）——引入了用于深度Q网络的决斗架构，该架构将状态价值估计和优势估计分离，并在Atari基准测试中达到了当时最先进的性能。

  • 神经编程器-解释器（Reed, de Freitas; ICLR 2016，最佳论文）——提出了一种能够学习表示和执行程序的循环网络，推进了程序归纳研究方向，并对后续的神经推理和代码生成工作产生了影响。

  • LipNet（Assael, Shillingford, Whiteson, de Freitas; 2016）——首个进行端到端句子级唇读的深度学习系统，在其基准测试中准确率远高于人类水平，并在语音、视觉和无障碍社区引起了广泛关注。

  • 深蓝实验室（Dark Blue Labs）——由德弗雷塔斯联合创立的牛津大学衍生公司，于2014年被DeepMind收购，是显著增强DeepMind在自然语言和音频方面研究能力的交易之一。

  • Zite——与UBC学生共同开发的新闻个性化初创公司，被CNN收购并部署为“CNN趋势”的推荐引擎，展示了贝叶斯机器学习的早期工业级应用。

  • YouTube机器学习课程——在UBC录制的免费本科和研究生机器学习系列讲座，是该领域最早且观看最广泛的开放课程之一，并成为MOOC时代机器学习课程的典范。

  • 深度学习因达巴（Deep Learning Indaba）和基普AI（Khipu AI）——德弗雷塔斯表达过个人承诺的教育倡议，分别支持非洲和拉丁美洲机器学习研究社区的发展。

奖项与荣誉

  • ICML 2016 最佳论文奖——《用于深度强化学习的决斗网络架构》
  • ICLR 2016 最佳论文奖——《神经编程器-解释器》
  • KDD 2015 Yelp数据集挑战奖——多实例迁移学习论文
  • IJCAI 2013 杰出论文奖——REMBO（高维贝叶斯优化）
  • 查尔斯·A·麦克道尔卓越研究奖（2012/2013）——UBC对教职人员最高的研究荣誉
  • 谷歌教师研究奖（2014）——因深度学习方面的工作，在深蓝实验室收购同期颁发
  • MITACS青年研究员奖（2010）——信息技术与复杂系统数学
  • CIFAR奖学金（2009）——神经计算与自适应感知项目，加拿大高等研究院
  • Killam教职研究奖学金（2008）——UBC
  • UBC杰出讲师奖——四次：2002、2003、2004、2009
  • ECCV 2004 认知计算机视觉方向最佳论文奖——与Kenji Okuma、Ali Taleghani、James Little和David Lowe
  • ECCV 2002 认知计算机视觉方向最佳论文奖——与Pinar Duygulu、Kobus Barnard和David Forsyth
  • 剑桥联邦信托基金奖学金（1997）
  • 葡萄牙政府奖章（1995）——授予南部非洲最高学术成就的葡萄牙学生
  • 伯纳德·普莱斯奖（1994）——电子工程最佳应届毕业生，金山大学

关键合作关系

  • Arnaud Doucet——剑桥大学博士联合导师及长期合作者；共同编辑了基础性的粒子滤波著作，并共同撰写了令他们成为序贯蒙特卡洛领域权威的MCMC教程论文。

  • Stuart Russell——加州大学伯克利分校博士后导师；引导德弗雷塔斯进入北美AI研究社区，并塑造了他将概率推理与机器学习相结合的方式。

  • Yannis Assael——牛津大学在读博士（DPhil）学生；LipNet的共同第一作者，现任Google DeepMind高级职员研究科学家；是德弗雷塔斯牛津研究小组最成功的毕业生之一。

  • Ziyu Wang——牛津大学在读博士（DPhil）学生；《决斗网络》论文（ICML 2016最佳论文）和REMBO论文的第一作者；代表了德弗雷塔斯研究小组的深度强化学习方向。

  • Scott Reed——牛津/DeepMind的合作者；《神经编程器-解释器》（ICLR 2016最佳论文）的合著者，后来成为大规模生成式建模的关键人物。

  • Jakob Foerster——牛津大学在读博士（DPhil）学生；合著了多智能体通信方面的工作，后成为牛津大学教职人员并联合创立了Recursive.AI。

  • Christophe Andrieu——剑桥大学博士联合导师；在博士期间及之后合作撰写了基础性的MCMC和粒子滤波论文。

  • Mustafa Suleyman——微软AI的首席执行官；正是他将德弗雷塔斯从DeepMind（苏莱曼是DeepMind的联合创始人之一）招募至微软AI。

个人风格

德弗雷塔斯的研究生涯以其异常广泛的领域覆盖为特点：他发表了贝叶斯统计学的基础理论工作、强化学习方面的算法贡献、计算机视觉和语音方面的应用工作，以及通过公司衍生做出的系统级贡献。他将自己的主要驱动力描述为并非某个特定的子领域，而是关于“什么是智能以及大脑如何工作”的问题——这一框架可追溯至他在南非作为一名本科生所做的第一个神经网络项目。在X（@NandoDF）上，他的帖子反映了同样广泛的取向：关于AI扩展和安全的技术性评论、对全球南方AI教育的倡导、哲学思考，以及偶尔关于其背景的个人随笔。他曾公开谈论在多个国家成长的经历、在种族隔离期间经历的种族歧视，以及杰出的教师在成就他人生轨迹中所起的作用——这些立场体现在他长期投身于非洲和拉丁美洲教育倡议的行动中。

参考文献