William "Liam" Fedus

维基
, , , ,
1

物理学家转AI研究员，在OpenAI共同创建了ChatGPT，提出了Switch Transformer，并共同创立了Periodic Labs，致力于打造用于物理发现的AI科学家。

个人简介
国籍 美国
现任机构 Periodic Labs（联合创始人）
研究领域 大型语言模型、后训练、混合专家模型、强化学习、AI for Science
博士导师 Yoshua Bengio、Hugo Larochelle
博士论文 （题目未确认）（蒙特利尔大学，约2021年）
个人网站 acsweb.ucsd.edu/~wfedus
X / Twitter @LiamFedus
GitHub liamb315
Google Scholar William Fedus — 引用超过51,900次

概述

William Fedus（大家普遍称呼他为Liam）是一位美国AI研究员，其职业生涯从理论物理学直接延伸到了当今时代一些最具影响力的模型开发中。他最为人所知的是共同撰写了关于Switch Transformer的论文（2021年），该论文证明了稀疏混合专家（MoE）路由可以在恒定计算成本下将语言模型扩展到万亿参数规模，这一结果此后影响了所有主要前沿模型系列的架构。在OpenAI（他于2022年加入），他是构建ChatGPT的小型创始团队成员之一，并最终晋升为后训练研究副总裁，之后于2025年3月离职，共同创立了Periodic Labs。这家初创公司筹集了由Andreessen Horowitz领投的3亿美元种子轮融资，正在构建将AI生成的假设与机器人实验相结合的自主物理实验室，其首个领域瞄准材料发现——最雄心勃勃的目标是室温超导体。

早年经历与教育

Fedus接受的是物理学家的训练。他在麻省理工学院获得了物理学学士学位，期间为DMTPC（暗物质时间投影室）合作项目——一个定向暗物质探测器实验——做出了贡献。随后，他前往加州大学圣地亚哥分校攻读物理学硕士学位，由David Meyer和Gary Cottrell共同指导，在此期间他的兴趣转向了物理学的计算方向。2017年，他进入蒙特利尔大学攻读计算机科学博士学位，加入Mila生态系统，并在Yoshua Bengio和Hugo Larochelle的共同指导下工作。在攻读博士学位期间，他同时在Google Brain担任学生研究学者，于2016年和2017年在那里完成实习，之后转为全职研究角色。

职业生涯

Google Brain (2016–2022)

Fedus与Google Brain的关系始于2016年夏/秋季的实习，研究生成对抗网络；随后于2017年冬/春季进行第二次实习。开始攻读博士学位后，他从2018年起继续以学生研究学者的身份嵌入Google Brain——这是一种常见的安排，使他能够在进行学术研究的同时，为谷歌规模的项目做出贡献。他在此期间最重要的成果是Switch Transformer（2021年），与Barret Zoph和Noam Shazeer共同撰写。该论文展示了用学习到的路由机制（为每个token选择一个专家——即“开关”）取代Transformer中标准的前馈密集层，可以在相同计算预算下，相比T5同等基线实现高达7倍的预训练加速。该论文发表在《机器学习研究杂志》上，已被引用超过4000次。该架构奠定了MoE的基础，随后被Mixtral、GPT-4和Gemini等模型所采用。

OpenAI (2022年–2025年3月)

Fedus于2022年从谷歌加入OpenAI。他是构建并于2022年11月推出ChatGPT的小团队的一员——多个消息来源称这是AI历史上最具影响力的产品发布之一。随后，他负责OpenAI的后训练研究职能，这包括基于人类反馈的强化学习（RLHF）、指令微调和对齐微调工作，这些工作将预训练的基础模型转化为可部署的助手。他团队的工作为GPT-4、GPT-4o和Operator（现称Agent）产品做出了贡献。2024年秋季，他正式晋升为后训练研究副总裁，这是对其团队在OpenAI产品管线中核心地位的认可。他于2025年3月向同事宣布离职，并将其描述为一次友好的过渡：OpenAI最初表示计划投资并与他的新企业合作，尽管该投资最终并未实现。

Periodic Labs (2025年3月–至今)

离开OpenAI后，Fedus与前Google DeepMind材料科学与化学研究负责人Ekin Doğuş Çubuk共同创立了Periodic Labs。该公司于2025年9月结束隐秘状态，并获得了由a16z领投的3亿美元种子轮融资——这是史上最大规模的种子轮之一，Felicis写了第一张支票。其他投资者包括DST、NVentures（英伟达的风险投资部门）、Accel，以及包括Jeff Bezos、Elad Gil、Eric Schmidt和Jeff Dean在内的天使投资人。Periodic的核心论点是，在AI模型提出实验、机器人系统执行实验的自主物理实验室中，可以生成高质量、分布外的训练数据，这是从互联网抓取的语料库无法提供的。该公司组建了一个约26人的创始团队，涵盖AI、材料科学和实验物理学领域，成员包括Alexandre Passos（o1和o3的创建者之一）、Dzmitry Bahdanau（神经注意力机制的创建者之一）和Rishabh Agarwal。其首个科学目标是发现高温超导体；同时，它正在与一家未具名的半导体制造商合作解决散热难题。

主要贡献

  • Switch Transformer (arXiv 2101.03961, JMLR 2022; 与Zoph和Shazeer合作) — 证明了将MoE路由简化为每个token的单个专家“开关”，可以在恒定FLOPs下实现万亿参数模型，相比密集的T5基线，预训练速度提升高达7倍；成为所有后续稀疏LLM架构的基石，引用超过4000次。
  • 共同创建ChatGPT — 是2022年11月构建并推出ChatGPT的创始团队成员，塑造了后训练方法论（RLHF + 指令微调），该方法论成为对齐对话式AI的模板。
  • OpenAI的Operator / Agent — Periodci的自身资料显示，他是创建OpenAI智能体产品的团队成员，该产品使模型能够在浏览器和软件环境中自主执行操作。
  • 重新审视经验回放的基础 (ICML 2020; 与Ramachandran, Agarwal, Bengio, Larochelle, Rowland, Dabney合作) — 系统的实证分析表明，更大的回放缓冲区和更高的回放比率以此前未被充分认识的方式显著改进了Q学习智能体；是基础强化学习系统领域的贡献。
  • Periodic Labs — 联合创立并以3亿美元种子轮融资，旨在构建自主科学实验室，利用物理现实作为AI科学家的强化学习奖励信号，以超导体为起点瞄准材料发现。

奖项与认可

  • Periodic Labs的3亿美元种子轮融资 (2025年) — AI历史上最大的种子轮之一，反映了创始团队在ChatGPT、Switch Transformer、GNoME和神经注意力方面的卓越成就。
  • Google Scholar引用次数 — 累计超过51,900次引用，仅Switch Transformer一项就贡献了超过4,000次。
  • OpenAI后训练副总裁 (2024年秋季晋升) — OpenAI最高研究领导职位之一，直接负责监督决定部署模型质量的微调工作。

关键关系

  • Yoshua Bengio 与 Hugo Larochelle — 在Mila/蒙特利尔大学的博士联合导师；Bengio尤其代表了Fedus从物理学背景进入深度学习主流的契机。
  • Barret Zoph 与 Noam Shazeer — 在Google Brain共同撰写Switch Transformer论文；Shazeer现为Character.AI首席执行官，是Transformer架构的奠基人之一。
  • Ekin Doğuş Çubuk — Periodic Labs联合创始人；前Google DeepMind材料科学家，GNoME论文的第一作者；Fedus的LLM后训练专业知识与Çubuk的实验材料科学背景的结合是公司的核心学术理念。
  • Dzmitry Bahdanau — Periodic Labs团队成员，原始神经注意力机制的创建者（2014年Bahdanau等人的论文）；他的加入彰显了Fedus所汇聚的科学人才的深度。
  • Rishabh Agarwal — Periodic Labs团队成员，与Fedus合作撰写了经验回放论文；来自Google Brain的杰出强化学习研究员。
  • Alexandre Passos — Periodic Labs团队成员；被认为是OpenAI的o1和o3推理模型的创建者之一，为材料发现使命带来了前沿推理专业知识。
  • Sam Altman / OpenAI 领导层 — Fedus的离职被公开描述为友好，Altman的组织将“AI for Science”视为对通用人工智能“具有战略重要性”，这突显了Periodic的使命与OpenAI的长期目标是一致的。

个人风格

Fedus的学术身份建立在一个真正物理学家的性格之上：偏好可验证的客观真理、对基准测试饱和持怀疑态度、以及本能地询问模型的能力是否已经过现实检验而非仅在训练分布内检验。这体现在Switch Transformer强调测量实际的挂钟加速而非理论FLOPs、在他的后训练工作中关注部署模型为用户实际做了什么、以及最直接地体现在Periodic的核心前提中：即AI只有通过运行真实实验并在真实实验室中失败，才能学习到真正的科学推理。对于一个拥有如此履历的人来说，他的公开沟通出奇地低调——他离开OpenAI的推文因其温暖而非自我宣传而引人注目。

参考资料