Barret Zoph

维基
, , , ,
1

研究科学家，发明了神经架构搜索（Neural Architecture Search），共同创建了Switch Transformer，并在担任Thinking Machines Lab首席技术官（经历一段动荡时期）之前，负责设计了OpenAI的训练后功能。

简介
国籍 美国
现任机构 OpenAI（2026年1月重新加入）
研究领域 神经架构搜索、自动化机器学习（AutoML）、稀疏专家混合、训练后优化、基于人类反馈的强化学习（RLHF）、计算机视觉、自然语言处理（NLP）
教育背景 计算机科学背景；曾隶属于南加州大学信息科学研究所（NLP团队，2014–2016年）——高级学位细节未经确认
个人网站 barretzoph.github.io
X / Twitter @barret_zoph
GitHub barretzoph
Google Scholar Barret Zoph

概述

Barret Zoph是一位美国AI研究员，其职业生涯覆盖了现代深度学习中最具影响力的两个方法论变革。在Google Brain期间，他与Quoc V. Le共同引入了神经架构搜索（NAS）——首次证明强化学习能够自动发现具有竞争力的神经网络设计——并后来共同创建了Switch Transformer，使万亿参数规模的稀疏专家混合模型变得切实可行。在OpenAI（他在ChatGPT发布前夕加入），他与John Schulman从零开始建立了训练后团队，负责塑造GPT-4及后续模型的RLHF对齐和微调工作。随后，他于2024年10月与Mira Murati共同创立了Thinking Machines Lab并担任CTO，但于2026年1月在充满争议的情况下被解雇；Murati宣布其离职时称其行为存在“不道德行为”，而Zoph公开否认这一描述，并声称他是在管理层得知其打算离开后才被解雇。他于同日重返OpenAI。

早期生活与教育

关于Zoph的早期背景或本科教育，公开记录甚少。他最早发表的作品出现在南加州大学（USC）下属研究机构——信息科学研究所（ISI），在那里他与教授Kevin Knight和Daniel Marcu合作研究统计机器翻译。其在ISI期间（2015–2016年）的论文涵盖了多源神经翻译、RNN词汇量扩展以及翻译信息论。他于2016年直接过渡到Google Brain，时间点与其首次NAS论文提交相吻合。他是否在USC完成研究生学业或提前离开，在现有公开资料中无法确认。

职业生涯

南加州大学信息科学研究所 —— NLP团队（约2014年–2016年初）

在Kevin Knight的NLP团队工作期间，Zoph合著了多篇关于神经机器翻译的论文，包括多源架构（NAACL 2016，口头报告）、低资源机器翻译的迁移学习（EMNLP 2016）以及大规模RNN的词汇效率问题。这些早期工作为他奠定了序列到序列神经模型的扎实基础，并使他亲身体验到为NLP手工设计架构的挑战——这正是他随后希望用算法解决的问题。

Google Brain（2016年–2022年8月）

Zoph于2016年初加入Google Brain，担任研究科学家，后晋升为高级研究科学家。在六年多的时间里，他产出的研究成果可分为三个相互重叠的方向：

神经架构搜索与AutoML。 奠基性论文《Neural Architecture Search with Reinforcement Learning》（ICLR 2017，与Quoc V. Le合作）使用基于REINFORCE算法训练的控制器RNN来生成子网络描述，并在CIFAR-10和Penn Treebank上对其进行优化。该论文在准确性上达到了与手工设计网络相当的水平，引起了《纽约时报》的关注，并催生了NAS子领域。后续的NASNet（CVPR 2018，与Vasudevan、Shlens和Le合作）表明，在CIFAR-10上找到的单元级架构可以迁移到ImageNet，实现了全自动设计下的最先进水平。ENAS（ICML 2018，与Pham、Guan、Le和Dean合作）通过参数共享大幅降低了搜索成本。这些论文共同催化了Google的AutoML产品线，并使NAS成为主流话题。

数据增强与计算机视觉。 与Ekin Doğuş Çubuk（后来成为Periodic Labs联合创始人）、Jonathon Shlens和Quoc Le一起，Zoph推动了一系列原则性强的增强论文：AutoAugment（CVPR 2019，口头报告）通过RL为每个数据集搜索增强策略；RandAugment（NeurIPS 2020）将搜索简化为两个超参数，并达到相同或更好的准确性；以及用于目标检测的基于学习的增强（ECCV 2020）。SpecAugment（Interspeech 2019）将对数梅尔频谱图直接应用频率和时间掩蔽，成为语音识别训练中最常被引用的增强技术之一。AugMix（ICLR 2019）提高了对分布外数据的鲁棒性。Revisiting ResNets（NeurIPS 2021，亮点论文）将架构改进从训练和扩展改进中分离出来，表明分类领域报告的许多进展实际上是由后者驱动的。

稀疏语言模型。 Zoph在Google Brain的最后一个时期专注于通过稀疏性扩展语言模型。Switch Transformers（JMLR 2022，与William Fedus和Noam Shazeer贡献相当）展示了在万亿参数规模下采用单专家路由，相比密集T5基线实现了4–7倍的预训练加速。GLaM（2021年，与Nan Du、Yanping Huang等人合作）训练了一个1.2万亿参数的MoE模型，在29项NLP任务上达到或超过GPT-3的水平，而能耗仅为后者的三分之一。ST-MoE（arXiv 2022，与Irwan Bello、Sameer Kumar等人合作）解决了大规模稀疏编码器-解码器模型中的训练不稳定性问题，并在SuperGLUE上取得了最优结果。他还担任了Google搜索多任务大语言模型MuM（多任务统一模型）的研究技术负责人。

OpenAI —— 研究副总裁，训练后部门（2022年9月–2024年10月）

Zoph于2022年9月加入OpenAI，仅在ChatGPT内部发布前几周。他与John Schulman一起从零开始建立了训练后团队，负责对齐、RLHF流程、工具使用、评估、多模态和搜索集成。他的团队训练并交付了在此期间驱动ChatGPT和API的模型，包括为GPT-4及o1推理模型底层基础设施所做的贡献。他于2024年10月离开，共同创立了Thinking Machines Lab。

Thinking Machines Lab —— CTO兼联合创始人（2024年10月–2026年1月14日）

Zoph加入了Mira Murati新成立的AI实验室，担任联合创始人兼CTO。该公司据报获得了由Andreessen Horowitz领投的20亿美元种子轮融资，AMD、英伟达和Jane Street等机构参与投资，估值约为120亿美元。他的任职期大约持续了三个月，之后在争议中结束。2026年1月14日，Murati在一次公司全员大会上宣布了他的离职，消息人士称原因为“不道德行为”；一位知情人士告诉《连线》杂志，他被指控与竞争对手公司共享机密信息。Zoph向《华尔街日报》完全否认了这些描述：“Thinking Machines Lab只有在得知我将离开公司后才终止了我的聘用。仅此而已。TML从未以任何绩效原因或我存在任何不道德行为作为解雇我的理由，任何与此相反的暗示都是虚假和诽谤性的。”《华尔街日报》还报道称，Murati此前（2026年夏天）发现他在OpenAI工作期间与一位初级同事开始了一段恋情——Zoph最初否认，后来他和该女性向Murati承认此事——之后Murati对他的表现有所担忧。这两套说法至今在公开层面仍未有定论。Soumith Chintala（PyTorch联合创始人）被任命接替Zoph担任CTO。

OpenAI（2026年1月15日至今）

Zoph于2026年1月15日，即在被Thinking Machines解雇的第二天，与Luke Metz和Samuel Schoenholz一起重返OpenAI。OpenAI应用部门首席执行官Fidji Simo宣布了重新聘用，并指出OpenAI并不赞同Murati对Zoph行为的描述。他当前的职位和职责尚未公开说明。

主要贡献

  • 《使用强化学习的神经架构搜索》（ICLR 2017，与Quoc Le合作）——开创NAS领域的论文；展示了RL引导的自动化网络设计能在CIFAR-10和Penn Treebank上与手工设计的架构相媲美。被《纽约时报》和《麻省理工科技评论》报道；维基百科将该论文视为NAS条目的起因。
  • NASNet / 学习可迁移架构（CVPR 2018，与Vasudevan、Shlens、Le合作）——将NAS扩展到生成可从CIFAR-10迁移到ImageNet的单元级模块，确立了自动化设计的可迁移性范式。
  • AutoAugment（CVPR 2019，口头报告，与Cubuk、Mane、Vasudevan、Le合作）——首个通过学习为每个数据集制定图像增强策略的规范化方法；在CIFAR-10/100、SVHN和ImageNet上达到最优水平。
  • SpecAugment（Interspeech 2019，与Park、Chan、Zhang、Chiu、Cubuk、Le合作）——将对数梅尔频谱图直接应用时间和频率掩蔽增强；成为语音识别训练流程的标准组件。
  • Switch Transformers（JMLR 2022，与Fedus和Shazeer贡献相当）——将MoE路由简化为每个token对应一个专家，训练了首个万亿参数语言模型，并实现了4–7倍的预训练加速；是所有后续稀疏LLM家族的基石。
  • GLaM（arXiv 2021，与Du、Huang、Dai等人合作）——1.2万亿参数的MoE模型，训练能耗仅为GPT-3的三分之一，展示了稀疏激活扩展的效率天花板。
  • OpenAI的训练后基础设施 —— 与John Schulman共同构建了将GPT-4转变为ChatGPT的RLHF和指令微调流程；带领团队在OpenAI API中交付了对齐、工具使用和多模态能力。

奖项与认可

  • ICLR 2017 口头报告 —— NAS论文被接收为口头报告，这是该会议最具竞争力的类别。
  • NeurIPS 2021 口头报告 —— 《Rethinking Pre-training and Self-training》。
  • NeurIPS 2021 和 CVPR 2021 亮点报告 —— 分别关于Revisiting ResNets和Progressive NAS的后续工作。
  • 《纽约时报》和《麻省理工科技评论》专题报道（2017年）—— 最初的NAS论文被《纽约时报》关于AutoML的文章和《麻省理工科技评论》关于谷歌使用AI设计AI的文章报道。

关键人际关系

  • Quoc V. Le —— 在Google Brain的主要合作者和导师；合著了奠基性的NAS论文和NASNet；Le的影响力塑造了Zoph在架构搜索和大规模预训练方面的研究品味。
  • William (Liam) Fedus —— 在Google Brain期间Switch Transformers的同等贡献合著者；两人后来在OpenAI先后任职（Fedus在Zoph之后担任训练后部门副总裁），之后Fedus离职创立了Periodic Labs。
  • Noam Shazeer —— Switch Transformers的第三位合著者；Shazeer是专家混合层（2017年）的原始发明人，现为Character.AI的CEO。
  • Ekin Doğuş Çubuk —— Google Brain的长期合作者，合作内容包括AutoAugment、RandAugment、SpecAugment和对抗样本；现与Fedus共同创立了Periodic Labs。
  • John Schulman —— 与Zoph共同建立了OpenAI的训练后团队；Schulman后来于2024年离开OpenAI加入Anthropic，是训练后部门多位高级别离职者之一。
  • Mira Murati —— 前OpenAI CTO，后担任CEO，招募Zoph担任Thinking Machines Lab的CTO；他们的职业关系以2026年1月一场公开且充满争议的解雇告终。
  • Kevin Knight —— 南加州大学信息科学研究所的早期NLP导师；Knight的统计机器翻译团队使Zoph在深度学习时代之前就掌握了序列到序列建模的基础。

个人风格

Zoph的研究产出特点是倾向于让事物变得更简单、更具可扩展性，而非更复杂：NAS用搜索取代了手工设计的启发式方法；AutoAugment用自动化策略搜索取代了基于直觉的数据增强；Switch Transformers用单一路由步骤取代了复杂的多专家聚合。他始终愿意在不同领域间转换——NLP、计算机视觉、语音、稀疏语言模型、训练后优化——总是追随最难解决的扩展问题所在。从其引文影响力来看，他的公众形象相对低调；他很少接受长篇采访，且在线存在感较弱。2026年1月的事件将他卷入了一场异常公开的争议，其完整经过仍存在争议，双方提供了实质上不同的描述。

参考资料