詹姆斯·布拉德伯里

维基
, , , ,
1

研究工程师与计算策略专家，JAX 的共同创建者，QRNN 架构的开拓者，现任 Anthropic 计算主管（Head of Compute）。

简介
国籍 美国
当前机构 Anthropic（计算主管）
研究领域 深度学习系统、大语言模型、机器学习框架、TPU/加速器效率
教育背景 文学学士，语言学专业，斯坦福大学
X / Twitter @jekbradbury
GitHub jekbradbury
Google Scholar James Bradbury — 引用量超过 112,000 次

概览

James Bradbury 是一位美国研究工程师，最为人熟知的身份是 JAX 的共同创建者。JAX 是谷歌开发的高性能数值计算库，已成为大规模深度学习研究的基石工具。在 JAX 之前，他凭借准循环神经网络（QRNN）为自然语言处理（NLP）做出了重要早期贡献，并创建了 torchtext——PyTorch 的经典文本处理伴侣库。在谷歌大脑和谷歌 DeepMind 从事 TPU 基础设施及大规模高效 LLM 推理工作数年后，他于 2023 年初加入 Anthropic 担任计算主管，负责获取并有效部署支撑 Claude 模型训练的加速器资源。

早期经历与教育

Bradbury 在斯坦福大学攻读语言学，这对于一名机器学习工程师而言是不同寻常的背景，也影响了他早期对 NLP 的关注。在全身投入深度学习研究之前，他曾在中国的财经与调查性媒体机构财新传媒工作过一段时间，这表明他在机器学习职业生涯之前就对语言和信息工作有着早期兴趣。他的正式发表记录始于 2015–2016 年左右在 MetaMind 期间，但他在 GitHub 上的开源活动至少可追溯到 2014 年。

职业生涯

在机器学习职业生涯之前，Bradbury 曾在总部位于北京的财经与调查性媒体机构财新传媒实习。

斯坦福大学语言学系（日期未确认）

Bradbury 在其 X 资料中写明曾隶属于斯坦福大学语言学系，这与他的本科背景以及在计算语言学领域的早期研究经历相符。

MetaMind（2016 年之前）

Bradbury 加入了由 Richard Socher 创立的深度学习初创公司 MetaMind，担任 NLP 系统研究员。在此期间，他合著了有关神经机器翻译的论文，并开始构思后来成为 QRNN 的想法。MetaMind 于 2016 年 4 月被 Salesforce 收购。

Salesforce Research（2016–2018）

在 MetaMind 被收购后，Bradbury 成为 Salesforce Research 的研究科学家。他在那里发表了 QRNN 论文（ICLR 2017），该模型通过用并行卷积和最小池化步骤替代循环层，在同等精度下实现了比 LSTM 快 16 倍的速度提升。他还创建了 torchtext（pytorch/text），这是首个被广泛采用的 PyTorch 文本数据处理工具包，以及用于编写高效小批次 PyTorch 代码的 matchbox 库。2016 年，他与 Richard Socher 共同代表 MetaMind/Salesforce 参加了 WMT 机器翻译共享任务。

谷歌大脑 / 谷歌 DeepMind（2018–2023）

2018 年 9 月，Bradbury 加入谷歌大脑，致力于机器学习与编程语言的交叉领域。在此期间，他最重要的贡献是作为 JAX 的核心设计者和早期作者之一。JAX 是一个基于 XLA 的可组合变换库，能够为 GPU 和 TPU 上的 NumPy 风格 Python 程序提供即时编译、自动微分和向量化功能。他还对 Julia 语言的机器学习框架 Flux.jl 做出了贡献。在谷歌任职后期，作为谷歌 DeepMind 内部 JAX 交互团队的一员，他专注于为 TPU v4 上的大规模 LLM 用户提供支持，并合著了 2022 年的 PaLM 推理效率论文，展示了 8B 到 540B 参数模型的低延迟、高吞吐量服务能力。

Anthropic（2023 年至今）

Bradbury 于 2023 年初加入 Anthropic 担任计算主管。在此职位上，他负责确保公司拥有实现其使命所需的加速器资源，并保证这些资源在训练和推理工作负载中得到有效、高效的利用。他曾在 2024 年 PyTorch 大会上公开谈论计算策略，并参与了关于扩展与基准测试的主题演讲小组讨论。

主要贡献

  • JAX — 共同创建了支撑现代大规模深度学习研究的可组合机器学习框架；jax-ml/jax 仓库在 GitHub 上拥有超过 35,000 颗星，他与 Roy Frostig、Matthew James Johnson 和 Chris Leary 同为该项目的原始署名作者。
  • 准循环神经网络（QRNN） — 该架构在 ICLR 2017 上提出（arXiv:1611.01576），通过交替使用并行卷积层和最小循环池化步骤，在语言建模、情感分析和神经机器翻译任务上，以同等精度实现了比 cuDNN LSTM 快 16 倍的速度。
  • torchtext（pytorch/text） — 为 PyTorch 创建了基础的 NLP 数据加载和预处理库；该仓库拥有超过 3,600 颗星，在数年内一直是 PyTorch 生态系统的标准文本工具包。
  • matchbox（salesforce/matchbox） — 开源了一个 PyTorch 抽象层，允许研究人员以单个样本的粒度编写代码，并自动以高效的小批次运行，简化了 NLP 模型的原型设计。
  • PaLM 推理效率（2022 年） — 合著了论文及配套开源代码，展示了在 TPU v4 上对 8B 到 540B 参数模型进行实用高吞吐量推理的方法，影响了业界对 LLM 服务经济性的看法。
  • Flux.jl 贡献 — 作为 Julia 机器学习生态系统主要框架的活跃贡献者，这反映了他一贯将机器学习引入新编程范式的兴趣。

奖项与认可

  • Google Scholar 引用量 — 累计引用量超过 112,000 次，主要由 JAX 参考文档和 QRNN 论文驱动，使其成为同代人中引用量最高的机器学习系统研究人员之一。
  • 2024 年 PyTorch 大会主题演讲小组成员 — 受邀参加扩展与基准测试小组讨论，与来自 Meta、together.ai 和加州大学伯克利分校的研究人员同台，这认可了他在机器学习基础设施社区的地位。

关键关系

  • Richard Socher — 博士导师兼 MetaMind 创始人；Bradbury 在 MetaMind 和 Salesforce Research 期间均在 Socher 领导下工作，合著了 QRNN 论文和 WMT 2016 系统。
  • Roy Frostig，Matthew James Johnson，Chris Leary — 谷歌大脑 JAX 的共同创建者；这四人构成了 JAX 原始作者团队的核心。
  • Reiner Pope — 谷歌 PaLM 推理论文的合著者；Pope 目前在 MatX，Bradbury 在其 Google Scholar 资料中被列为合著者。
  • Stephen Merity，Caiming Xiong — Salesforce Research 期间 QRNN 论文的合著者，两人均为知名 NLP 研究者。
  • Dario Amodei / Anthropic 领导层 — 当前的组织背景；Bradbury 在 2023 年初谷歌云合作公告后不久加入 Anthropic。
  • Soumith Chintala — 在 2024 年 PyTorch 大会同台演讲；Chintala 是 PyTorch 的联合创始人，而 Bradbury 创建了作为 PyTorch 核心生态系统库的 torchtext。

个人风格

Bradbury 的职业轨迹呈现出从语言学，到机器学习系统，再到计算策略的非典型转变。他的技术工作始终优先考虑让强大的工具变得易于使用：torchtext 简化了 NLP 流程，JAX 将 XLA 的强大功能带给 Python 研究人员，matchbox 则将小批次的复杂性从模型代码中抽象出来。在社交媒体上，他言辞简洁、技术上精确，更倾向于分享基准测试数据或论文链接，而非长篇评论。他从研究工程中的个人贡献者角色，转变为 Anthropic 的战略计算职能，这反映了资深机器学习基础设施人员中更普遍的趋势——即将加速器的采购和利用视为前沿人工智能发展的关键决策。

参考资料