バレット・ゾップ

ウィキ
, , , ,
1

ニューラルアーキテクチャ探索を発明した研究科学者であり、Switch Transformerを共同創造し、思考機械ラボ（Thinking Machines Lab）のCTOとしての激動の期間を経る前にはOpenAIのポストトレーニング機能を設計しました。

プロフィール
国籍 アメリカ人
現在の所属機関 OpenAI（2026年1月に再入社）
研究分野 ニューラルアーキテクチャ探索、AutoML、スパース混合専門家、ポストトレーニング、RLHF、コンピュータビジョン、自然言語処理
学歴 コンピュータサイエンスのバックグラウンドを持ち、南カリフォルニア大学情報科学研究所（NLPグループ、2014–2016）に所属 — 詳細な学位取得状況は未確認
ウェブサイト barretzoph.github.io
X/Twitter @barret_zoph
GitHub barretzoph
Google Scholar Barret Zoph

概要

バレット・ゾフ（Barret Zoph）は、現代の深層学習における最も重要な方法論的転換のうち2つに関与したアメリカのAI研究者です。Google Brainでは、Quoc V. Leと共にニューラルアーキテクチャ探索（NAS）を導入しました。これは強化学習が競争力のあるニューラルネットワーク設計を自動的に発見できることを初めて示したものです。その後、Switch Transformerを共同創造し、兆パラメータ規模でのスパース混合専門家（MoE）を実用的にしました。ChatGPTのローンチ直前に入社したOpenAIでは、John Schulmanと共にポストトレーニングチームをゼロから構築し、GPT-4とその後のモデルを形成したRLHFアライメントとファインチューニングの作業を監督しました。その後、2024年10月にMira Muratiと共にThinking Machines Labを共同設立し、CTOに就任しましたが、2026年1月に物議を醸す状況で解任されました。Murati氏は「非倫理的行為」を理由に彼の退任を発表しましたが、Zoph氏はこの説明を公に否定し、自身が退職する意向があることを経営陣が知った後に解雇されたと述べています。彼は同日中にOpenAIに復帰しました。

幼少期と教育

Zoph氏の幼少期の経歴や学部教育については、公に知られていることはほとんどありません。彼の最初期の研究論文は、南カリフォルニア大学（USC）の研究部門である情報科学研究所（ISI）の所属で発表されており、そこでKevin Knight教授とDaniel Marcu教授と共に統計的機械翻訳に取り組みました。2015年から2016年にかけてのISIの論文では、マルチソースニューラル翻訳、RNNの語彙スケーリング、翻訳者情報理論を扱っています。彼の2016年のGoogle Brainへの移籍は直接的なものであり、最初のNAS論文の提出と同時期でした。USCで大学院の学位を修了したのか、それとも修了前に退学したのかは、公に入手可能な情報源では確認できません。

経歴

USC情報科学研究所 — NLPグループ（2014年頃–2016年初頭）

Kevin Knight氏のNLPグループで働く中で、Zoph氏はニューラル機械翻訳に関する複数の論文を共同執筆しました。これには、マルチソースアーキテクチャ（NAACL 2016、口頭発表）、低リソースMTのための転移学習（EMNLP 2016）、大規模RNNのための語彙効率化などが含まれます。この初期の研究により、彼は系列変換ニューラルモデルに習熟し、NLPのための手動設計アーキテクチャの課題に直面することになりました。このフラストレーションが、後にアルゴリズム的に解決しようとする原動力となりました。

Google Brain（2016年–2022年8月）

Zoph氏は2016年初頭に研究科学者としてGoogle Brainに入社し、スタッフ研究科学者に昇進しました。6年にわたって、彼は3つの重複するテーマに分類される研究成果を生み出しました。

ニューラルアーキテクチャ探索とAutoML。 基礎論文「Neural Architecture Search with Reinforcement Learning」（ICLR 2017、Quoc V. Leとの共著）は、REINFORCEで学習されたコントローラーRNNを使用して子ネットワークの記述を生成し、CIFAR-10とPenn Treebankで最適化する手法を示しました。これは手動設計ネットワークに匹敵する精度を達成し、NYTの取材を受け、NASサブフィールドを立ち上げました。後続のNASNet（CVPR 2018、Vasudevan、Shlens、Leとの共著）は、CIFAR-10で発見されたセルレベルのアーキテクチャがImageNetに転移可能であり、完全に自動化された設計で最先端技術を達成することを示しました。ENAS（ICML 2018、Pham、Guan、Le、Deanとの共著）は、パラメータ共有を通じて探索コストを劇的に削減しました。これらの論文は総じてGoogleのAutoML製品ラインを触発し、NASを主流のトピックにしました。

データ拡張とコンピュータビジョン。 Ekin Doğuş Çubuk（後のPeriodic Labs共同創業者）、Jonathon Shlens、Quoc Leと共に、Zoph氏は原則に基づいた一連の拡張論文を推進しました。AutoAugment（CVPR 2019、口頭発表）は、強化学習によるデータセットごとの拡張ポリシー探索を行います。RandAugment（NeurIPS 2020）は探索を2つのハイパーパラメータに簡略化し、同等以上の精度を達成しました。物体検出のための学習ベースの拡張（ECCV 2020）も発表しています。SpecAugment（Interspeech 2019）は、音声認識のためのlog-Melスペクトログラムに直接時間と周波数のマスキングを適用し、最も引用される音声拡張手法の1つとなりました。AugMix（ICLR 2019）は分布外ロバスト性を改善しました。Revisiting ResNets（NeurIPS 2021、スポットライト）は、アーキテクチャ改善と訓練/スケーリング改善を切り離し、画像分類における報告された進歩の多くが後者によってもたらされていることを示しました。

スパース言語モデル。 Google BrainでのZoph氏の最後の期間は、スパース性による言語モデルのスケーリングに焦点を当てていました。Switch Transformers（JMLR 2022、William Fedus、Noam Shazeerとの同等貢献）は、兆パラメータ規模で単一エキスパートルーティングを実証し、密なT5ベースラインと比較して4〜7倍の事前学習高速化を達成しました。GLaM（2021年、Nan Du、Yanping Huang他との共著）は、1.2兆パラメータのMoEモデルを訓練し、GPT-3の3分の1のエネルギーコストで29のNLPタスクにおいて同等以上を達成しました。ST-MoE（arXiv 2022、Irwan Bello、Sameer Kumar他との共著）は、大規模スパースエンコーダ-デコーダモデルにおける訓練不安定性に対処し、SuperGLUEで最先端技術を達成しました。また、Google検索の大規模マルチタスク言語モデルであるMuM（Multitask Unified Model）の研究テクニカルリードも務めました。

OpenAI — 研究担当副社長、ポストトレーニング（2022年9月–2024年10月）

Zoph氏は2022年9月にOpenAIに入社し、ChatGPTの社内ローンチのわずか数週間前に到着しました。John Schulmanと共にポストトレーニングチームをゼロから構築し、アライメント、RLHFパイプライン、ツール使用、評価、マルチモダリティ、検索統合を監督しました。彼のチームは、この期間中にChatGPTとAPIを支えたモデルを訓練・出荷し、GPT-4やo1推論モデルの基礎となるインフラへの貢献も含まれます。2024年10月にThinking Machines Labを共同設立するために退社しました。

Thinking Machines Lab — CTO兼共同創業者（2024年10月–2026年1月14日）

Zoph氏は、Mira Murati氏が新たに設立したAI研究所に共同創業者兼CTOとして参加しました。同社は、Andreessen Horowitzが主導し、AMD、Nvidia、Jane Streetなどの投資家が参加したと言われる20億ドルのシードラウンドを調達し、評価額は約120億ドルに達しました。彼の在任期間は約3ヶ月で、物議を醸す状況で終わりました。2026年1月14日、Murati氏は全社全体会議で彼の退任を発表し、関係筋は「非倫理的行為」をその理由として挙げました。事情に詳しい人物はWiredに対し、彼がライバル企業と機密情報を共有したとして告発されたと語っています。Zoph氏はこの説明をWall Street Journalに対して全面的に否定しました。「Thinking Machines Labが私を解雇したのは、私が同社を去ることを知った後のことです。それ以上でもそれ以下でもありません。TMLが解雇の理由として、パフォーマンス上の理由や私の側の非倫理的行為を私に示したことは一度もなく、それ以外の示唆は誤りであり名誉毀損です。」WSJはまた、Murati氏が前年の夏に、Zoph氏がOpenAI在籍中に始まった若手同僚との関係を発見した後、彼のパフォーマンスに懸念を抱いていたとも報じています。Zoph氏は当初この関係を否定しましたが、後に本人と女性がMurati氏に確認しました。この2つの説明は、公には未解決のままです。Soumith Chintala（PyTorch共同創業者）が後任のCTOに任命されました。

OpenAI（2026年1月15日–現在）

Zoph氏は、Thinking Machines Lab解雇の翌日である2026年1月15日に、Luke Metz氏、Samuel Schoenholz氏と共にOpenAIに復帰しました。Fidji Simo氏（OpenAIアプリケーション担当CEO）は再雇用を発表し、OpenAIはMurati氏によるZoph氏の行動の特徴付けを共有していないと述べました。彼の現在の役割と責任は公に特定されていません。

主な貢献

  • Neural Architecture Search with Reinforcement Learning（ICLR 2017、Quoc Leとの共著） — NAS分野を立ち上げた論文。CIFAR-10とPenn Treebankにおいて、強化学習による自動ネットワーク設計が手動設計アーキテクチャに匹敵することを実証。NYTとMIT Technology Reviewで取り上げられ、Wikipediaではこの論文がNAS記事の契機となったとされている。
  • NASNet / Learning Transferable Architectures（CVPR 2018、Vasudevan、Shlens、Leとの共著） — NASを拡張し、CIFAR-10からImageNetに転移可能なセルレベルのモジュールを生成。自動設計の転移可能性パラダイムを確立。
  • AutoAugment（CVPR 2019、口頭発表、Cubuk、Mane、Vasudevan、Leとの共著） — 強化学習によるデータセットごとの画像拡張ポリシー学習の最初の原則的方法。CIFAR-10/100、SVHN、ImageNetでSOTAを達成。
  • SpecAugment（Interspeech 2019、Park、Chan、Zhang、Chiu、Cubuk、Leとの共著） — 時間と周波数のマスキング拡張をlog-Melスペクトログラムに直接適用。ASR訓練パイプラインの標準的コンポーネントとなる。
  • Switch Transformers（JMLR 2022、Fedus、Shazeerとの同等貢献） — MoEルーティングをトークンあたり1エキスパートに簡略化し、初の兆パラメータ言語モデルを訓練、4〜7倍の事前学習高速化を達成。その後のすべてのスパースLLMファミリーの基礎となる。
  • GLaM（arXiv 2021、Du、Huang、Dai他との共著） — 1.2兆パラメータのMoEモデルで、GPT-3の3分の1のエネルギーで訓練可能であり、スパース活性化スケーリングの効率限界を実証。
  • OpenAIにおけるポストトレーニングインフラ — John Schulmanと共に、GPT-4をChatGPTに変えたRLHFおよび指示調整パイプラインを共同構築。OpenAI API全体にわたるアライメント、ツール使用、マルチモーダル機能を出荷したチームをリード。

受賞歴と評価

  • ICLR 2017 Oral — NAS論文がオーラルプレゼンテーションとして採択。これは当該会議で最も競争率の高い区分。
  • NeurIPS 2021 Oral — 「Rethinking Pre-training and Self-training」
  • NeurIPS 2021 および CVPR 2021 Spotlight プレゼンテーション — それぞれ、Revisiting ResNetsとProgressive NASの後続研究に対して。
  • NYT および MIT Technology Review の特集（2017年） — 元のNAS論文は、AutoMLに関するNew York Timesの記事と、GoogleがAIを設計するためにAIを使用するというTechnology Reviewの記事で取り上げられた。

主要な関係

  • Quoc V. Le — Google Brainでの主要な共同研究者兼メンター。基礎となるNAS論文とNASNetを共同執筆。Leの影響は、アーキテクチャ探索と大規模事前学習の両方においてZophの研究の方向性を形成した。
  • William (Liam) Fedus — Google BrainでSwitch Transformersの同等の共著者。後にOpenAIで並行して働き（FedusはZophの後任としてポストトレーニング担当副社長）、FedusはPeriodic Labsを設立するために退社した。
  • Noam Shazeer — Switch Transformersの3人目の共著者。Shazeerは混合専門家層の元の発明者（2017年）であり、現在Character.AIのCEO。
  • Ekin Doğuş Çubuk — Google BrainでのAutoAugment、RandAugment、SpecAugment、敵対的サンプルに関する繰り返しの共同研究者。現在、Fedusと共にPeriodic Labsの共同創業者。
  • John Schulman — OpenAIでZophと共にポストトレーニングチームを共同構築。Schulman氏は後に2024年にOpenAIを離れAnthropicに入社。これはポストトレーニング部門からの数多くのシニア退職の1つ。
  • Mira Murati — 元OpenAI CTOでありCEO。Thinking Machines LabのCTOとしてZoph氏を採用。彼らの職業上の関係は、2026年1月の公の物議を醸す解雇で終わった。
  • Kevin Knight — USC情報科学研究所での初期のNLPメンター。Knightの統計的MTグループは、深層学習時代以前にZophに系列変換モデリングの基礎を与えた。

個人的なスタイル

Zoph氏の研究成果は、複雑にするのではなく、よりシンプルでスケーラブルにすることへの偏向が特徴です。NASは手動のヒューリスティックを探索に置き換え、AutoAugmentは直感に基づく拡張を自動化されたポリシー探索に置き換え、Switch Transformersは複雑なマルチエキスパート集約を単一のルーティングステップに置き換えました。彼は一貫して、NLP、コンピュータビジョン、音声、スパース言語モデル、ポストトレーニングと、領域を移動することを厭わず、最も解決が難しい未解決のスケーリング問題が存在する場所を追い続けてきました。彼の公的なプロフィールは、その引用インパクトの割には比較的低く、長編インタビューをほとんど行わず、オンラインでの存在感も希薄です。2026年1月の出来事により、彼は異例なほど公の論争に巻き込まれ、その全容は依然として争われており、両当事者は実質的に異なる説明を提供しています。

参考文献