Barret Zoph

ref · 28. Mai 2026 um 13:06

Forschungswissenschaftler, der die Neural Architecture Search erfand, den Switch Transformer mitentwickelte und die Post-Training-Funktion von OpenAI architektierte, bevor eine turbulente Zeit als CTO von Thinking Machines Lab begann.

Profil


Nationalität	Amerikanisch
Derzeitige Institution(en)	OpenAI (wieder eingestiegen im Januar 2026)
Forschungsbereiche	Neural Architecture Search, AutoML, Sparse Mixture-of-Experts, Post-Training, RLHF, Computer Vision, NLP
Ausbildung	Hintergrund in Informatik; affiliiert mit dem Information Sciences Institute der USC (NLP-Gruppe, 2014–2016) — Details zu höheren Abschlüssen nicht bestätigt
Website	barretzoph.github.io
X / Twitter	@barret_zoph
GitHub	barretzoph
Google Scholar	Barret Zoph

Überblick

Barret Zoph ist ein amerikanischer KI-Forscher, dessen Karriere zwei der folgenreichsten methodischen Veränderungen im modernen Deep Learning umfasst. Bei Google Brain führte er gemeinsam mit Quoc V. Le die Neural Architecture Search (NAS) ein – die erste Demonstration, dass Reinforcement Learning automatisch wettbewerbsfähige neuronale Netzdesigns entdecken kann – und entwickelte später den Switch Transformer mit, der spärliche Mixture-of-Experts im Billionen-Parameter-Maßstab praktikabel machte. Bei OpenAI, wo er kurz vor dem Start von ChatGPT eintrat, baute er gemeinsam mit John Schulman das Post-Training-Team von Grund auf auf und überwachte die RLHF-Alignment- und Fine-Tuning-Arbeiten, die GPT-4 und nachfolgende Modelle prägten. Anschließend gründete er im Oktober 2024 mit Mira Murati Thinking Machines Lab als dessen CTO, wurde jedoch im Januar 2026 unter umstrittenen Umständen entlassen; Murati gab seinen Abgang mit der Begründung „unethischen Verhaltens“ bekannt, während Zoph diese Charakterisierung öffentlich bestritt und erklärte, er sei erst entlassen worden, nachdem die Geschäftsleitung erfahren habe, dass er das Unternehmen verlassen wolle. Noch am selben Tag kehrte er zu OpenAI zurück.

Frühes Leben & Ausbildung

Über Zophs frühen Hintergrund oder seine akademische Grundausbildung ist öffentlich wenig bekannt. Seine frühesten veröffentlichten Arbeiten erscheinen unter der Zugehörigkeit zum Information Sciences Institute (ISI), einer Forschungseinheit der University of Southern California (USC), wo er mit den Professoren Kevin Knight und Daniel Marcu an statistischer maschineller Übersetzung arbeitete. Seine ISI-Publikationen aus den Jahren 2015–2016 befassen sich mit neuronaler Mehrquellenübersetzung, Vokabularskalierung für RNNs und informationstheoretischen Ansätzen für Übersetzer. Sein direkter Wechsel zu Google Brain im Jahr 2016 fiel mit seiner ersten NAS-Einreichung zusammen. Ob er einen Graduiertenabschluss an der USC erlangte oder vor dessen Abschluss ging, ist aus öffentlich zugänglichen Quellen nicht bestätigt.

Karriere

USC Information Sciences Institute – NLP-Gruppe (ca. 2014 – Anfang 2016)

In der NLP-Gruppe von Kevin Knight war Zoph Co-Autor mehrerer Arbeiten zur neuronalen maschinellen Übersetzung, darunter zu Mehrquellenarchitekturen (NAACL 2016, Vortrag), Transferlernen für ressourcenarme Maschinelle Übersetzung (EMNLP 2016) und Vokabular-Effizienz für großskalige RNNs. Diese frühen Arbeiten etablierten seine Vertrautheit mit Sequenz-zu-Sequenz-Neuronalen Netzen und setzten ihn der Herausforderung aus, Architekturen für NLP von Hand zu entwerfen – eine Frustration, die er bald algorithmisch angehen sollte.

Google Brain (2016 – August 2022)

Zoph wechselte Anfang 2016 als Research Scientist zu Google Brain und stieg zum Staff Research Scientist auf. In sechs Jahren entstand ein Werk, das in drei sich überschneidende Stränge fällt:

Neural Architecture Search und AutoML. Die grundlegende Arbeit „Neural Architecture Search with Reinforcement Learning“ (ICLR 2017, mit Quoc V. Le) verwendete ein Controller-RNN, das mit REINFORCE trainiert wurde, um Child-Netzwerk-Beschreibungen zu generieren und diese auf CIFAR-10 und Penn Treebank zu optimieren. Sie erzielte eine wettbewerbsfähige Genauigkeit im Vergleich zu handentworfenen Netzen, zog eine Feature der NYT an und begründete das NAS-Teilfeld. Die Folgearbeit NASNet (CVPR 2018, mit Vasudevan, Shlens und Le) zeigte, dass auf CIFAR-10 gefundene Zellarchitekturen auf ImageNet übertragbar sind und mit vollständig automatisiertem Design den State-of-the-Art erreichten. ENAS (ICML 2018, mit Pham, Guan, Le und Dean) reduzierte die Suchkosten durch Parameter-Sharing drastisch. Diese Arbeiten katalysierten gemeinsam Googles AutoML-Produktlinie und machten NAS zu einem Mainstream-Thema.

Datenanreicherung und Computer Vision. Zusammen mit Ekin Doğuş Çubuk (später Mitbegründer von Periodic Labs), Jonathon Shlens und Quoc Le trieb Zoph eine Reihe prinzipientreuer Augmentierungsarbeiten voran: AutoAugment (CVPR 2019, Vortrag), das per RL nach Datensatz-spezifischen Augmentierungsrichtlinien suchte; RandAugment (NeurIPS 2020), das die Suche auf zwei Hyperparameter vereinfachte und eine gleich gute oder bessere Genauigkeit erzielte; und lernbasierte Augmentierung für die Objekterkennung (ECCV 2020). SpecAugment (Interspeech 2019), das Frequenz- und Zeitmaskierung direkt auf Log-Mel-Spektrogramme für ASR anwendete, wurde zu einer der am häufigsten zitierten Sprach-Augmentierungstechniken. AugMix (ICLR 2019) verbesserte die Robustheit gegenüber Out-of-Distribution-Daten. Revisiting ResNets (NeurIPS 2021, Spotlight) entwirrte Architekturverbesserungen von Trainings- und Skalierungsverbesserungen und zeigte, dass ein Großteil des berichteten Fortschritts bei der Klassifikation auf letztere zurückzuführen war.

Spärliche Sprachmodelle. Zophs letzte Phase bei Google Brain konzentrierte sich auf die Skalierung von Sprachmodellen durch Spärlichkeit. Switch Transformers (JMLR 2022, gleichberechtigte Autorenschaft mit William Fedus und Noam Shazeer) demonstrierten Single-Expert-Routing im Billionen-Parameter-Maßstab mit 4–7-facher Beschleunigung des Pre-Trainings gegenüber dichten T5-Baselines. GLaM (2021, mit Nan Du, Yanping Huang et al.) trainierte ein MoE-Modell mit 1,2 Billionen Parametern, das bei einem Drittel des Energieverbrauchs 29 NLP-Aufgaben auf dem Niveau von GPT-3 oder besser bewältigte. ST-MoE (arXiv 2022, mit Irwan Bello, Sameer Kumar et al.) befasste sich mit Trainingsinstabilitäten in großen spärlichen Encoder-Decoder-Modellen und erzielte den State-of-the-Art auf SuperGLUE. Er war außerdem Research Tech Lead für MuM (Multitask Unified Model), das große Multitask-Sprachmodell von Google Search.

OpenAI – VP Research, Post-Training (September 2022 – Oktober 2024)

Zoph trat im September 2022 zu OpenAI über, nur wenige Wochen vor dem internen Start von ChatGPT. Gemeinsam mit John Schulman baute er das Post-Training-Team von Grund auf auf und überwachte Alignment, RLHF-Pipelines, Tool-Nutzung, Evaluierungen, Multimodalität und Suchintegration. Sein Team trainierte und lieferte die Modelle aus, die ChatGPT und die API in dieser Zeit antrieben, darunter Beiträge zu GPT-4 und der Infrastruktur des o1-Argumentationsmodells. Er verließ OpenAI im Oktober 2024, um Thinking Machines Lab mitzugründen.

Thinking Machines Lab – CTO & Mitbegründer (Oktober 2024 – 14. Januar 2026)

Zoph schloss sich dem neu gegründeten KI-Labor von Mira Murati als Mitbegründer und CTO an. Das Unternehmen sammelte Berichten zufolge eine Seed-Runde in Höhe von 2 Milliarden Dollar unter der Führung von Andreessen Horowitz ein, an der AMD, Nvidia und Jane Street zu den Investoren gehörten, und erreichte eine Bewertung von rund 12 Milliarden Dollar. Seine Amtszeit dauerte etwa drei Monate, bevor sie unter umstrittenen Umständen endete. Am 14. Januar 2026 gab Murati seinen Abgang auf einer unternehmensweiten Versammlung bekannt, wobei Quellen von „unethischem Verhalten“ sprachen; eine mit der Angelegenheit vertraute Person sagte Wired, ihm sei vorgeworfen worden, vertrauliche Unternehmensinformationen mit Konkurrenzfirmen geteilt zu haben. Zoph bestritt diese Charakterisierung gegenüber dem Wall Street Journal kategorisch: „Thinking Machines Lab hat mein Arbeitsverhältnis erst beendet, nachdem es erfahren hatte, dass ich das Unternehmen verlassen würde. Punkt. Zu keinem Zeitpunkt hat mir TML irgendwelche Leistungsgründe oder unethisches Verhalten meinerseits als Grund für meine Kündigung genannt, und jede gegenteilige Behauptung ist falsch und verleumderisch.“ Die WSJ berichtete auch, dass Murati Bedenken wegen seiner Leistung hatte, nachdem sie im vergangenen Sommer entdeckt hatte, dass er eine Beziehung mit einer jüngeren Kollegin geführt hatte, die begonnen hatte, als beide noch bei OpenAI waren – eine Beziehung, die Zoph zunächst bestritt, bevor er und die Frau sie später Murati gegenüber bestätigten. Die beiden Darstellungen bleiben öffentlich ungeklärt. Soumith Chintala (PyTorch-Mitbegründer) wurde an Zophs Stelle zum CTO ernannt.

OpenAI (15. Januar 2026 – heute)

Zoph kehrte am 15. Januar 2026 zu OpenAI zurück, einen Tag nach seiner Entlassung bei Thinking Machines, zusammen mit Luke Metz und Samuel Schoenholz. Fidji Simo, OpenAIs CEO of Applications, gab die Wiedereinstellungen bekannt und stellte fest, dass OpenAI Muratis Charakterisierung von Zophs Verhalten nicht teile. Seine derzeitige Rolle und Verantwortlichkeiten wurden nicht öffentlich spezifiziert.

Wichtigste Beiträge

Neural Architecture Search with Reinforcement Learning (ICLR 2017, mit Quoc Le) — Die Arbeit, die das NAS-Feld begründete; demonstrierte RL-gesteuertes automatisiertes Netzwerkdesign, das mit handgefertigten Architekturen auf CIFAR-10 und Penn Treebank konkurrieren konnte. Von der NYT und dem MIT Technology Review behandelt; Wikipedia führt diese Arbeit als Impuls für den NAS-Artikel an.
NASNet / Learning Transferable Architectures (CVPR 2018, mit Vasudevan, Shlens, Le) — Erweiterte NAS zur Erzeugung zellulärer Module, die von CIFAR-10 auf ImageNet übertragen werden können, und etablierte das Transferierbarkeitsparadigma für automatisiertes Design.
AutoAugment (CVPR 2019, Vortrag, mit Cubuk, Mane, Vasudevan, Le) — Erste prinzipientreue Methode zum Erlernen datensatzspezifischer Bildaugmentierungsrichtlinien mittels RL; erzielte SOTA auf CIFAR-10/100, SVHN und ImageNet.
SpecAugment (Interspeech 2019, mit Park, Chan, Zhang, Chiu, Cubuk, Le) — Zeit- und Frequenzmaskierungs-Augmentierung, die direkt auf Log-Mel-Spektrogramme angewendet wird; wurde zu einer Standardkomponente von ASR-Trainingspipelines.
Switch Transformers (JMLR 2022, gleichberechtigte Autorenschaft mit Fedus und Shazeer) — Vereinfachte das MoE-Routing auf einen einzigen Experten pro Token, trainierte das erste Billionen-Parameter-Sprachmodell und erzielte 4–7-fache Pre-Training-Beschleunigungen; ein Eckpfeiler aller nachfolgenden spärlichen LLM-Familien.
GLaM (arXiv 2021, mit Du, Huang, Dai et al.) — MoE-Modell mit 1,2 Billionen Parametern, das nur ein Drittel der Energie von GPT-3 zum Training benötigte und die Effizienzgrenze der spärlich aktivierten Skalierung demonstrierte.
Post-Training-Infrastruktur bei OpenAI — Gemeinsam mit John Schulman die RLHF- und Instruction-Tuning-Pipeline aufgebaut, die GPT-4 in ChatGPT verwandelte; leitete das Team, das Alignment, Tool-Nutzung und multimodale Fähigkeiten über die OpenAI-API auslieferte.

Auszeichnungen & Anerkennungen

ICLR 2017 Vortrag — NAS-Arbeit als Vortrag angenommen, die wettbewerbsintensivste Auszeichnung am Veranstaltungsort.
NeurIPS 2021 Vortrag — „Rethinking Pre-training and Self-training.“
NeurIPS 2021 und CVPR 2021 Spotlight-Präsentationen — Für Revisiting ResNets bzw. weiterführende Arbeiten zu Progressive NAS.
NYT- und MIT Technology-Review-Features (2017) — Die ursprüngliche NAS-Arbeit wurde in einem New-York-Times-Artikel über AutoML und einem Technology-Review-Artikel über Googles Einsatz von KI zum Entwerfen von KI vorgestellt.

Wichtige Beziehungen

Quoc V. Le — Hauptkollaborator und Mentor bei Google Brain; Co-Autor der grundlegenden NAS-Arbeit und von NASNet; Les Einfluss prägte Zophs Forschungsgeschmack in Bezug auf Architektursuche und großskaliges Pre-Training.
William (Liam) Fedus — Gleichberechtigter Co-Autor von Switch Transformers bei Google Brain; die beiden arbeiteten später parallel bei OpenAI (Fedus als VP of Post-Training nach Zoph), bevor Fedus ging, um Periodic Labs zu gründen.
Noam Shazeer — Dritter Co-Autor von Switch Transformers; Shazeer ist der ursprüngliche Erfinder der Mixture-of-Experts-Schicht (2017) und jetzt CEO von Character.AI.
Ekin Doğuş Çubuk — Wiederkehrender Google-Brain-Kollaborator bei AutoAugment, RandAugment, SpecAugment und adversarialen Beispielen; jetzt Mitbegründer von Periodic Labs mit Fedus.
John Schulman — Baute mit Zoph gemeinsam OpenAIs Post-Training-Team auf; Schulman verließ OpenAI später 2024 in Richtung Anthropic, einer von mehreren Führungskräften, die die Post-Training-Funktion verließen.
Mira Murati — CEO und ehemalige OpenAI-CTO, die Zoph als CTO von Thinking Machines Lab anwarb; ihre berufliche Beziehung endete mit einer öffentlichen und umstrittenen Entlassung im Januar 2026.
Kevin Knight — Früher NLP-Mentor am Information Sciences Institute der USC; Knights statistische MT-Gruppe gab Zoph seine Grundlagen in der Sequenz-zu-Sequenz-Modellierung vor der Ära des Deep Learning.

Persönlicher Stil

Zophs Forschungsergebnisse sind geprägt von einer Tendenz, Dinge einfacher und skalierbarer zu machen, statt komplexer: NAS ersetzte manuelle Heuristiken durch Suche; AutoAugment ersetzte intuitionsbasierte Augmentierung durch automatisierte Richtliniensuche; Switch Transformers ersetzten komplexe Multi-Expert-Aggregation durch einen einzigen Routing-Schritt. Er war stets bereit, zwischen Bereichen zu wechseln – NLP, Computer Vision, Sprache, spärliche Sprachmodelle, Post-Training – und folgte dorthin, wo die schwierigsten ungelösten Skalierungsprobleme lagen. Sein öffentliches Profil ist für jemanden mit seiner Zitationswirkung relativ niedrig; er hat selten ausführliche Interviews gegeben und unterhält eine spärliche Online-Präsenz. Die Ereignisse vom Januar 2026 brachten ihn in eine ungewöhnlich öffentliche Kontroverse, deren vollständige Darstellung umstritten bleibt, da die beiden Parteien wesentlich unterschiedliche Charakterisierungen anbieten.