Barret Zoph

wiki
, , , ,
1

Científico investigador que inventó la Búsqueda de Arquitecturas Neuronales, co-creó el Transformador Switch y diseñó la función de post-entrenamiento de OpenAI antes de un turbulento período como CTO de Thinking Machines Lab.

Perfil
Nacionalidad Estadounidense
Institución(es) actual(es) OpenAI (reincorporado en enero de 2026)
Áreas de investigación Búsqueda de Arquitecturas Neuronales, AutoML, Mezcla Escasa de Expertos, Post-Entrenamiento, RLHF, Visión por Computadora, PLN
Educación Formación en Ciencias de la Computación; afiliado al Instituto de Ciencias de la Información de la USC (grupo de PLN, 2014–2016) — detalles de títulos superiores no confirmados
Sitio web barretzoph.github.io
X / Twitter @barret_zoph
GitHub barretzoph
Google Scholar Barret Zoph

Resumen

Barret Zoph es un investigador estadounidense de IA cuya carrera abarca dos de los cambios metodológicos más trascendentales en el aprendizaje profundo moderno. En Google Brain introdujo la Búsqueda de Arquitecturas Neuronales (NAS) con Quoc V. Le — la primera demostración de que el aprendizaje por refuerzo podía descubrir automáticamente diseños competitivos de redes neuronales — y más tarde co-creó el Transformador Switch, que hizo práctica la Mezcla Escasa de Expertos a escala de billones de parámetros. En OpenAI, donde se unió justo antes del lanzamiento de ChatGPT, creó el equipo de post-entrenamiento desde cero junto a John Schulman, supervisando el trabajo de alineación mediante RLHF y ajuste fino que dio forma a GPT-4 y modelos posteriores. Luego cofundó Thinking Machines Lab con Mira Murati en octubre de 2024 como su CTO, pero fue despedido en enero de 2026 en circunstancias controvertidas; Murati anunció su salida citando «conducta poco ética», mientras que Zoph negó públicamente esa caracterización y afirmó que fue despedido solo después de que la dirección supiera que tenía intención de irse. Regresó a OpenAI el mismo día.

Primeros años y educación

Hay poca información pública documentada sobre los primeros años o la educación universitaria de Zoph. Su primer trabajo publicado aparece bajo la afiliación del Instituto de Ciencias de la Información (ISI), una unidad de investigación de la Universidad del Sur de California (USC), donde trabajó con los profesores Kevin Knight y Daniel Marcu en traducción automática estadística. Sus artículos en el ISI, que abarcan de 2015 a 2016, cubren traducción neuronal multifuente, escalado de vocabulario para RNN y teoría de la información del traductor. Su transición a Google Brain en 2016 fue directa y coincidió con su primera presentación sobre NAS. No está confirmado si completó un posgrado en la USC o se fue antes de terminarlo, según las fuentes públicas disponibles.

Carrera

Instituto de Ciencias de la Información de la USC — Grupo de PLN (c. 2014–principios de 2016)

Trabajando en el grupo de PLN de Kevin Knight, Zoph coescribió varios artículos sobre traducción automática neuronal, incluyendo arquitecturas multifuente (NAACL 2016, presentación oral), aprendizaje por transferencia para traducción automática con pocos recursos (EMNLP 2016) y eficiencia de vocabulario para RNN a gran escala. Este trabajo temprano estableció su dominio de los modelos neuronales secuencia a secuencia y lo expuso al desafío de diseñar arquitecturas a mano para el PLN, una frustración que pronto abordaría algorítmicamente.

Google Brain (2016–agosto de 2022)

Zoph se unió a Google Brain a principios de 2016 como Científico Investigador, ascendiendo a Científico Investigador Senior. Durante seis años produjo un cuerpo de trabajo que se divide en tres líneas superpuestas:

Búsqueda de Arquitecturas Neuronales y AutoML. El artículo fundacional, «Neural Architecture Search with Reinforcement Learning» (ICLR 2017, con Quoc V. Le), utilizó un RNN controlador entrenado con REINFORCE para generar descripciones de redes hijas y optimizarlas en CIFAR-10 y Penn Treebank. Logró una precisión competitiva frente a las redes diseñadas a mano, atrajo un artículo del NYT y lanzó el subcampo de NAS. El seguimiento, NASNet (CVPR 2018, con Vasudevan, Shlens y Le), mostró que las arquitecturas a nivel de célula encontradas en CIFAR-10 se transfieren a ImageNet, logrando el estado del arte con el diseño completamente automatizado. ENAS (ICML 2018, con Pham, Guan, Le y Dean) redujo drásticamente el coste de búsqueda mediante el uso compartido de parámetros. Estos artículos catalizaron colectivamente la línea de productos AutoML de Google y convirtieron a NAS en un tema central.

Aumento de datos y visión por computadora. Junto con Ekin Doğuş Çubuk (más tarde cofundador de Periodic Labs), Jonathon Shlens y Quoc Le, Zoph impulsó una secuencia de artículos fundamentales sobre aumento: AutoAugment (CVPR 2019, oral), que buscaba políticas de aumento por conjunto de datos mediante RL; RandAugment (NeurIPS 2020), que simplificó la búsqueda a dos hiperparámetros y logró una precisión igual o mejor; y aumento basado en aprendizaje para detección de objetos (ECCV 2020). SpecAugment (Interspeech 2019), que aplica enmascaramiento de frecuencia y tiempo directamente a los espectrogramas log-Mel para ASR, se convirtió en una de las técnicas de aumento de voz más citadas. AugMix (ICLR 2019) mejoró la robustez ante distribuciones atípicas. Revisiting ResNets (NeurIPS 2021, spotlight) separó las mejoras de arquitectura de las mejoras de entrenamiento y escalado, mostrando que gran parte del progreso reportado en clasificación había sido impulsado por estas últimas.

Modelos de lenguaje dispersos. El último período de Zoph en Google Brain se centró en escalar modelos de lenguaje a través de la dispersión. Los Transformadores Switch (JMLR 2022, contribución equitativa con William Fedus y Noam Shazeer) demostraron el enrutamiento de un solo experto a escala de billones de parámetros con una aceleración de 4 a 7 veces en el preentrenamiento en comparación con las líneas base T5 densas. GLaM (2021, con Nan Du, Yanping Huang y otros) entrenó un modelo MoE de 1,2 billones de parámetros que igualó o superó a GPT-3 en 29 tareas de PLN con un tercio del coste energético. ST-MoE (arXiv 2022, con Irwan Bello, Sameer Kumar y otros) abordó las inestabilidades de entrenamiento en grandes modelos codificador-decodificador dispersos y logró el estado del arte en SuperGLUE. También fue líder técnico de investigación de MuM (Modelo Unificado Multitarea), el gran modelo de lenguaje multitarea de Google Search.

OpenAI — VP de Investigación, Post-Entrenamiento (septiembre de 2022–octubre de 2024)

Zoph se unió a OpenAI en septiembre de 2022, llegando solo unas semanas antes del lanzamiento interno de ChatGPT. Junto con John Schulman, construyó el equipo de post-entrenamiento desde cero, supervisando la alineación, los pipelines de RLHF, el uso de herramientas, las evaluaciones, la multimodalidad y la integración de búsqueda. Su equipo entrenó y lanzó los modelos que impulsaron ChatGPT y la API durante este período, incluyendo contribuciones a GPT-4 y la infraestructura subyacente al modelo de razonamiento o1. Dejó la empresa en octubre de 2024 para cofundar Thinking Machines Lab.

Thinking Machines Lab — CTO y Cofundador (octubre de 2024–14 de enero de 2026)

Zoph se unió al nuevo laboratorio de IA fundado por Mira Murati como cofundador y CTO. La empresa recaudó una ronda semilla de 2 mil millones de dólares liderada por Andreessen Horowitz, con AMD, Nvidia y Jane Street entre los inversores, y alcanzó una valoración de aproximadamente 12 mil millones de dólares. Su mandato duró aproximadamente tres meses antes de terminar en circunstancias controvertidas. El 14 de enero de 2026, Murati anunció su salida en una reunión general de la empresa, y fuentes citaron «conducta poco ética»; una persona cercana al asunto dijo a Wired que había sido acusado de compartir información confidencial de la empresa con empresas rivales. Zoph negó categóricamente esta caracterización al Wall Street Journal: «Thinking Machines Lab rescindió mi empleo solo después de enterarse de que dejaría la empresa. Punto. En ningún momento TML me citó razones de rendimiento ni ninguna conducta poco ética de mi parte como motivo de mi despido, y cualquier sugerencia en contrario es falsa y difamatoria». El WSJ también informó de que Murati tenía preocupaciones sobre su rendimiento después de descubrir, el verano anterior, que había tenido una relación con una colega subalterna que comenzó cuando ambos estaban en OpenAI, una relación que Zoph inicialmente negó antes de que él y la mujer se la confirmaran posteriormente a Murati. Las dos versiones siguen sin resolverse públicamente. Soumith Chintala (cofundador de PyTorch) fue nombrado CTO en lugar de Zoph.

OpenAI (15 de enero de 2026–presente)

Zoph regresó a OpenAI el 15 de enero de 2026, el día después de su despido de Thinking Machines, junto con Luke Metz y Samuel Schoenholz. Fidji Simo, CEO de Aplicaciones de OpenAI, anunció las recontrataciones señalando que OpenAI no compartía la caracterización de Murati sobre la conducta de Zoph. Su cargo y responsabilidades actuales no se han especificado públicamente.

Contribuciones clave

  • Búsqueda de Arquitecturas Neuronales con Aprendizaje por Refuerzo (ICLR 2017, con Quoc Le) — El artículo que lanzó el campo de NAS; demostró el diseño automático de redes guiado por RL, competitivo con las arquitecturas artesanales en CIFAR-10 y Penn Treebank. Cubierto por el NYT y el MIT Technology Review; Wikipedia acredita este artículo como el impulso para el artículo sobre NAS.
  • NASNet / Learning Transferable Architectures (CVPR 2018, con Vasudevan, Shlens, Le) — Extendió NAS para producir módulos a nivel de célula que se transfieren de CIFAR-10 a ImageNet, estableciendo el paradigma de transferibilidad para el diseño automatizado.
  • AutoAugment (CVPR 2019, oral, con Cubuk, Mane, Vasudevan, Le) — Primer método fundamentado para aprender políticas de aumento de imágenes por conjunto de datos mediante RL; logró el estado del arte en CIFAR-10/100, SVHN e ImageNet.
  • SpecAugment (Interspeech 2019, con Park, Chan, Zhang, Chiu, Cubuk, Le) — Aumento de enmascaramiento de tiempo y frecuencia aplicado directamente a los espectrogramas log-Mel; se convirtió en un componente estándar de los pipelines de entrenamiento de ASR.
  • Transformadores Switch (JMLR 2022, contribución equitativa con Fedus y Shazeer) — Simplificó el enrutamiento MoE a un solo experto por token, entrenó el primer modelo de lenguaje de billones de parámetros y logró aceleraciones de 4 a 7 veces en el preentrenamiento; una piedra angular de todas las familias posteriores de LLM dispersos.
  • GLaM (arXiv 2021, con Du, Huang, Dai y otros) — Modelo MoE de 1,2 billones de parámetros que requiere un tercio de la energía de GPT-3 para entrenarse, demostrando el techo de eficiencia del escalado activado de forma dispersa.
  • Infraestructura de post-entrenamiento en OpenAI — Co-construyó con John Schulman el pipeline de RLHF y ajuste por instrucciones que transformó a GPT-4 en ChatGPT; lideró el equipo que implementó la alineación, el uso de herramientas y las capacidades multimodales en la API de OpenAI.

Premios y reconocimientos

  • ICLR 2017 Oral — Artículo sobre NAS aceptado como presentación oral, la designación más competitiva del evento.
  • NeurIPS 2021 Oral — «Rethinking Pre-training and Self-training».
  • Presentaciones destacadas (Spotlight) en NeurIPS 2021 y CVPR 2021 — Por «Revisiting ResNets» y el trabajo de seguimiento sobre NAS progresivo, respectivamente.
  • Artículos en NYT y MIT Technology Review (2017) — El artículo original sobre NAS fue destacado en un artículo del New York Times sobre AutoML y en un artículo de Technology Review sobre el uso de IA por parte de Google para diseñar IA.

Relaciones clave

  • Quoc V. Le — Colaborador principal y mentor en Google Brain; coautor del artículo fundacional sobre NAS y de NASNet; la influencia de Le moldeó el gusto investigador de Zoph tanto en la búsqueda de arquitecturas como en el preentrenamiento a gran escala.
  • William (Liam) Fedus — Coautor equitativo en los Transformadores Switch en Google Brain; ambos trabajaron más tarde en paralelo en OpenAI (Fedus como VP de Post-Entrenamiento después de Zoph) antes de que Fedus se marchara para fundar Periodic Labs.
  • Noam Shazeer — Tercer coautor de los Transformadores Switch; Shazeer es el inventor original de la capa de Mezcla de Expertos (2017) y ahora CEO de Character.AI.
  • Ekin Doğuş Çubuk — Colaborador recurrente en Google Brain en AutoAugment, RandAugment, SpecAugment y ejemplos adversariales; ahora cofundador de Periodic Labs con Fedus.
  • John Schulman — Co-construyó el equipo de post-entrenamiento de OpenAI con Zoph; Schulman dejó posteriormente OpenAI para ir a Anthropic en 2024, una de varias salidas de alto nivel de la función de post-entrenamiento.
  • Mira Murati — CEO y antigua CTO de OpenAI que reclutó a Zoph como CTO de Thinking Machines Lab; su relación profesional terminó con un despido público y controvertido en enero de 2026.
  • Kevin Knight — Mentor temprano en PLN en el Instituto de Ciencias de la Información de la USC; el grupo de traducción automática estadística de Knight le dio a Zoph su base en el modelado secuencia a secuencia antes de la era del aprendizaje profundo.

Estilo personal

La producción investigadora de Zoph se caracteriza por un sesgo hacia hacer las cosas más simples y escalables en lugar de más complejas: NAS reemplazó las heurísticas artesanales con búsqueda; AutoAugment reemplazó el aumento basado en la intuición con búsqueda automatizada de políticas; los Transformadores Switch reemplazaron la agregación compleja de múltiples expertos con un solo paso de enrutamiento. Ha sido consistentemente dispuesto a moverse entre dominios — PLN, visión por computadora, voz, modelos de lenguaje dispersos, post-entrenamiento — siguiendo dondequiera que estén los problemas de escalado no resueltos más difíciles. Su perfil público es relativamente bajo para alguien de su impacto en citas; rara vez ha dado entrevistas extensas y mantiene una presencia en línea escasa. Los acontecimientos de enero de 2026 lo sumergieron en una controversia inusualmente pública cuyo relato completo sigue siendo objeto de controversia, con las dos partes ofreciendo caracterizaciones materialmente diferentes.

Referencias