Jeff Dean

вики
, , ,
1

американский компьютерный ученый и старший научный сотрудник Google; главный архитектор инфраструктуры распределенных систем и платформ машинного обучения Google, ныне главный научный сотрудник Google DeepMind.

Основные сведения / Профиль

Поле Сведения
Полное имя Джеффри Адгейт Дин
Дата рождения 23 июля 1968 г., Гонолулу, Гавайи, США
Гражданство США
Текущее место работы Google DeepMind
Текущая должность Главный научный сотрудник
Области исследований Распределенные системы, крупномасштабное машинное обучение, глубокое обучение, компьютерные системы, МО для здравоохранения
Научный руководитель (PhD) Крейг Чемберс
Диссертация (PhD) Целостная оптимизация объектно-ориентированных языков (Вашингтонский университет, 1996)
Страница исследований в Google research.google/people/jeff
X / Twitter @JeffDean
Google Scholar scholar.google.com/citations?user=NMS69lQAAAAJ

Обзор

Джефф Дин — американский компьютерный ученый, который присоединился к Google в середине 1999 года в качестве 30-го сотрудника и провел последующие четверть века, формируя инфраструктуру современного интернета. Вместе с многолетним соратником Санджаем Гемаватом он спроектировал и построил основополагающие распределенные системы — MapReduce, Bigtable, Spanner и Protocol Buffers, — которые определили архитектуру обработки больших объемов данных и вдохновили целое поколение проектов с открытым исходным кодом, включая Apache Hadoop. С 2011 года он переключился на машинное обучение, став сооснователем Google Brain и возглавив его разработку DistBelief, TensorFlow и Pathways — трех последовательных поколений инфраструктуры для обучения моделей МО, — а также проведя влиятельные исследования в области word2vec, дистилляции знаний и архитектур разреженных смесей экспертов (Mixture-of-Experts). Дин и Гемават — единственные два человека в Google, удостоенные звания старшего научного сотрудника (Senior Fellow), высшего технического отличия компании. После слияния Google Brain и DeepMind в Google DeepMind в 2023 году он занимает пост главного научного сотрудника, работая как над исследованиями ИИ, так и над продуктовыми внедрениями.

Ранние годы и образование

Детство и кочевое воспитание

Дин родился 23 июля 1968 года в Гонолулу, Гавайи. Его отец был исследователем тропических болезней, а мать — медицинским антропологом; в детстве семья часто переезжала: они жили на Гавайях, Филиппинах, в Уганде, Сомали, Швейцарии и в нескольких городах США. С пятого по десятый класс он посещал школы в районе Миннеаполис–Сент-Пол, куда позже вернулся для получения высшего образования. В старшей школе и во время студенческих каникул он написал программное обеспечение для эпидемиологии Epi Info — сначала для Центров по контролю заболеваний, а затем для Всемирной организации здравоохранения; этот проект остается одной из его наиболее цитируемых работ.

Университет Миннесоты (1986–1990)

В 1990 году Дин с отличием (summa cum laude) получил степень бакалавра наук в области компьютерных наук и экономики в Университете Миннесоты. Его дипломная работа, выполненная под руководством Випина Кумара, была посвящена параллельным реализациям обучения нейронных сетей — ранний признак того, в каком направлении в конечном итоге пойдет его карьера. Со своей будущей женой Хайди Хоппер он познакомился на первом курсе; оба окончили университет в 1990 году.

Всемирная организация здравоохранения (1990–1991)

Между получением степени бакалавра и докторантурой Дин провел год в Женеве в Глобальной программе ВОЗ по СПИДу, разрабатывая программное обеспечение для статистического моделирования и прогнозирования пандемии ВИЧ/СПИДа, расширяя кодовую базу Epi Info, которую он начал создавать в старшей школе.

Докторантура в Вашингтонском университете (1991–1996)

Дин получил степень доктора философии (PhD) по компьютерным наукам в Вашингтонском университете в 1996 году под руководством Крейга Чемберса. Его диссертация была посвящена компиляторным оптимизациям для объектно-ориентированных языков, в частности методам целостного анализа программ и избирательной специализации для таких языков, как Cecil и C++. Эта работа была удостоена премии «Наиболее влиятельная статья» через 10 лет после публикации (PLDI 2005) и получила награду «Лучшая статья» на SOSP 1997 за связанное с ней исследование профилирования.

Карьера

Digital Equipment Corporation / Compaq Western Research Lab (1996–1999)

После окончания университета Дин присоединился к Западной исследовательской лаборатории DEC в Пало-Альто, где работал над инструментами профилирования с низкими накладными расходами, архитектурой микропроцессоров для процессоров с внеочередным выполнением команд и веб-информационным поиском. Большая часть этой работы проводилась в тесном сотрудничестве с Санджаем Гемаватом, положив начало профессиональному партнерству, которое определило карьеру обоих. После приобретения DEC компанией Compaq Дин ненадолго присоединился к стартапу по сравнению цен mySimon в начале 1999 года для разработки распределенной системы веб-сканирования и индексации, а затем в том же году ушел в Google.

Google — от инженера инфраструктуры до старшего научного сотрудника (1999–2011)

Дин присоединился к Google в середине 1999 года в качестве 30-го сотрудника. В течение следующих двенадцати лет он и Гемават перепроектировали ядро инженерного дела Google, создав системы, которые позволили компании масштабироваться на порядки в условиях роста объемов документов, нагрузки запросов и частоты обновлений. Их главными вкладами стали внутренний стек распределенных вычислений: MapReduce (OSDI 2004), Bigtable (OSDI 2006), Spanner (OSDI 2012), LevelDB (2011) и Protocol Buffers, а также пять последовательных поколений систем сканирования, индексации и обслуживания запросов. Он также руководил проектированием и внедрением начальной системы показа рекламы Google Ads и внес вклад в статистическую систему машинного перевода Google Translate. Дин и Гемават были совместно назначены старшими научными сотрудниками Google (Senior Fellow) — высшим техническим званием компании; по состоянию на 2025 год это отличие остается уникальным только для них двоих.

Google Brain — сооснователь и руководитель (2011–2018)

В 2011 году Дин присоединился к недавно сформированному секретному подразделению Google X для исследования глубоких нейронных сетей. Ранний эксперимент, позднее известный как «статья о нейроне кошки», использовал неконтролируемое обучение на миллионах кадров YouTube для обучения сети, которая спонтанно развила нейрон-детектор лиц, — демонстрируя, что крупномасштабное глубокое обучение без размеченных вручную данных может выявлять осмысленные представления. Этот проект стал зародышем Google Brain, сооснователем которого стал Дин и который он начал возглавлять в 2012 году. Под его руководством команда разработала DistBelief — проприетарную систему распределенного обучения для глубоких сетей доверия, которая масштабировалась до моделей с двумя миллиардами параметров в то время, когда опубликованные передовые модели содержали 10–50 миллионов параметров. Позднее DistBelief был переработан в TensorFlow, открытый исходный код которого продвигал Дин; выпущенный в ноябре 2015 года, он на несколько лет стал наиболее широко используемым фреймворком глубокого обучения. Исследования Brain в этот период также привели к созданию word2vec (NeurIPS 2013), дистилляции знаний (2015), слоя смеси экспертов (Mixture-of-Experts, ICLR 2017) и системы нейронного машинного перевода Google (2016).

Google AI — руководитель (2018–2023)

В апреле 2018 года, после ухода Джона Джианнандреа в Apple, Дин был назначен руководителем подразделения ИИ Google, что дало ему контроль над Google Brain, Google Research и их взаимоотношениями с DeepMind и продуктовыми командами. В этом качестве он руководил работами над архитектурой Transformer, BERT, оборудованием TPU, PaLM и системой инфраструктуры МО Pathways, а также был соавтором исследований в таких областях, как МО для проектирования микросхем, МО для здравоохранения и МО для климата. Этот период был отмечен громкими увольнениями исследователей этики ИИ Тимнит Гебру (декабрь 2020) и Маргарет Митчелл (февраль 2021), событиями, которые привлекли значительное внимание СМИ и в связи с которыми Дин выпустил внутренние сообщения, признающие неудачи в обращении с несогласными исследованиями.

Google DeepMind — главный научный сотрудник (2023 – настоящее время)

В апреле 2023 года Alphabet объявила о слиянии Google Brain и DeepMind в единое подразделение Google DeepMind под руководством Демиса Хассабиса. В рамках реорганизации Дин стал главным научным сотрудником Google (Chief Scientist), сосредоточившись на достижениях ИИ в Google DeepMind и Google Research. Он придумал название Gemini для семейства мультимодальных флагманских моделей Google — «как близнецы, объединяющиеся вместе». В 2025 году он вошел в совет директоров Института Лауде (Laude Institute), некоммерческой организации, нацеленной на ускорение трансфера исследований ИИ из университетских лабораторий. Он продолжает публиковаться и часто читать приглашенные ключевые лекции о направлениях развития систем и МО, а также является активным ангельским инвестором в стартапы в области ИИ, включая Perplexity, Sakana AI, Roboflow и World Labs.

Ключевые достижения

  • MapReduce (OSDI 2004, совместно с Санджаем Гемаватом) — Представлена модель программирования для обработки и генерации больших наборов данных на кластерах из стандартных компьютеров, абстрагирующая обработку отказов и разделение данных; напрямую вдохновила Apache Hadoop и изменила крупномасштабную обработку данных во всей индустрии. Премия Зала славы SIGOPS 2015.
  • Bigtable (OSDI 2006, совместно с Гемаватом, Фэй Чанг, Майком Берроузом и др.) — Спроектирована полуструктурированная система хранения данных петабайтного масштаба, которая в пике обрабатывает более шести миллиардов запросов в секунду и управляет более чем десятью эксабайтами данных; повлияла на движение NoSQL и доступна извне как Cloud Bigtable. Премия Зала славы SIGOPS 2016.
  • Spanner (OSDI 2012, совместно с Гемаватом и др.) — Глобально распределенная реляционная база данных, обеспечивающая строгую согласованность с помощью Paxos и высокосинхронизированных часов в географически распределенных центрах обработки данных; лучшая статья на OSDI 2012, Зал славы SIGOPS 2022, Премия ACM SIGMOD за системы 2025.
  • Protocol Buffers — Совместно разработан независимый от языка бинарный формат сериализации, используемый практически во всех протоколах RPC Google; опубликован с открытым исходным кодом и широко применяется за пределами Google.
  • LevelDB (2011, совместно с Гемаватом) — Высокопроизводительное хранилище ключ-значение с открытым исходным кодом, основанное на дизайне SSTable из Bigtable, встроенное в IndexedDB браузера Google Chrome, Bitcoin Core и Minecraft Bedrock Edition.
  • DistBelief — Разработана и построена проприетарная система распределенного обучения, позволяющая обучать модели с двумя миллиардами параметров, на порядки крупнее современных опубликованных работ; прямой предшественник TensorFlow.
  • TensorFlow (2015, открыт исходный код) — Совместно разработан и продвигался открытый исходный код фреймворка МО Google; используется миллионами исследователей и разработчиков на различных платформах, от встраиваемых устройств до суперкомпьютеров TPU.
  • Pathways (MLSys 2022) — Совместно разработана асинхронная распределенная система потоковой обработки данных, обеспечивающая гетерогенное, многозадачное, разреженное обучение нейронных сетей в масштабе; инфраструктура, лежащая в основе PaLM и Gemini.
  • word2vec (NeurIPS 2013, совместно с Томасом Миколовым и др.) — Соавтор пары статей, представивших распределенные представления слов, ставшие краеугольным камнем NLP; Премия Test of Time на NeurIPS 2023.
  • Дистилляция знаний (2015, совместно с Джеффри Хинтоном и Ориолем Виньялсом) — Соавтор методики переноса знаний из большой сети-учителя в меньшую модель-ученика, ныне повсеместно используемой в конвейерах сжатия и развертывания моделей.
  • Слой смеси экспертов (Mixture-of-Experts) (ICLR 2017) — Соавтор статьи о разреженно-управляемой MoE, которая лежит в основе современных крупномасштабных разреженных архитектур, включая те, что используются в современных передовых моделях.
  • The Tail at Scale (Communications of the ACM, 2013, совместно с Луизом Андре Баррозу) — Проанализирована вариативность задержек в крупномасштабных сервисах и предложены методы борьбы с «длинным хвостом» задержек; Премия Зала славы SIGOPS 2025.
  • Пропаганда архитектуры TPU — Рано определил, что производственное глубокое обучение в масштабе требует специализированных микросхем; продвигал программу тензорных процессоров Google (TPU) начиная с TPUv1, обеспечив в 30–80 раз лучшую производительность на ватт по сравнению с современными CPU/GPU для инференса.
  • Вклад в «Великое пробуждение ИИ» — Работа по нейронному машинному переводу, описанная в знаковой статье в The New York Times Magazine за 2016 год, которая сделала масштаб перехода Google на нейронные методы в Google Translate доступным для широкой аудитории.

Награды и признание

  • Премия ACM по вычислительной технике (2012, совместно с Санджаем Гемаватом) — За основополагающий вклад в масштабируемые распределенные системы.
  • Премия Марка Вайзера от ACM SIGOPS (2012) — За вклад в исследования операционных систем.
  • Член Ассоциации вычислительной техники (ACM Fellow) (2009)
  • Член Национальной инженерной академии США (2009) — Одна из высших инженерных наград в США.
  • Член Американской академии искусств и наук (2016)
  • Член Американской ассоциации содействия развитию науки (год не указан)
  • Медаль Джона фон Неймана (IEEE) (2021) — Высшая награда IEEE в области компьютерных наук и инженерии.
  • Премия Test of Time на NeurIPS (2023) — За статью word2vec «Distributed Representations of Words and Phrases and their Compositionality» (NeurIPS 2013).
  • Премии Зала славы SIGOPS — За MapReduce (2015), Bigtable (2016), Spanner (2022) и «The Tail at Scale» (2025).
  • Премия ACM SIGMOD за системы (2025) — За Spanner.
  • TIME100 AI (2025) — Включен в список самых влиятельных людей в области ИИ по версии журнала Time.

Ключевые отношения

  • Санджай Гемават — Многолетний партнер по разработке; они являются соавторами MapReduce, Bigtable, Spanner, LevelDB и Protocol Buffers, а также единственными двумя старшими научными сотрудниками Google (Senior Fellows). The New Yorker опубликовал очерк об их сотрудничестве: «The Friendship That Made Google Huge» (2018).
  • Крейг Чемберс — Научный руководитель (PhD) в Вашингтонском университете; руководил работой Дина по компиляторной оптимизации для объектно-ориентированных языков.
  • Випин Кумар — Научный руководитель дипломной работы бакалавра в Университете Миннесоты; руководил ранними работами Дина по обучению нейронных сетей.
  • Джеффри Хинтон — Соавтор статьи о дистилляции знаний (2015); работы Хинтона по глубоким сетям доверия были прямым интеллектуальным предшественником создания Google Brain.
  • Демис Хассабис — CEO Google DeepMind и коллега Дина после слияния Google Brain и DeepMind в 2023 году; теперь они совместно руководят объединенной организацией.
  • Тимнит Гебру — Бывший соруководитель команды по этике ИИ в Google, увольнение которой в декабре 2020 года вызвало значительный внутренний и публичный скандал, в котором усматривались последствия решений руководства Дина.
  • Куок В. Ле — Долгосрочный сотрудник Google Brain; ключевая фигура в статье о нейроне кошки, word2vec и работе по нейронному машинному переводу.
  • Дэвид Паттерсон — Пионер компьютерной архитектуры и соавтор работ по TPU и выбросам углерода от МО; вместе с Дином входит в совет директоров Института Лауде.

Личный стиль

В отрасли Дина характеризуют исключительно широкая техническая область — он свободно ориентируется в теории компиляторов, распределенных системах и исследованиях глубокого обучения на протяжении карьеры, охватывающей четыре десятилетия, — в сочетании с устойчивым предпочтением систем, работающих на самом крайнем пределе возможного масштаба. Его технические тексты и выступления отличаются количественной ориентацией: он известен тем, что публикует конкретные данные о пропускной способности, задержках и выбросах углерода, а не качественные оценки, и публично оспаривал то, что считает дезинформацией об экологических издержках МО. Помимо своего исследовательского профиля, он является героем интернет-мема «Факты о Джеффе Дине» — жанра гиперболических утверждений в стиле Чак Норриса о его навыках программирования, — что отражает реальную репутацию среди инженеров как человека, решающего проблемы, которые другие считают неразрешимыми. Его личный сайт и выступления раскрывают необычайно кочевой опыт детства, которому он отчасти приписывает свою способность свободно работать в разных дисциплинах и географических областях.

Ссылки