Руслан Салахутдинов

вики
, , , ,
1

Канадский исследователь татарского происхождения, профессор UPMC в Университете Карнеги — Меллона, известный фундаментальными вкладами в глубокие сети убеждений (Deep Belief Networks), глубокие машины Больцмана (Deep Boltzmann Machines), Dropout и байесовское программное обучение; в настоящее время — вице-президент по исследованиям в области генеративного ИИ в Meta.

Профиль
Родился ок. 1980, Ташкент, Узбекистан (тогда СССР)
Гражданство Канада
Текущие места работы Meta (VP Research, Generative AI); Университет Карнеги — Меллона (профессор UPMC, кафедра машинного обучения)
Области исследований Глубокое обучение, вероятностные графовые модели, крупномасштабная оптимизация, мультимодальные LLM, AI-агенты
Научный руководитель Джеффри Хинтон
Докторская диссертация Изучение глубоких порождающих моделей (Learning Deep Generative Models) (Университет Торонто, 2009)
Веб-сайт в CMU cs.cmu.edu/~rsalakhu
Google Scholar Руслан Салахутдинов — процитирован более 264 000 раз
X / Twitter @rsalakhu

Обзор

Руслан („Расс“) Салахутдинов — одна из центральных фигур ренессанса глубокого обучения, начавшегося в середине 2000-х годов. Обучаясь под руководством Джеффри Хинтона в Университете Торонто, он стал соавтором работ по глубоким сетям убеждений и глубоким машинам Больцмана, которые помогли восстановить доминирование нейронных сетей в машинном обучении. Позже он совместно изобрёл Dropout — пожалуй, наиболее широко используемый метод регуляризации в истории глубокого обучения — и внёс вклад в байесовское программное обучение (Bayesian Program Learning), влиятельную модель однократного усвоения концепций человеком. Его карьера необычным образом соединила академию и индустрию: начиная с 2016 года он непрерывно занимает должность полного профессора в Университете Карнеги — Меллона, одновременно являясь первым директором AI Research в Apple и, с 2024 года, вице-президентом по исследованиям в области генеративного ИИ в Meta. Его публикации собрали более 264 000 цитирований, что делает его одним из самых цитируемых исследователей в истории этой области.

Ранние годы и образование

Салахутдинов родился около 1980 года в Ташкенте (тогда Советский Узбекистан) и имеет татарское происхождение. Он эмигрировал в Канаду и получил всё последипломное образование в Университете Торонто. В 2004 году он почти ушёл из области искусственного интеллекта, но передумал после того, как Хинтон пригласил его участвовать в проекте, посвящённом новому способу обучения искусственных нейронных сетей, который Хинтон назвал „глубокие сети убеждений“. Эта встреча оказалась решающей: Салахутдинов стал одним из ближайших соавторов Хинтона в годы докторантуры, соавтором статей, которые положили начало современной эре глубокого обучения.

Он получил докторскую степень по машинному обучению (компьютерные науки) в Университете Торонто в 2009 году. Его диссертация «Изучение глубоких порождающих моделей» была посвящена неконтролируемому обучению иерархических вероятностных моделей. После получения степени он провёл два года постдокторантуры на кафедре когнитивных наук и в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (2009–2011).

Карьера

Университет Торонто (2011–2016)

В 2011 году Салахутдинов стал доцентом на кафедрах компьютерных наук и статистики Университета Торонто. В этот период он получил несколько крупных наград для молодых учёных, совместно изобрёл Dropout и разработал влиятельные работы по однократному обучению в сотрудничестве с коллегами из MIT. Он стал членом Канадского института перспективных исследований (CIFAR) и привлёк финансирование от NSERC, Фонда Слоуна, Google, Microsoft и Samsung.

Университет Карнеги — Меллона (2016–наст. время)

В 2016 году Салахутдинов стал адъюнкт-профессором на кафедре машинного обучения в Университете Карнеги — Меллона. Позднее он был назначен профессором UPMC по компьютерным наукам — именной кафедрой, финансируемой UPMC для продвижения работы в области ИИ, машинного обучения и аналитики данных для здравоохранения. В CMU его исследования расширились в области обработки естественного языка и мультимодального обучения; его группа создала влиятельные работы по пониманию прочитанного, графовым нейронным сетям, основанным на языке агентам и мультимодальным фундаментальным моделям. Он руководил многочисленными аспирантами, чьи работы оказали широкое влияние на NLP, компьютерное зрение и RL, включая Чжилиня Яна (Zhilin Yang), со-первого автора XLNet.

Apple — Director of AI Research (2016–2020)

В 2015 году Салахутдинов стал сооснователем компании Perceptual Machines, занимающейся технологиями ИИ, которая позже была куплена Apple. В 2016 году Салахутдинов присоединился к Apple в качестве директора AI Research — первого человека на этой должности в Apple — где руководил ключевыми исследовательскими инициативами в области ИИ и машинного обучения. Он ушёл в начале 2020 года, чтобы сосредоточиться на своей роли в CMU.

Meta — VP Research, Generative AI (2024–наст. время)

В июне 2024 года Салахутдинов присоединился к Meta в должности вице-президента по исследованиям в области генеративного ИИ, где его работа сосредоточена на мультимодальных больших языковых моделях (LLM) и AI-агентах. Он сохраняет свою профессуру UPMC в CMU одновременно.

Ключевые вклады

  • Глубокие сети убеждений (DBNs) (2006) — В соавторстве с Джеффри Хинтоном написана знаковая статья, демонстрирующая эффективное жадное послойное предварительное обучение глубоких порождающих моделей. Опубликованная в Science и в виде доклада на NIPS, эта работа широко признаётся одной из отправных точек современного ренессанса глубокого обучения, показав, что глубокие сети могут быть впервые эффективно обучены в масштабе.

  • Глубокие машины Больцмана (DBMs) — Представлены на AISTATS 2009 совместно с Хинтоном; DBMs расширили ненаправленный графовый модельный фреймворк на несколько слоёв, предложив полностью вероятностную глубокую архитектуру с процедурами приближённого вывода. Последующие работы по эффективному обучению DBMs (AISTATS 2010) предоставили практические алгоритмы обучения, позволившие применять их к мультимодальным данным.

  • Ограниченные машины Больцмана для коллаборативной фильтрации — Применение RBM к задаче рекомендаций Netflix Prize, давшее конкурентоспособные результаты и продемонстрировавшее, что вероятностные модели скрытых переменных могут масштабироваться для промышленных задач рекомендаций.

  • Dropout (JMLR 2014) — В соавторстве с Нитишем Шриваставой, Джеффри Хинтоном, Алексом Крижевским и Ильёй Суцкевером. Статья предложила случайное отключение нейронов сети во время обучения как простой и высокоэффективный метод регуляризации. Она стала одной из самых цитируемых статей в истории машинного обучения и остаётся стандартным компонентом обучения нейронных сетей.

  • Байесовское программное обучение / однократное обучение понятиям (Science, 2015) — В соавторстве с Бренденом Лейком и Джошем Тененбаумом. Статья предложила вероятностную модель обучения рукописным символам человека, которая могла сравниться или превзойти человеческие показатели в распознавании новых символов по одному примеру, утвердив однократное обучение как крупную исследовательскую программу и связав когнитивную науку с глубоким обучением.

  • XLNet (NeurIPS 2019) — В соавторстве с Чжилинем Яном, Цзыханом Даем, Имином Яном, Хайме Карбонеллом и Куоком В. Ле. XLNet предложила обобщённый метод авторегрессионного предварительного обучения, сочетающий преимущества авторегрессионного языкового моделирования и двунаправленного контекста в стиле BERT, превзойдя BERT по 20 задачам и достигнув самых современных результатов по 18 задачам на момент публикации, включая SQuAD, GLUE и RACE.

  • Мультимодальные большие языковые модели (2023–) — В CMU и Meta группа Салахутдинова разработала ранние работы по привязке языковых моделей к изображениям для совместного мультимодального ввода-вывода (FROMAGe, GILL) и по мультимодальному обучению без размеченных мультимодальных данных, заложив основу для современных исследований мультимодальных LLM.

Награды и признание

  • Исследовательская стипендия Альфреда П. Слоуна (2013–2015) — Присуждена за выдающиеся достижения в начале карьеры.
  • Стипендия факультета Microsoft Research (2013–2015) — Признание выдающихся молодых преподавателей в области компьютерных наук.
  • Награда молодому исследователю (2012–2017) — Награда Министерства исследований и инноваций Онтарио за выдающиеся исследования на раннем этапе карьеры.
  • Награда новому исследователю Connaught (2012–2014) — Признание Университета Торонто за исследовательские достижения.
  • Факультетская исследовательская награда Google (2014–2015) — Грант в знак признания выдающихся исследований.
  • Профессура UPMC, Университет Карнеги — Меллона — Именная кафедра в области ИИ, машинного обучения и аналитики медицинских данных.
  • Награда Nvidia Pioneers of AI — Признание фундаментальных вкладов в эту область.
  • Старший член, CIFAR — Старшее членство в программе «Обучение в машинах и мозгах» Канадского института перспективных исследований.
  • Google Scholar цитирования — Более 264 000 общих цитирований, что помещает его в число самых цитируемых исследователей ИИ в мире.

Ключевые отношения

  • Джеффри Хинтон — Научный руководитель PhD в Университете Торонто и частый соавтор; лауреат премии Тьюринга (2018) и главный архитектор программы глубокого обучения, которую Салахутдинов помог продвинуть. Случайная встреча с Хинтоном в 2004 году стала решающим поворотным моментом в карьере Салахутдинова.
  • Джош Тененбаум — Соавтор из MIT по байесовскому программному обучению и однократному обучению понятиям; их работа, соединившая когнитивную науку и машинное обучение, привела к статье в Science 2015 года об обучении понятиям на человеческом уровне.
  • Илья Суцкевер — Коллега в Университете Торонто и соавтор по Dropout; позже сооснователь OpenAI и Safe Superintelligence Inc.
  • Нитиш Шривастава — Аспирант и главный соавтор Dropout, статья которого в JMLR 2014 стала одной из самых читаемых статей в истории машинного обучения.
  • Чжилинь Ян — Аспирант CMU и первый автор XLNet; один из самых влиятельных докторантов Салахутдинова.
  • Алекс Крижевский — Соавтор по Dropout; также докторант Хинтона и создатель AlexNet, чьи работы сформировали ту же эпоху прорыва в глубоком обучении.
  • Эрик Син — Коллега по CMU на кафедре машинного обучения; давний соавтор по вероятностным моделям и NLP.

Личный стиль

Салахутдинов последовательно работал во всём спектре от теоретических основ до инженерной реализации — редкая широта даже среди старших исследователей. Его ранние научные вклады — DBNs, DBMs, Dropout — были не постепенными усовершенствованиями, а парадигмальными вмешательствами, переформировавшими представления области о неконтролируемом предварительном обучении, регуляризации и порождающих моделях. В интервью он подчёркивал взаимодополняемость академической свободы и промышленного масштаба: он отмечал, что академия предоставляет большую свободу для работы над долгосрочными проблемами, в то время как индустриальные исследования интересны тем, что могут повлиять на миллионы пользователей, когда разрабатывается основная технология ИИ. Его учебные материалы в CMU и публичные лекции, включая четырёхчастный учебник по глубокому обучению в Институте Саймонса в Беркли, широко используются в аспирантском образовании по всему миру.

Ссылки