Ruslan Salakhutdinov

ウィキ
, , , ,
1

タタール系カナダ人の研究者、カーネギーメロン大学UPMC教授。深層信念ネットワーク、深層ボルツマンマシン、ドロップアウト、ベイズプログラム学習への基礎的貢献で知られ、現在はMetaの生成AI部門でリサーチ担当バイスプレジデントを務める。

プロフィール
出生 1980年頃、ウズベキスタン・タシュケント（当時はソ連）
国籍 カナダ
所属機関（現在） Meta（リサーチ担当VP、生成AI）；カーネギーメロン大学（UPMC教授、機械学習学科）
専門分野 深層学習、確率的グラフィカルモデル、大規模最適化、マルチモーダルLLM、AIエージェント
博士課程指導教官 ジェフリー・ヒントン
博士論文 Learning Deep Generative Models（トロント大学、2009年）
CMUのWebサイト cs.cmu.edu/~rsalakhu
Google Scholar Ruslan Salakhutdinov — 被引用数264,000超
X / Twitter @rsalakhu

概要

ルスラン・“ラス”・サラクディノフは、2000年代半ばに始まった深層学習ルネサンスの中心人物の一人である。トロント大学でジェフリー・ヒントンの指導を受け、深層信念ネットワークと深層ボルツマンマシンに関する論文を共同執筆し、ニューラルネットワークを機械学習における支配的なパラダイムとして再確立することに貢献した。その後、ドロップアウト（深層学習史上、最も広く使われている正則化手法といえる）を共同発明し、さらに人間のワンショット概念獲得の影響力のあるモデルであるベイズプログラム学習にも貢献した。彼のキャリアは学界と産業界を異例の形で橋渡ししている。2016年から継続してカーネギーメロン大学の正教授を務める一方、Appleの初代AI研究ディレクター、そして2024年からはMetaの生成AI部門でリサーチ担当バイスプレジデントを務めている。彼の出版物は累計26万4,000回以上引用されており、この分野の歴史上最も引用された研究者の一人となっている。

生い立ちと教育

サラクディノフは1980年頃、タシュケント（当時はソ連領ウズベキスタン）で生まれ、タタール系である。カナダに移住し、大学院教育はすべてトロント大学で受けた。2004年にジェフリー・ヒントンと出会うまでは人工知能の分野を離れることを考えていたが、ヒントンが当時「深層信念ネットワーク」と呼んでいた人工ニューラルネットワークの新しい訓練方法に焦点を当てたプロジェクトへの参加を誘ったことで考えを変えた。この出会いが決定的となり、サラクディノフは博士課程を通じてヒントンの最も緊密な協力者の一人となり、現代の深層学習時代を切り拓く論文を共同執筆した。

2009年にトロント大学で機械学習（コンピュータ科学）の博士号を取得。論文はLearning Deep Generative Modelsと題し、階層的確率モデルの教師なし学習を扱った。博士号取得後、2009年から2011年までMITの脳・認知科学科およびコンピュータ科学・人工知能研究所（CSAIL）で2年間の博士研究員を務めた。

経歴

トロント大学（2011–2016年）

サラクディノフは2011年、トロント大学のコンピュータ科学科と統計学科の助教授に着任。この時期に初期キャリア向けの主要な賞をいくつか受賞し、ドロップアウトを共同発明し、MITの協力者とともにワンショット学習に関する影響力のある研究を開発した。カナダ先端研究所（CIFAR）のフェローとなり、NSERC、スローン財団、Google、Microsoft、Samsungから研究資金を得た。

カーネギーメロン大学（2016年–現在）

サラクディノフは2016年、カーネギーメロン大学の機械学習学科に准教授として着任。その後、UPMCコンピュータ科学教授に任命された。これはUPMCが医療分野におけるAI、機械学習、データ分析の研究を推進するために資金提供した冠講座である。CMUでは研究を自然言語処理とマルチモーダル学習に拡大し、彼のグループは読解、グラフニューラルネットワーク、言語に基づくエージェント、マルチモーダル基盤モデルに関する影響力のある研究を生み出した。彼の指導した多くの博士課程学生はNLP、ビジョン、強化学習に幅広い影響を与えており、中でもXLNetの共同第一著者であるZhilin Yangがいる。

Apple — AI研究ディレクター（2016–2020年）

サラクディノフは2015年にAI技術に焦点を当てた企業Perceptual Machinesを共同設立し、後にAppleに買収された。2016年にAppleに入社し、同社初のAI研究ディレクターとして主要なAIおよび機械学習の研究イニシアチブを主導した。2020年初めに退社し、CMUでの役割に専念するためである。

Meta — リサーチ担当VP、生成AI（2024年–現在）

2024年6月、サラクディノフはMetaの生成AI部門でリサーチ担当バイスプレジデントに就任。マルチモーダル大規模言語モデル（LLM）およびAIエージェントに焦点を当てた研究を行っている。CMUのUPMC教授職は引き続き保持している。

主な貢献

  • 深層信念ネットワーク（DBNs）（2006年） — ジェフリー・ヒントンと共同で、深層生成モデルの効率的な層ごとの貪欲事前学習を実証した画期的論文を執筆。ScienceおよびNIPS論文として発表され、現代の深層学習ルネサンスの出発点の一つとして広く評価されており、初めて深層ネットワークを大規模に効果的に訓練できることを示した。

  • 深層ボルツマンマシン（DBMs） — AISTATS 2009でヒントンとともに発表。無向グラフィカルモデルの枠組みを複数層に拡張し、近似的推論手順を備えた完全確率的な深層アーキテクチャを提供した。その後のDBMの効率的学習に関する研究（AISTATS 2010）は、マルチモーダルデータへの応用を可能にする実用的な訓練アルゴリズムを提供した。

  • 協調フィルタリングのための制限付きボルツマンマシン — Netflix Prizeの推薦問題にRBMを適用し、競争力のある結果を示し、確率的潜在変数モデルが産業規模の推薦タスクに拡張可能であることを実証した。

  • ドロップアウト（JMLR 2014年） — Nitish Srivastava、ジェフリー・ヒントン、Alex Krizhevsky、Ilya Sutskeverと共同執筆。訓練中にニューラルネットワークユニットをランダムに落とすことを、シンプルで非常に効果的な正則化手法として提案。機械学習史上最も引用された論文の一つとなり、現在でもニューラルネットワーク訓練の標準的な要素として残っている。

  • ベイズプログラム学習 / ワンショット概念学習（Science、2015年） — Brenden Lake、Josh Tenenbaumと共同執筆。人間の手書き文字学習の確率モデルを提案し、単一の例から新しい文字を認識する点で人間の性能に匹敵または凌駕することを実証。ワンショット学習を主要な研究課題として確立し、認知科学と深層学習を結びつけた。

  • XLNet（NeurIPS 2019年） — Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Quoc V. Leと共同執筆。自己回帰言語モデルとBERTスタイルの双方向コンテキストの利点を組み合わせた一般化自己回帰事前学習手法を提案。20のタスクでBERTを上回り、発表時点で18のタスクでSOTAを達成（SQuAD、GLUE、RACEを含む）。

  • マルチモーダル大規模言語モデル（2023年–） — CMUおよびMetaにおいて、サラクディノフのグループは画像と言語モデルを接地して共同マルチモーダル入出力を実現する（FROMAGe、GILL）初期研究や、ラベルなしマルチモーダルデータによるマルチモーダル学習を行い、現代のマルチモーダルLLM研究の基盤に貢献。

受賞と栄誉

  • アルフレッド・P・スローン研究フェローシップ（2013–2015年） — 初期キャリアの優れた研究に対して授与。
  • Microsoft Research教員フェローシップ（2013–2015年） — コンピュータ科学における傑出した若手教員を表彰。
  • 早期研究者賞（2012–2017年） — オンタリオ州研究革新省の賞で、優れた初期キャリア研究を表彰。
  • Connaught新研究者賞（2012–2014年） — トロント大学が研究業績を表彰。
  • Google教員研究賞（2014–2015年） — 優れた研究に対する助成金。
  • UPMC教授職、カーネギーメロン大学 — AI、機械学習、健康データ分析における冠講座。
  • Nvidia Pioneers of AI Award — この分野への基礎的貢献を表彰。
  • CIFAR上級フェロー — カナダ先端研究所の「機械と脳における学習」プログラムの上級フェロー。
  • Google Scholar被引用数 — 累計26万4,000回を超え、世界で最も引用されているAI研究者の一人。

主な関係者

  • ジェフリー・ヒントン — トロント大学での博士課程指導教官であり頻繁な共同執筆者。チューリング賞受賞者（2018年）であり、サラクディノフが発展に貢献した深層学習プログラムの主要な設計者。2004年の偶然の出会いはサラクディノフのキャリアの決定的な転機となった。
  • ジョシュ・テネンバウム — MITでのベイズプログラム学習およびワンショット概念学習の協力者。認知科学と機械学習を橋渡しした彼らの研究は、Science 2015年の人間レベルの概念学習論文を生み出した。
  • イリヤ・サツケバー — トロント大学での同僚であり、ドロップアウトの共同執筆者。後にOpenAIおよびSafe Superintelligence Inc.の共同設立者。
  • Nitish Srivastava — 博士課程学生であり、ドロップアウトの主要な共同発明者。JMLR 2014年の論文は機械学習史上最も読まれた論文の一つとなった。
  • Zhilin Yang — CMUでの博士課程学生であり、XLNetの第一著者。サラクディノフの最も影響力のある博士課程学生の一人。
  • Alex Krizhevsky — ドロップアウトの共同執筆者。またヒントンの博士課程学生であり、AlexNetの作成者。その貢献は同じ深層学習ブレークスルー時代を形作った。
  • Eric Xing — CMU機械学習学科の同僚。確率モデルおよびNLPにおける長期的な協力者。

人物スタイル

サラクディノフは一貫して理論的基礎から工学的実装に至る全スペクトルで活動しており、その広がりはシニア研究者の間でも異例である。初期キャリアの貢献（DBN、DBM、ドロップアウト）は漸進的な改良ではなく、教師なし事前学習、正則化、生成モデルに関する分野の考え方を再形成するパラダイムレベルの介入であった。インタビューでは、アカデミアの自由と産業界のスケールの補完性を強調している。アカデミアは長期的な問題に取り組む自由度が高い一方、産業界の研究はコアAI技術が開発されたときに何百万人ものユーザーに影響を与えられる点が刺激的だと述べている。彼のCMUのコース教材や公開チュートリアル講義（バークレーのSimons Instituteでの4部構成の深層学習チュートリアルを含む）は、世界中の大学院教育で広く使用されている。

参考文献