Ruslan Salakhutdinov

Wiki
, , , ,
1

Kanadischer Forscher tatarischer Herkunft und UPMC-Professor an der Carnegie Mellon University, bekannt für grundlegende Beiträge zu Deep-Belief-Netzwerken, tiefen Boltzmann-Maschinen, Dropout und Bayesianischem Programmlernen, derzeit Vizepräsident für Forschung im Bereich Generative KI bei Meta.

Profil
Geboren ca. 1980, Taschkent, Usbekistan (damals UdSSR)
Staatsangehörigkeit Kanadisch
Derzeitige Institutionen Meta (VP Research, Generative AI); Carnegie Mellon University (UPMC-Professor, Machine Learning Department)
Forschungsbereiche Deep Learning, Probabilistische Graphische Modelle, Großskalige Optimierung, Multimodale LLMs, KI-Agenten
Doktorvater Geoffrey Hinton
Dissertation Learning Deep Generative Models (University of Toronto, 2009)
CMU-Website cs.cmu.edu/~rsalakhu
Google Scholar Ruslan Salakhutdinov — über 264.000 Zitationen
X / Twitter @rsalakhu

Überblick

Ruslan „Russ“ Salakhutdinov ist eine der zentralen Figuren der Deep-Learning-Renaissance, die Mitte der 2000er Jahre begann. Unter der Leitung von Geoffrey Hinton an der University of Toronto ausgebildet, war er Koautor der Arbeiten über Deep-Belief-Netzwerke und tiefe Boltzmann-Maschinen, die dazu beitrugen, neuronale Netze als das dominierende Paradigma im maschinellen Lernen wiederzuetablieren. Später erfand er Dropout mit – wohl die am weitesten verbreitete Regularisierungstechnik in der Geschichte des Deep Learnings – und trug zum Bayesianischen Programmlernen bei, einem einflussreichen Modell des menschlichen Einshot-Konzeptlernens. Seine Karriere verband akademische und industrielle Arbeit auf ungewöhnliche Weise: Seit 2016 ist er durchgehend ordentlicher Professor an der Carnegie Mellon University und war gleichzeitig der erste Director of AI Research bei Apple und seit 2024 Vizepräsident für Forschung im Bereich Generative KI bei Meta. Seine Publikationen haben über 264.000 Zitationen angesammelt, was ihn zu einem der meistzitierten Forscher in der Geschichte des Fachgebiets macht.

Frühes Leben und Ausbildung

Salakhutdinov wurde um 1980 in Taschkent (dem damaligen sowjetischen Usbekistan) geboren und ist tatarischer Herkunft. Er wanderte nach Kanada aus und absolvierte sein gesamtes Graduiertenstudium an der University of Toronto. Er erwog, das Feld der Künstlichen Intelligenz zu verlassen, als er 2004 Geoffrey Hinton traf, änderte aber seine Meinung, nachdem Hinton ihn einlud, an einem Projekt mitzuarbeiten, das sich auf eine neue Art des Trainings künstlicher neuronaler Netze konzentrierte, die Hinton als „Deep-Belief-Netzwerke“ bezeichnete. Dieses Treffen erwies sich als entscheidend: Salakhutdinov wurde während seiner Doktorandenzeit einer der engsten Mitarbeiter Hintons und war Koautor der Arbeiten, die die moderne Ära des Deep Learnings einleiteten.

Er promovierte 2009 in maschinellem Lernen (Informatik) an der University of Toronto. Seine Dissertation Learning Deep Generative Models befasste sich mit unüberwachtem Lernen hierarchischer probabilistischer Modelle. Nach seiner Promotion verbrachte er zwei Jahre als Postdoc am Department of Brain and Cognitive Sciences und am Computer Science and AI Laboratory (CSAIL) des MIT (2009–2011).

Karriere

University of Toronto (2011–2016)

Salakhutdinov trat 2011 als Assistenzprofessor am Fachbereich Informatik und am Fachbereich Statistik der University of Toronto ein. In dieser Zeit erhielt er mehrere bedeutende Frühkarrierepreise, entwickelte Dropout mit und leistete einflussreiche Arbeit zum Einshot-Lernen mit Mitarbeitern des MIT. Er wurde Fellow des Canadian Institute for Advanced Research (CIFAR) und erhielt Fördermittel von NSERC, der Sloan Foundation, Google, Microsoft und Samsung.

Carnegie Mellon University (seit 2016)

Salakhutdinov wechselte 2016 als außerordentlicher Professor an das Machine Learning Department der Carnegie Mellon. Anschließend wurde er zum UPMC Professor of Computer Science ernannt, einem von UPMC finanzierten Lehrstuhl zur Förderung der Arbeit in KI, maschinellem Lernen und Datenanalyse im Gesundheitswesen. An der CMU weitete sich seine Forschung auf die Verarbeitung natürlicher Sprache und multimodales Lernen aus, und seine Gruppe produzierte einflussreiche Arbeiten zum Leseverständnis, Graph Neural Networks, sprachgestützten Agenten und multimodalen Grundlagenmodellen. Er hat zahlreiche Doktoranden betreut, deren Arbeit breite Auswirkungen in den Bereichen NLP, Computer Vision und RL hatte, darunter Zhilin Yang, Co-Erstautor von XLNet.

Apple – Director of AI Research (2016–2020)

2015 war Salakhutdinov Mitbegründer von Perceptual Machines, einem Unternehmen, das sich auf KI-Technologien konzentrierte und später von Apple übernommen wurde. Salakhutdinov wechselte 2016 als Director of AI Research zu Apple – Apples erste Person mit diesem Titel – wo er wichtige KI- und Machine-Learning-Forschungsinitiativen leitete. Er verließ Apple Anfang 2020, um sich wieder auf seine Rolle an der CMU zu konzentrieren.

Meta – VP Research, Generative AI (seit 2024)

Im Juni 2024 wechselte Salakhutdinov zu Meta als Vizepräsident für Forschung im Bereich Generative KI, wo sich seine Arbeit auf multimodale große Sprachmodelle (LLMs) und KI-Agenten konzentriert. Er behält gleichzeitig seine UPMC-Professur an der CMU.

Wichtigste Beiträge

  • Deep-Belief-Netzwerke (DBNs) (2006) – Gemeinsam mit Geoffrey Hinton verfasste er die wegweisende Arbeit, die effizientes gieriges schichtweises Vortraining tiefer generativer Modelle demonstrierte. Diese Arbeit wurde in Science und als NIPS-Papier veröffentlicht und gilt weithin als einer der Ausgangspunkte der modernen Deep-Learning-Renaissance, da sie zeigte, dass tiefe Netzwerke erstmals effektiv in großem Maßstab trainiert werden konnten.

  • Tiefe Boltzmann-Maschinen (DBMs) – Auf der AISTATS 2009 gemeinsam mit Hinton vorgestellt, erweiterten DBMs das Framework ungerichteter graphischer Modelle auf mehrere Schichten und boten eine vollständig probabilistische tiefe Architektur mit Näherungsinferenzverfahren. Nachfolgende Arbeiten zum effizienten Lernen von DBMs (AISTATS 2010) lieferten praktische Trainingsalgorithmen, die die Anwendung auf multimodale Daten ermöglichten.

  • Restricted Boltzmann Machines für Collaborative Filtering – Anwendung von RBMs auf das Empfehlungsproblem des Netflix-Preises, wobei konkurrenzfähige Ergebnisse erzielt und gezeigt wurde, dass probabilistische latente Variablenmodelle auf industrielle Empfehlungsaufgaben skaliert werden können.

  • Dropout (JMLR 2014) – Gemeinsam mit Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky und Ilya Sutskever verfasst. Das Papier schlug das zufällige Weglassen von Neuronen in neuronalen Netzen während des Trainings als einfache, hochwirksame Regularisierungstechnik vor. Es wurde zu einem der meistzitierten Arbeiten in der Geschichte des maschinellen Lernens und ist nach wie vor eine Standardkomponente des Trainings neuronaler Netze.

  • Bayesianisches Programmlernen / Einshot-Konzeptlernen (Science, 2015) – Gemeinsam mit Brenden Lake und Josh Tenenbaum verfasst. Das Papier schlug ein probabilistisches Modell des menschlichen Lernens handgeschriebener Zeichen vor, das die menschliche Leistung beim Erkennen neuer Zeichen anhand eines einzigen Beispiels erreichen oder übertreffen konnte, und etablierte das Einshot-Lernen als wichtige Forschungsagenda, die Kognitionswissenschaft mit Deep Learning verband.

  • XLNet (NeurIPS 2019) – Gemeinsam mit Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell und Quoc V. Le verfasst. XLNet schlug eine generalisierte autoregressive Vortrainingsmethode vor, die die Vorteile des autoregressiven Sprachmodellierens und des BERT-ähnlichen bidirektionalen Kontexts kombinierte, und übertraf BERT bei 20 Aufgaben und erzielte zum Zeitpunkt der Veröffentlichung hochmoderne Ergebnisse bei 18 Aufgaben, darunter SQuAD, GLUE und RACE.

  • Multimodale große Sprachmodelle (2023–) – An der CMU und bei Meta entwickelte Salakhutdinovs Gruppe frühe Arbeiten zur Verankerung von Sprachmodellen in Bildern für gemeinsame multimodale Ein- und Ausgabe (FROMAGe, GILL) sowie zum multimodalen Lernen ohne gelabelte multimodale Daten und trug damit zur Grundlage der modernen multimodalen LLM-Forschung bei.

Auszeichnungen und Anerkennungen

  • Alfred P. Sloan Research Fellowship (2013–2015) – Verliehen für herausragende Forschung in der frühen Karriere.
  • Microsoft Research Faculty Fellowship (2013–2015) – Anerkennung herausragender junger Fakultätsmitglieder in der Informatik.
  • Early Researcher Award (2012–2017) – Auszeichnung des Ontario Ministry of Research and Innovation für herausragende Forschung in der frühen Karriere.
  • Connaught New Researcher Award (2012–2014) – Anerkennung der University of Toronto für Forschungserfolge.
  • Google Faculty Research Award (2014–2015) – Zuschuss in Anerkennung herausragender Forschung.
  • UPMC-Professur, Carnegie Mellon University – Stiftungslehrstuhl für KI, maschinelles Lernen und Gesundheitsdatenanalyse.
  • Nvidia Pioneers of AI Award – Anerkennung grundlegender Beiträge zum Fachgebiet.
  • Senior Fellow, CIFAR – Leitende Fellowship im Programm „Learning in Machines and Brains“ des Canadian Institute for Advanced Research.
  • Google Scholar-Zitationen – Über 264.000 Zitationen insgesamt, was ihn zu einem der meistzitierten KI-Forscher weltweit macht.

Wichtige Beziehungen

  • Geoffrey Hinton – Doktorvater an der University of Toronto und häufiger Koautor; Turing-Preisträger (2018) und Hauptarchitekt des Deep-Learning-Programms, das Salakhutdinov voranzubringen half. Die zufällige Begegnung mit Hinton im Jahr 2004 war ein entscheidender Wendepunkt in Salakhutdinovs Karriere.
  • Josh Tenenbaum – Mitarbeiter am MIT zum Bayesianischen Programmlernen und Einshot-Konzeptlernen; ihre Arbeit zur Verbindung von Kognitionswissenschaft und maschinellem Lernen führte zum Science-Papier von 2015 über menschliches Konzeptlernen.
  • Ilya Sutskever – Kollege an der University of Toronto und Koautor von Dropout; später Mitbegründer von OpenAI und Safe Superintelligence Inc.
  • Nitish Srivastava – Doktorand und Hauptmitentwickler von Dropout, dessen JMLR-Papier von 2014 zu einem der meistgelesenen Arbeiten in der Geschichte des maschinellen Lernens wurde.
  • Zhilin Yang – Doktorand an der CMU und Erstautor von XLNet; einer der einflussreichsten Doktoranden Salakhutdinovs.
  • Alex Krizhevsky – Koautor von Dropout; ebenfalls Hinton-Doktorand und Schöpfer von AlexNet, dessen Beiträge dieselbe Deep-Learning-Durchbruchsära prägten.
  • Eric Xing – CMU-Kollege im Machine Learning Department; langjähriger Mitarbeiter bei probabilistischen Modellen und NLP.

Persönlicher Stil

Salakhutdinov hat durchgängig im gesamten Spektrum von theoretischen Grundlagen bis hin zur technischen Implementierung gearbeitet – eine Breite, die selbst unter leitenden Forschern ungewöhnlich ist. Seine frühen Karrierebeiträge – DBNs, DBMs, Dropout – waren keine inkrementellen Verfeinerungen, sondern Interventionen auf Paradigma-Ebene, die die Denkweise des Fachgebiets über unüberwachtes Vortraining, Regularisierung und generative Modelle neu formten. In Interviews hat er die Komplementarität von akademischer Freiheit und industriellem Maßstab betont: Er hat angemerkt, dass die Wissenschaft mehr Freiheit biete, an langfristigen Problemen zu arbeiten, während die Industrieforschung aufregend sei, weil sie Millionen von Nutzern beeinflussen könne, wenn eine grundlegende KI-Technologie entwickelt werde. Seine Kursmaterialien der CMU und öffentlichen Tutorien – darunter ein vierteiliges Deep-Learning-Tutorium am Simons Institute in Berkeley – werden weltweit in der Graduiertenausbildung eingesetzt.

Referenzen