Ruslan Salakhutdinov

wiki
, , , ,
1

Chercheur canadien d’origine tatare et professeur UPMC à l’Université Carnegie Mellon, connu pour ses contributions fondatrices aux réseaux de croyances profondes, aux machines de Boltzmann profondes, au Dropout et à l’apprentissage bayésien de programmes, actuellement vice-président de la recherche en IA générative chez Meta.

Profil
Né vers 1980, Tachkent, Ouzbékistan (alors URSS)
Nationalité Canadienne
Institutions actuelles Meta (VP Recherche, IA générative) ; Carnegie Mellon University (Professeur UPMC, Département d’apprentissage automatique)
Domaines de recherche Apprentissage profond, modèles graphiques probabilistes, optimisation à grande échelle, LLM multimodaux, agents IA
Directeur de thèse Geoffrey Hinton
Thèse de doctorat Learning Deep Generative Models (Université de Toronto, 2009)
Site web CMU cs.cmu.edu/~rsalakhu
Google Scholar Ruslan Salakhutdinov — cité plus de 264 000 fois
X / Twitter @rsalakhu

Aperçu

Ruslan « Russ » Salakhutdinov est l’une des figures centrales de la renaissance de l’apprentissage profond qui a débuté au milieu des années 2000. Formé sous la direction de Geoffrey Hinton à l’Université de Toronto, il a co-écrit les articles sur les réseaux de croyances profondes et les machines de Boltzmann profondes qui ont contribué à rétablir les réseaux de neurones comme paradigme dominant en apprentissage automatique. Il a ensuite co-inventé le Dropout — sans doute la technique de régularisation la plus utilisée dans l’histoire de l’apprentissage profond — et a contribué à l’apprentissage bayésien de programmes, un modèle influent d’acquisition humaine de concepts à partir d’un seul exemple. Sa carrière a fait le pont entre le monde académique et l’industrie de manière inhabituelle : il occupe un poste de professeur titulaire à l’Université Carnegie Mellon en continu depuis 2016, tout en étant le premier directeur de la recherche en IA d’Apple et, depuis 2024, vice-président de la recherche en IA générative chez Meta. Ses publications ont accumulé plus de 264 000 citations, faisant de lui l’un des chercheurs les plus cités dans l’histoire du domaine.

Jeunesse et formation

Salakhutdinov est né vers 1980 à Tachkent (alors en Ouzbékistan soviétique) et est d’origine tatare. Il a émigré au Canada et a effectué l’intégralité de ses études supérieures à l’Université de Toronto. Il envisageait d’abandonner le domaine de l’intelligence artificielle lorsqu’il a rencontré Geoffrey Hinton en 2004, mais a changé d’avis après que Hinton l’ait invité à participer à un projet axé sur une nouvelle façon d’entraîner les réseaux de neurones artificiels, que Hinton avait surnommée « réseaux de croyances profondes ». Cette rencontre s’est avérée décisive : Salakhutdinov est devenu l’un des collaborateurs les plus proches de Hinton pendant ses années de doctorat, co-écrivant les articles qui allaient lancer l’ère moderne de l’apprentissage profond.

Il a obtenu son doctorat en apprentissage automatique (informatique) à l’Université de Toronto en 2009. Sa thèse, Learning Deep Generative Models, portait sur l’apprentissage non supervisé de modèles probabilistes hiérarchiques. Après son doctorat, il a effectué deux années de post-doctorat au Département des sciences cognitives et du cerveau du MIT et au Laboratoire d’informatique et d’intelligence artificielle (CSAIL), de 2009 à 2011.

Carrière

Université de Toronto (2011–2016)

Salakhutdinov a rejoint l’Université de Toronto en tant que professeur assistant au Département d’informatique et au Département de statistiques en 2011. Durant cette période, il a reçu plusieurs prix majeurs de début de carrière, co-inventé le Dropout et développé des travaux influents sur l’apprentissage à partir d’un seul exemple avec des collaborateurs du MIT. Il est devenu membre du Canadian Institute for Advanced Research (CIFAR) et a obtenu des financements du NSERC, de la Sloan Foundation, de Google, Microsoft et Samsung.

Université Carnegie Mellon (2016–présent)

Salakhutdinov a rejoint le Département d’apprentissage automatique de Carnegie Mellon en tant que professeur associé en 2016. Il a ensuite été nommé professeur UPMC en informatique, une chaire dotée financée par UPMC pour faire progresser les travaux en IA, apprentissage automatique et analyse de données pour la santé. À la CMU, ses recherches se sont étendues au traitement du langage naturel et à l’apprentissage multimodal, et son groupe a produit des travaux influents sur la compréhension de la lecture, les réseaux de neurones graphiques, les agents fondés sur le langage et les modèles de fondation multimodaux. Il a supervisé de nombreux doctorants dont les travaux ont eu un large impact dans les domaines du TAL, de la vision et de l’apprentissage par renforcement, notamment Zhilin Yang, co-premier auteur de XLNet.

Apple — Directeur de la recherche en IA (2016–2020)

En 2015, Salakhutdinov a co-fondé Perceptual Machines, une entreprise axée sur les technologies de l’IA, qui a ensuite été acquise par Apple. Salakhutdinov a rejoint Apple en tant que directeur de la recherche en IA en 2016 — la première personne à occuper ce poste chez Apple — où il a dirigé des initiatives clés de recherche en IA et en apprentissage automatique. Il a quitté l’entreprise début 2020 pour se recentrer sur son rôle à la CMU.

Meta — VP Recherche, IA générative (2024–présent)

En juin 2024, Salakhutdinov a rejoint Meta en tant que vice-président de la recherche en IA générative, où ses travaux portent sur les grands modèles de langage multimodaux et les agents d’IA. Il conserve simultanément son poste de professeur UPMC à la CMU.

Contributions clés

  • Réseaux de croyances profondes (DBN) (2006) — Co-écrit avec Geoffrey Hinton l’article fondateur démontrant un pré-entraînement gourmand efficace couche par couche de modèles génératifs profonds. Publié dans Science et en tant qu’article NIPS, ce travail est largement reconnu comme l’un des points de départ de la renaissance moderne de l’apprentissage profond, montrant que les réseaux profonds pouvaient être entraînés efficacement pour la première fois à grande échelle.

  • Machines de Boltzmann profondes (DBM) — Introduites à AISTATS 2009 avec Hinton, les DBM ont étendu le cadre des modèles graphiques non dirigés à plusieurs couches, offrant une architecture profonde entièrement probabiliste avec des procédures d’inférence approximative. Des travaux ultérieurs sur l’apprentissage efficace des DBM (AISTATS 2010) ont fourni des algorithmes d’entraînement pratiques permettant leur application à des données multimodales.

  • Machines de Boltzmann restreintes pour le filtrage collaboratif — Application des RBM au problème de recommandation du Netflix Prize, obtenant des résultats compétitifs et démontrant que les modèles à variables latentes probabilistes pouvaient passer à l’échelle pour des tâches de recommandation industrielle.

  • Dropout (JMLR 2014) — Co-écrit avec Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky et Ilya Sutskever. L’article proposait de supprimer aléatoirement des unités de réseaux de neurones pendant l’entraînement comme technique de régularisation simple et très efficace. Il est devenu l’un des articles les plus cités de l’histoire de l’apprentissage automatique et reste un composant standard de l’entraînement des réseaux de neurones.

  • Apprentissage bayésien de programmes / Apprentissage de concepts à partir d’un seul exemple (Science, 2015) — Co-écrit avec Brenden Lake et Josh Tenenbaum. L’article proposait un modèle probabiliste d’apprentissage de caractères manuscrits humains capable d’égaler ou de surpasser les performances humaines dans la reconnaissance de nouveaux caractères à partir d’un seul exemple, établissant l’apprentissage à partir d’un seul exemple comme un programme de recherche majeur et reliant les sciences cognitives à l’apprentissage profond.

  • XLNet (NeurIPS 2019) — Co-écrit avec Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell et Quoc V. Le. XLNet proposait une méthode de pré-entraînement autorégressif généralisée combinant les avantages de la modélisation autorégressive du langage et du contexte bidirectionnel de type BERT, surpassant BERT sur 20 tâches et obtenant des résultats de pointe sur 18 tâches au moment de sa publication, dont SQuAD, GLUE et RACE.

  • Grands modèles de langage multimodaux (2023–) — À la CMU et chez Meta, le groupe de Salakhutdinov a développé des travaux précoces sur l’ancrage des modèles de langage aux images pour une entrée-sortie multimodale conjointe (FROMAGe, GILL), et sur l’apprentissage multimodal sans données multimodales étiquetées, contribuant aux fondations de la recherche moderne sur les LLM multimodaux.

Prix et distinctions

  • Bourse de recherche Alfred P. Sloan (2013–2015) — Décernée pour l’excellence en début de carrière dans la recherche.
  • Bourse de faculté Microsoft Research (2013–2015) — Reconnaissant les jeunes enseignants-chercheurs exceptionnels en informatique.
  • Prix du chercheur en début de carrière (2012–2017) — Prix du ministère ontarien de la Recherche et de l’Innovation pour une recherche exceptionnelle en début de carrière.
  • Prix Connaught du nouveau chercheur (2012–2014) — Reconnaissance de l’Université de Toronto pour ses réalisations en recherche.
  • Prix de recherche facultaire Google (2014–2015) — Subvention en reconnaissance de l’excellence en recherche.
  • Chaire UPMC, Université Carnegie Mellon — Chaire dotée en IA, apprentissage automatique et analyse de données de santé.
  • Prix Nvidia Pioneers of AI — Reconnaissant les contributions fondatrices au domaine.
  • Membre senior, CIFAR — Bourse senior dans le programme Apprentissage dans les machines et les cerveaux de l’Institut canadien de recherches avancées.
  • Citations Google Scholar — Plus de 264 000 citations totales, ce qui le place parmi les chercheurs en IA les plus cités au monde.

Relations clés

  • Geoffrey Hinton — Directeur de thèse à l’Université de Toronto et co-auteur fréquent ; lauréat du prix Turing (2018) et principal architecte du programme d’apprentissage profond que Salakhutdinov a contribué à faire progresser. La rencontre fortuite avec Hinton en 2004 a été un tournant décisif dans la carrière de Salakhutdinov.
  • Josh Tenenbaum — Collaborateur du MIT sur l’apprentissage bayésien de programmes et l’apprentissage de concepts à partir d’un seul exemple ; leurs travaux reliant sciences cognitives et apprentissage automatique ont produit l’article de Science 2015 sur l’apprentissage de concepts au niveau humain.
  • Ilya Sutskever — Collègue à l’Université de Toronto et co-auteur du Dropout ; plus tard co-fondateur d’OpenAI et de Safe Superintelligence Inc.
  • Nitish Srivastava — Doctorant et co-inventeur principal du Dropout, dont l’article JMLR 2014 est devenu l’un des articles les plus lus de l’histoire de l’apprentissage automatique.
  • Zhilin Yang — Doctorant à la CMU et premier auteur de XLNet ; l’un des doctorants les plus influents de Salakhutdinov.
  • Alex Krizhevsky — Co-auteur du Dropout ; également doctorant de Hinton et créateur d’AlexNet, dont les contributions ont façonné la même époque de percée en apprentissage profond.
  • Eric Xing — Collègue à la CMU au Département d’apprentissage automatique ; collaborateur de longue date sur les modèles probabilistes et le TAL.

Style personnel

Salakhutdinov a toujours opéré sur tout le spectre allant des fondements théoriques à la mise en œuvre technique, une étendue rare même chez les chercheurs seniors. Ses contributions de début de carrière — DBN, DBM, Dropout — n’étaient pas des améliorations incrémentales mais des interventions au niveau du paradigme qui ont remodelé la façon dont le domaine envisageait le pré-entraînement non supervisé, la régularisation et les modèles génératifs. Dans des interviews, il a souligné la complémentarité de la liberté académique et de l’échelle industrielle : il a noté que le monde académique offre une plus grande liberté pour travailler sur des problèmes à long terme, tandis que la recherche en industrie est passionnante car elle peut avoir un impact sur des millions d’utilisateurs lorsqu’une technologie d’IA fondamentale est développée. Ses supports de cours à la CMU et ses tutoriels publics — dont un tutoriel sur l’apprentissage profond en quatre parties au Simons Institute à Berkeley — ont été largement utilisés dans l’enseignement supérieur à l’échelle mondiale.

Références