Ruslan Salakhutdinov

wiki
, , , ,
1

"Canadiense de origen tártaro, investigador y profesor UPMC en la Universidad Carnegie Mellon, conocido por sus contribuciones fundacionales a las redes de creencias profundas, las máquinas de Boltzmann profundas, Dropout y el aprendizaje bayesiano de programas, y actualmente vicepresidente de investigación en IA generativa en Meta.

Perfil
Nacimiento c. 1980, Taskent, Uzbekistán (entonces URSS)
Nacionalidad Canadiense
Instituciones actuales Meta (VP de Investigación, IA Generativa); Universidad Carnegie Mellon (Profesor UPMC, Departamento de Aprendizaje Automático)
Áreas de investigación Aprendizaje Profundo, Modelos Gráficos Probabilísticos, Optimización a Gran Escala, LLM Multimodales, Agentes de IA
Asesor de doctorado Geoffrey Hinton
Tesis doctoral Learning Deep Generative Models (Universidad de Toronto, 2009)
Sitio web CMU cs.cmu.edu/~rsalakhu
Google Académico Ruslan Salakhutdinov — citado más de 264.000 veces
X / Twitter @rsalakhu

Resumen

Ruslan «Russ» Salakhutdinov es una de las figuras centrales del renacimiento del aprendizaje profundo que comenzó a mediados de la década de 2000. Formado bajo la tutela de Geoffrey Hinton en la Universidad de Toronto, coescribió los trabajos sobre redes de creencias profundas y máquinas de Boltzmann profundas que ayudaron a restablecer las redes neuronales como el paradigma dominante en el aprendizaje automático. Más tarde coinventó Dropout —posiblemente la técnica de regularización más utilizada en la historia del aprendizaje profundo— y contribuyó al aprendizaje bayesiano de programas, un influyente modelo de adquisición humana de conceptos a partir de un solo ejemplo. Su carrera ha tendido un puente entre la academia y la industria de una manera inusual: ha ocupado una cátedra titular en la Universidad Carnegie Mellon de forma ininterrumpida desde 2016, a la vez que se desempeñó como el primer director de investigación en IA de Apple y, desde 2024, como vicepresidente de investigación en IA generativa en Meta. Sus publicaciones han acumulado más de 264.000 citas, lo que lo convierte en uno de los investigadores más citados en la historia del campo.

Primeros años y educación

Salakhutdinov nació alrededor de 1980 en Taskent (entonces la Unión Soviética, en Uzbekistán) y es de origen tártaro. Emigró a Canadá y realizó todos sus estudios de posgrado en la Universidad de Toronto. Estaba considerando abandonar el campo de la inteligencia artificial cuando conoció a Geoffrey Hinton en 2004, pero cambió de opinión después de que Hinton lo invitara a participar en un proyecto centrado en una nueva forma de entrenar redes neuronales artificiales, a las que Hinton denominó «redes de creencias profundas». Ese encuentro resultó decisivo: Salakhutdinov se convirtió en uno de los colaboradores más cercanos de Hinton durante sus años de doctorado, coescribiendo los artículos que lanzarían la era moderna del aprendizaje profundo.

Obtuvo su doctorado en aprendizaje automático (ciencias de la computación) en la Universidad de Toronto en 2009. Su tesis, Learning Deep Generative Models, abordó el aprendizaje no supervisado de modelos probabilísticos jerárquicos. Después del doctorado, realizó dos años de posdoctorado en el Departamento de Ciencias del Cerebro y Cognitivas del MIT y en el Laboratorio de Ciencias de la Computación e IA (CSAIL), entre 2009 y 2011.

Carrera

Universidad de Toronto (2011–2016)

Salakhutdinov se incorporó a la Universidad de Toronto como profesor asistente en el Departamento de Ciencias de la Computación y el Departamento de Estadística en 2011. Durante este período recibió varios premios importantes para investigadores en etapa inicial, coinventó Dropout y desarrolló un trabajo influyente sobre el aprendizaje a partir de un solo ejemplo en colaboración con investigadores del MIT. Se convirtió en miembro del Instituto Canadiense de Investigaciones Avanzadas (CIFAR) y obtuvo financiación del NSERC, la Fundación Sloan, Google, Microsoft y Samsung.

Universidad Carnegie Mellon (2016–presente)

Salakhutdinov se incorporó al Departamento de Aprendizaje Automático de Carnegie Mellon como profesor asociado en 2016. Posteriormente fue nombrado Profesor UPMC de Ciencias de la Computación, una cátedra dotada financiada por UPMC para avanzar en el trabajo en IA, aprendizaje automático y análisis de datos para la atención sanitaria. En CMU, su investigación se expandió hacia el procesamiento del lenguaje natural y el aprendizaje multimodal, y su grupo produjo trabajos influyentes sobre comprensión lectora, redes neuronales de grafos, agentes basados en lenguaje y modelos fundacionales multimodales. Ha supervisado a numerosos estudiantes de doctorado cuyo trabajo ha tenido un amplio impacto en PLN, visión artificial y aprendizaje por refuerzo, incluido Zhilin Yang, co-primer autor de XLNet.

Apple – Director de Investigación en IA (2016–2020)

En 2015, Salakhutdinov cofundó Perceptual Machines, una empresa centrada en tecnologías de IA, que posteriormente fue adquirida por Apple. Salakhutdinov se unió a Apple como su Director de Investigación en IA en 2016 —la primera persona de Apple en ostentar ese cargo— donde lideró iniciativas clave de investigación en IA y aprendizaje automático. Dejó el cargo a principios de 2020 para volver a centrarse en su rol en CMU.

Meta – VP de Investigación, IA Generativa (2024–presente)

En junio de 2024, Salakhutdinov se unió a Meta como Vicepresidente de Investigación en IA Generativa, donde su trabajo se centra en modelos de lenguaje grandes multimodales (LLM) y agentes de IA. Mantiene simultáneamente su cátedra UPMC en CMU.

Contribuciones clave

  • Redes de Creencias Profundas (DBN) (2006) — Coescrito con Geoffrey Hinton, el artículo fundamental que demostró un preentrenamiento eficiente por capas codicioso de modelos generativos profundos. Publicado en Science y como artículo de NIPS, este trabajo es ampliamente reconocido como uno de los puntos de partida del renacimiento moderno del aprendizaje profundo, mostrando por primera vez que las redes profundas podían entrenarse de manera efectiva a escala.

  • Máquinas de Boltzmann Profundas (DBM) — Introducidas en AISTATS 2009 con Hinton, las DBM extendieron el marco de modelos gráficos no dirigidos a múltiples capas, ofreciendo una arquitectura profunda completamente probabilística con procedimientos de inferencia aproximada. El trabajo posterior sobre el aprendizaje eficiente de DBM (AISTATS 2010) proporcionó algoritmos de entrenamiento prácticos que permitieron su aplicación a datos multimodales.

  • Máquinas de Boltzmann Restringidas para Filtrado Colaborativo — Aplicación de RBM al problema de recomendación del Premio Netflix, logrando resultados competitivos y demostrando que los modelos probabilísticos de variables latentes podían escalar a tareas de recomendación industrial.

  • Dropout (JMLR 2014) — Coescrito con Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever. El artículo proponía eliminar aleatoriamente unidades de redes neuronales durante el entrenamiento como una técnica de regularización simple y altamente efectiva. Se convirtió en uno de los artículos más citados en la historia del aprendizaje automático y sigue siendo un componente estándar del entrenamiento de redes neuronales.

  • Aprendizaje Bayesiano de Programas / Aprendizaje de Conceptos a partir de un Solo Ejemplo (Science, 2015) — Coescrito con Brenden Lake y Josh Tenenbaum. El artículo proponía un modelo probabilístico del aprendizaje de caracteres escritos a mano humanos que podía igualar o superar el rendimiento humano en el reconocimiento de caracteres nuevos a partir de un solo ejemplo, estableciendo el aprendizaje a partir de un solo ejemplo como una agenda de investigación importante y conectando la ciencia cognitiva con el aprendizaje profundo.

  • XLNet (NeurIPS 2019) — Coescrito con Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell y Quoc V. Le. XLNet propuso un método de preentrenamiento autorregresivo generalizado que combinaba las ventajas del modelado autorregresivo del lenguaje y el contexto bidireccional al estilo BERT, superando a BERT en 20 tareas y logrando resultados de última generación en 18 tareas en el momento de su publicación, incluidas SQuAD, GLUE y RACE.

  • Modelos de Lenguaje Grandes Multimodales (2023–) — En CMU y Meta, el grupo de Salakhutdinov desarrolló trabajo temprano sobre el anclaje de modelos de lenguaje a imágenes para entrada y salida multimodal conjunta (FROMAGe, GILL), y sobre aprendizaje multimodal sin datos multimodales etiquetados, contribuyendo a la base de la investigación moderna de LLM multimodales.

Premios y reconocimientos

  • Beca de Investigación Alfred P. Sloan (2013–2015) — Otorgada por la excelencia en investigación en etapas tempranas de la carrera.
  • Beca de Facultad de Microsoft Research (2013–2015) — Reconociendo a profesores jóvenes destacados en ciencias de la computación.
  • Premio al Investigador en Etapa Temprana (2012–2017) — Premio del Ministerio de Investigación e Innovación de Ontario por investigación destacada en etapas tempranas de la carrera.
  • Premio Connaught al Nuevo Investigador (2012–2014) — Reconocimiento de la Universidad de Toronto por logros en investigación.
  • Premio de Investigación de Facultad de Google (2014–2015) — Subvención en reconocimiento a la excelencia investigadora.
  • Cátedra UPMC, Universidad Carnegie Mellon — Cátedra dotada en IA, aprendizaje automático y análisis de datos de salud.
  • Premio Nvidia Pioneers of AI — Reconociendo contribuciones fundacionales al campo.
  • Miembro Senior, CIFAR — Beca de investigación senior en el programa de Aprendizaje en Máquinas y Cerebros del Instituto Canadiense de Investigaciones Avanzadas.
  • Citas en Google Académico — Más de 264.000 citas totales, situándolo entre los investigadores de IA más citados del mundo.

Relaciones clave

  • Geoffrey Hinton — Supervisor de doctorado en la Universidad de Toronto y coautor frecuente; laureado con el Premio Turing (2018) y arquitecto principal del programa de aprendizaje profundo que Salakhutdinov ayudó a avanzar. El encuentro casual con Hinton en 2004 fue un punto de inflexión decisivo en la carrera de Salakhutdinov.
  • Josh Tenenbaum — Colaborador del MIT en aprendizaje bayesiano de programas y aprendizaje de conceptos a partir de un solo ejemplo; su trabajo que une la ciencia cognitiva y el aprendizaje automático produjo el artículo de Science de 2015 sobre el aprendizaje de conceptos a nivel humano.
  • Ilya Sutskever — Colega en la Universidad de Toronto y coautor de Dropout; más tarde cofundador de OpenAI y Safe Superintelligence Inc.
  • Nitish Srivastava — Estudiante de doctorado y coinventor principal de Dropout, cuyo artículo en JMLR 2014 se convirtió en uno de los artículos más leídos en la historia del aprendizaje automático.
  • Zhilin Yang — Estudiante de doctorado en CMU y primer autor de XLNet; uno de los estudiantes doctorales más influyentes de Salakhutdinov.
  • Alex Krizhevsky — Coautor de Dropout; también estudiante de doctorado de Hinton y creador de AlexNet, cuyas contribuciones moldearon la misma era de avances en aprendizaje profundo.
  • Eric Xing — Colega de CMU en el Departamento de Aprendizaje Automático; colaborador de larga data en modelos probabilísticos y PLN.

Estilo personal

Salakhutdinov ha operado consistentemente en todo el espectro, desde los fundamentos teóricos hasta la implementación en ingeniería, una amplitud inusual incluso entre investigadores sénior. Sus contribuciones en los inicios de su carrera —DBN, DBM, Dropout— no fueron refinamientos incrementales, sino intervenciones a nivel de paradigma que reconfiguraron la forma en que el campo pensaba sobre el preentrenamiento no supervisado, la regularización y los modelos generativos. En entrevistas ha destacado la complementariedad entre la libertad académica y la escala industrial: ha señalado que la academia ofrece mayor libertad para trabajar en problemas a largo plazo, mientras que la investigación industrial es emocionante porque puede impactar a millones de usuarios cuando se desarrolla una tecnología central de IA. Sus materiales de curso en CMU y sus conferencias tutoriales públicas —incluido un tutorial de aprendizaje profundo en cuatro partes en el Instituto Simons de Berkeley— han sido ampliamente utilizados en la educación de posgrado a nivel mundial.

Referencias