Ruslan Salakhutdinov

wiki
, , , ,
1

Investigador canadiano de origem tártara e professor UPMC na Universidade Carnegie Mellon, conhecido pelas suas contribuições fundamentais para redes de crença profundas, máquinas de Boltzmann profundas, Dropout e Aprendizagem de Programas Bayesianos, sendo atualmente Vice-Presidente de Investigação em IA Generativa na Meta.

Perfil
Nascimento c. 1980, Tashkent, Uzbequistão (então URSS)
Nacionalidade Canadiana
Instituições atuais Meta (VP de Investigação, IA Generativa); Universidade Carnegie Mellon (Professora UPMC, Departamento de Aprendizagem Automática)
Áreas de investigação Aprendizagem Profunda, Modelos Gráficos Probabilísticos, Otimização em Grande Escala, LLMs Multimodais, Agentes de IA
Orientador de doutoramento Geoffrey Hinton
Tese de doutoramento Aprendizagem de Modelos Generativos Profundos (Universidade de Toronto, 2009)
Site da CMU cs.cmu.edu/~rsalakhu
Google Scholar Ruslan Salakhutdinov — citado mais de 264 000 vezes
X / Twitter @rsalakhu

Visão geral

Ruslan “Russ” Salakhutdinov é uma das figuras centrais do renascimento da aprendizagem profunda que começou em meados dos anos 2000. Formado sob a orientação de Geoffrey Hinton na Universidade de Toronto, foi coautor dos artigos sobre redes de crença profundas e máquinas de Boltzmann profundas que ajudaram a restabelecer as redes neuronais como o paradigma dominante na aprendizagem automática. Mais tarde, coinventou o Dropout — indiscutivelmente a técnica de regularização mais usada na história da aprendizagem profunda — e contribuiu para a Aprendizagem de Programas Bayesianos, um modelo influente de aquisição humana de conceitos a partir de um único exemplo. A sua carreira tem feito a ponte entre a academia e a indústria de forma invulgar: é professor catedrático na Universidade Carnegie Mellon desde 2016, ao mesmo tempo que foi o primeiro Diretor de Investigação em IA na Apple e, desde 2024, é Vice-Presidente de Investigação em IA Generativa na Meta. As suas publicações acumulam mais de 264 000 citações, tornando-o um dos investigadores mais citados na história da área.

Infância e Educação

Salakhutdinov nasceu por volta de 1980 em Tashkent (então Uzbequistão soviético) e é de origem tártara. Emigrou para o Canadá e fez toda a sua pós-graduação na Universidade de Toronto. Esteve prestes a abandonar a área da inteligência artificial quando conheceu Geoffrey Hinton em 2004, mas mudou de ideias depois de Hinton o ter convidado a participar num projeto focado numa nova forma de treinar redes neuronais artificiais, a que Hinton chamou “redes de crença profundas”. Esse encontro foi decisivo: Salakhutdinov tornou-se um dos colaboradores mais próximos de Hinton durante o seu doutoramento, sendo coautor dos artigos que viriam a lançar a era moderna da aprendizagem profunda.

Concluiu o doutoramento em aprendizagem automática (ciência da computação) na Universidade de Toronto em 2009. A sua tese, Aprendizagem de Modelos Generativos Profundos, abordou a aprendizagem não supervisionada de modelos probabilísticos hierárquicos. Após o doutoramento, passou dois anos como pós-doutorando no Departamento de Ciências Cognitivas e do Cérebro e no Laboratório de Ciência da Computação e IA (CSAIL) do MIT, entre 2009 e 2011.

Carreira

Universidade de Toronto (2011–2016)

Salakhutdinov ingressou na Universidade de Toronto como Professor Assistente no Departamento de Ciência da Computação e no Departamento de Estatística em 2011. Durante este período, recebeu vários prémios importantes de início de carreira, coinventou o Dropout e desenvolveu trabalhos influentes sobre aprendizagem a partir de um único exemplo com colaboradores do MIT. Tornou-se Fellow do Instituto Canadiano de Investigação Avançada (CIFAR) e obteve financiamento do NSERC, da Fundação Sloan, da Google, da Microsoft e da Samsung.

Universidade Carnegie Mellon (2016–presente)

Salakhutdinov ingressou no Departamento de Aprendizagem Automática da Carnegie Mellon como professor associado em 2016. Foi posteriormente nomeado Professor UPMC de Ciência da Computação, uma cátedra dotada financiada pela UPMC para promover o trabalho em IA, aprendizagem automática e análise de dados para a saúde. Na CMU, a sua investigação expandiu-se para o processamento de linguagem natural e a aprendizagem multimodal, e o seu grupo produziu trabalhos influentes sobre compreensão de leitura, redes neuronais em grafos, agentes baseados em linguagem e modelos fundacionais multimodais. Supervisionou vários estudantes de doutoramento cujo trabalho teve um amplo impacto em PLN, visão e RL, incluindo Zhilin Yang, co-primeiro autor do XLNet.

Apple — Diretor de Investigação em IA (2016–2020)

Em 2015, Salakhutdinov cofundou a Perceptual Machines, uma empresa focada em tecnologias de IA, que foi posteriormente adquirida pela Apple. Salakhutdinov juntou-se à Apple como seu Diretor de Investigação em IA em 2016 — a primeira pessoa na Apple a ocupar esse cargo — onde liderou iniciativas importantes de investigação em IA e aprendizagem automática. Saiu no início de 2020 para se concentrar novamente no seu cargo na CMU.

Meta — VP de Investigação, IA Generativa (2024–presente)

Em junho de 2024, Salakhutdinov juntou-se à Meta como Vice-Presidente de Investigação em IA Generativa, onde o seu trabalho se foca em modelos de linguagem de grande escala (LLMs) multimodais e agentes de IA. Mantém simultaneamente a sua cátedra UPMC na CMU.

Principais contribuições

  • Redes de Crença Profundas (DBNs) (2006) — Coautor com Geoffrey Hinton do artigo marcante que demonstrou o pré-treino eficiente e guloso camada a camada de modelos generativos profundos. Publicado na Science e como artigo da NIPS, este trabalho é amplamente creditado como um dos pontos de partida do renascimento moderno da aprendizagem profunda, mostrando que redes profundas podiam ser treinadas eficazmente à escala pela primeira vez.

  • Máquinas de Boltzmann Profundas (DBMs) — Introduzidas no AISTATS 2009 com Hinton, as DBMs estenderam o modelo gráfico não direcionado a múltiplas camadas, oferecendo uma arquitetura profunda totalmente probabilística com procedimentos de inferência aproximada. O trabalho subsequente sobre aprendizagem eficiente de DBMs (AISTATS 2010) forneceu algoritmos de treino práticos que permitiram a aplicação a dados multimodais.

  • Máquinas de Boltzmann Restritas para Filtragem Colaborativa — Aplicou RBMs ao problema de recomendação do Netflix Prize, obtendo resultados competitivos e demonstrando que modelos de variáveis latentes probabilísticos podiam ser dimensionados para tarefas de recomendação industrial.

  • Dropout (JMLR 2014) — Coautor com Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever. O artigo propôs o descarte aleatório de unidades de redes neuronais durante o treino como uma técnica de regularização simples e altamente eficaz. Tornou-se um dos artigos mais citados na história da aprendizagem automática e continua a ser um componente padrão do treino de redes neuronais.

  • Aprendizagem de Programas Bayesianos / Aprendizagem de Conceitos a Partir de Um Exemplo (Science, 2015) — Coautor com Brenden Lake e Josh Tenenbaum. O artigo propôs um modelo probabilístico de aprendizagem de caracteres manuscritos humanos que conseguia igualar ou superar o desempenho humano no reconhecimento de novos caracteres a partir de um único exemplo, estabelecendo a aprendizagem a partir de um único exemplo como uma agenda de investigação importante e ligando a ciência cognitiva à aprendizagem profunda.

  • XLNet (NeurIPS 2019) — Coautor com Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell e Quoc V. Le. O XLNet propôs um método de pré-treino autorregressivo generalizado que combina as vantagens da modelação de linguagem autorregressiva e do contexto bidirecional ao estilo BERT, superando o BERT em 20 tarefas e alcançando resultados de ponta em 18 tarefas no momento do lançamento, incluindo SQuAD, GLUE e RACE.

  • Modelos de Linguagem de Grande Escala Multimodais (2023–) — Na CMU e na Meta, o grupo de Salakhutdinov desenvolveu trabalhos iniciais sobre a fundamentação de modelos de linguagem em imagens para entrada e saída multimodal conjunta (FROMAGe, GILL) e sobre aprendizagem multimodal sem dados multimodais rotulados, contribuindo para a fundação da investigação moderna em LLMs multimodais.

Prémios e Reconhecimento

  • Bolsa de Investigação Alfred P. Sloan (2013–2015) — Atribuída pela excelência em investigação no início da carreira.
  • Bolsa de Docência da Microsoft Research (2013–2015) — Reconhecimento de docentes juniores excecionais em ciência da computação.
  • Prémio de Investigador de Início de Carreira (2012–2017) — Prémio do Ministério da Investigação e Inovação do Ontário para investigação de excelência no início da carreira.
  • Prémio Connaught de Novo Investigador (2012–2014) — Reconhecimento da Universidade de Toronto pela realização em investigação.
  • Prémio de Investigação Docente da Google (2014–2015) — Subsídio em reconhecimento da excelência em investigação.
  • Cátedra UPMC, Universidade Carnegie Mellon — Cadeira dotada em IA, aprendizagem automática e análise de dados de saúde.
  • Prémio Nvidia Pioneiros da IA — Reconhecimento de contribuições fundamentais para a área.
  • Senior Fellow, CIFAR — Bolsa sénior no programa Aprendizagem em Máquinas e Cérebros do Instituto Canadiano de Investigação Avançada.
  • Citações do Google Scholar — Mais de 264 000 citações totais, colocando-o entre os investigadores de IA mais citados a nível mundial.

Relações Principais

  • Geoffrey Hinton — Orientador de doutoramento na Universidade de Toronto e coautor frequente; laureado com o Prémio Turing (2018) e arquiteto principal do programa de aprendizagem profunda que Salakhutdinov ajudou a avançar. O encontro casual com Hinton em 2004 foi um ponto de viragem decisivo na carreira de Salakhutdinov.
  • Josh Tenenbaum — Colaborador do MIT em Aprendizagem de Programas Bayesianos e aprendizagem de conceitos a partir de um exemplo; o seu trabalho a fazer a ponte entre a ciência cognitiva e a aprendizagem automática produziu o artigo na Science de 2015 sobre aprendizagem de conceitos ao nível humano.
  • Ilya Sutskever — Colega na Universidade de Toronto e coautor do Dropout; mais tarde cofundador da OpenAI e da Safe Superintelligence Inc.
  • Nitish Srivastava — Estudante de doutoramento e coinventor principal do Dropout, cujo artigo na JMLR de 2014 se tornou um dos artigos mais lidos na história da aprendizagem automática.
  • Zhilin Yang — Estudante de doutoramento na CMU e primeiro autor do XLNet; um dos estudantes de doutoramento mais influentes de Salakhutdinov.
  • Alex Krizhevsky — Coautor do Dropout; também estudante de doutoramento de Hinton e criador do AlexNet, cujas contribuições moldaram a mesma era de avanço da aprendizagem profunda.
  • Eric Xing — Colega na CMU no Departamento de Aprendizagem Automática; colaborador de longa data em modelos probabilísticos e PLN.

Estilo Pessoal

Salakhutdinov tem operado consistentemente em todo o espetro, desde os fundamentos teóricos até à implementação de engenharia, uma amplitude incomum mesmo entre investigadores seniores. As suas contribuições no início da carreira — DBNs, DBMs, Dropout — não foram refinamentos incrementais, mas intervenções a nível de paradigma que reformularam a forma como a área pensava sobre pré-treino não supervisionado, regularização e modelos generativos. Em entrevistas, enfatizou a complementaridade entre a liberdade académica e a escala industrial: notou que a academia oferece maior liberdade para trabalhar em problemas de longo prazo, enquanto a investigação na indústria é empolgante porque pode impactar milhões de utilizadores quando uma tecnologia central de IA é desenvolvida. Os seus materiais de curso na CMU e palestras tutoriais públicas — incluindo um tutorial de aprendizagem profunda em quatro partes no Instituto Simons em Berkeley — têm sido amplamente usados na educação de pós-graduação a nível global.

Referências