Hugo Larochelle

Wiki
, , , ,
1

Kanadischer Deep-Learning-Forscher und wissenschaftlicher Direktor von Mila – Québec AI Institute, bekannt für grundlegende Beiträge zu neuronalen autoregressiven Modellen, Denoising-Autoencodern und Zero-Shot-Learning.

Profil
Geboren 1981, Kanada
Nationalität Kanadisch
Derzeitige Einrichtung Mila – Québec AI Institute; Université de Montréal (Adjunct); McGill University (Adjunct)
Forschungsbereiche Deep Learning, Generative Modelle, Representation Learning, Zero-Shot-Learning
Doktorvater Yoshua Bengio
Dissertation Études de techniques d’apprentissage non-supervisé pour l’amélioration de l’entraînement supervisé de modèles connexionnistes (2009)
Persönliche Website cs.toronto.edu/~larocheh
X / Twitter @hugo_larochelle
GitHub larocheh

Überblick

Hugo Larochelle ist ein kanadischer Informatiker, dessen Promotions- und Postdoktorandenarbeit ihn während seiner prägenden Jahre ins Zentrum des Montrealer Deep-Learning-Ökosystems stellte. Seine Forschung brachte mehrere Techniken hervor, die heute in modernen KI-Systemen verankert sind, darunter Denoising-Autoencoder, neuronale autoregressive Verteilungsmodelle und eine frühe Formalisierung des Zero-Shot-Learnings. Nach einem Jahrzehnt, das die akademische Welt, eine Startup-Übernahme und die Leitung von Googles Montrealer KI-Labor umfasste, wurde er im September 2025 zum wissenschaftlichen Direktor von Mila, dem Québec AI Institute, ernannt. Er folgte damit Laurent Charlin in dieser Rolle nach – und trat im Grunde die institutionelle Position an, die lange mit seinem eigenen Doktorvater Yoshua Bengio verbunden war. Er hat Adjunct-Professuren sowohl an der Université de Montréal als auch an der McGill University inne und ist Canada CIFAR AI Chair.

Frühes Leben und Ausbildung

Hugo Larochelle wurde 1981 in Kanada geboren und absolvierte seine gesamte universitäre Ausbildung an der Université de Montréal. Er erwarb 2004 einen BSc in Mathematik und Informatik und blieb für seine Promotion an derselben Einrichtung.

Seine Promotion in Informatik schloss er 2009 unter der Aufsicht von Yoshua Bengio ab. Die Dissertation mit dem Titel Études de techniques d’apprentissage non-supervisé pour l’amélioration de l’entraînement supervisé de modèles connexionnistes (Studien über unüberwachte Lerntechniken zur Verbesserung des überwachten Trainings konnektionistischer Modelle) erforschte Pretraining-Strategien für tiefe Netzwerke zu einer Zeit, als das Fachgebiet noch keine breite Akzeptanz gefunden hatte. Wie Larochelle später berichtete, stießen frühe Arbeiten mit künstlichen neuronalen Netzen auf erhebliche Skepsis: Das erste Papier, an dem er mitarbeitete, stieß auf Desinteresse, weil es künstliche neuronale Netze betraf – ein Konzept, das damals noch wenig Beachtung fand.

Von 2009 bis 2011 absolvierte er seine Postdoc-Forschung an der University of Toronto unter der Aufsicht von Geoffrey Hinton – der zweite der beiden heute weithin als „Paten der KI" bezeichneten Persönlichkeiten, die seine frühe Karriere prägten.

Karriere

Université de Sherbrooke (2011–2016)

Larochelle trat 2011 als Assistant Professor dem Département d’informatique der Université de Sherbrooke bei. In dieser Zeit veröffentlichte er weiterhin zahlreiche Arbeiten über generative Modelle und Representation Learning, während er Kurse hielt, die später zur Grundlage seiner viel beachteten Online-Vorlesungsreihe werden sollten. Ebenfalls in dieser Zeit begann er mit der angewandten Arbeit, die zu einem Startup führen sollte.

Whetlab / Twitter (2014–2016)

Während seiner Zeit in Sherbrooke gründete Larochelle zusammen mit Jasper Snoek, Kevin Swersky, Ryan P. Adams und Alex Wiltschko Whetlab. Das Unternehmen konzentrierte sich auf praktische Bayesianische Optimierungstechniken zur Automatisierung der Hyperparameter-Abstimmung im maschinellen Lernen. Whetlab wurde im Juni 2015 von Twitter übernommen. Nach der Übernahme wechselte Larochelle als Research Scientist in die Twitter Cortex Group.

Google Brain Montreal (2016–2023)

Ende 2016 verließ Larochelle Twitter, um eine neue Google-Brain-Forschungsgruppe in Montreal aufzubauen und zu leiten – Googles erstes dediziertes KI-Forschungslabor in Kanada. Er wurde angeworben, um Googles KI-Forschungslabor in Montreal zu leiten, das heute in Google DeepMind integriert ist. Unter seiner Leitung wuchs das Labor zu einem der produktivsten Forschungsaußenposten von Google heran, der in Bereichen von Reinforcement Learning und generativer Modellierung bis hin zu Anwendungen in den Umweltwissenschaften und der Codegenerierung arbeitete.

Google DeepMind Montreal (2023–2025)

Im April 2023 fusionierte Google Brain mit DeepMind zu Google DeepMind. Larochelle arbeitete bis April 2025 als Principal Scientist innerhalb der vereinten Google-DeepMind-Organisation in Montreal.

Mila – Québec AI Institute (2025–heute)

Im September 2025 gab Mila die Ernennung von Hugo Larochelle zum wissenschaftlichen Direktor bekannt. Er trat sein Amt offiziell am 2. September an und folgte damit auf Laurent Charlin, der diese Funktion seit dem Wechsel von Yoshua Bengio in die Rolle des Gründers und wissenschaftlichen Beraters von Mila innehatte. In dieser Funktion leitet er ein Institut mit einer Gemeinschaft von über 1.500 Forschern und 150 Industriepartnern. Seine erklärte Vision betont interdisziplinäre Forschung, die er „KI und x" nennt und die maschinelles Lernen mit Bereichen wie Ökologie, Gesundheit und Umweltwissenschaften verbindet.

Hauptbeiträge

  • Denoising Autoencoder (DAE) – Mitverfasst das grundlegende ICML-Papier von 2008 und seine JMLR-Erweiterung von 2010 mit Pascal Vincent, Yoshua Bengio und anderen. Die Arbeit etablierte die Rekonstruktion verrauschter Eingaben als skalierbares Paradigma zum Erlernen aussagekräftiger Repräsentationen aus großen Mengen unbeschrifteter Daten und bleibt ein Eckpfeiler der Referenz im selbstüberwachten Lernen.

  • Zero-Data Learning of New Tasks – Ein AAAI-Papier von 2008 mit Dumitru Erhan und Yoshua Bengio, das das Konzept der Verallgemeinerung auf Kategorien formalisierte, für die keine beschrifteten Trainingsbeispiele existieren. Diese Arbeit führte das heute übliche Konzept des Zero-Shot-Learnings ein, das eine große Anzahl moderner Transfer- und Few-Shot-Learning-Forschung untermauert.

  • Neural Autoregressive Distribution Estimator (NADE) – Vorgestellt auf der AISTATS 2011 mit Iain Murray, ausgezeichnet mit einem Notable Paper Award. NADE bot einen handhabbaren und skalierbaren Ansatz zur Modellierung multivariater Verteilungen, der dazu beitrug, neuronale autoregressive Modellierung als praktikables Paradigma zu etablieren. Durch Modelle wie NADE und MADE trug Larochelle zur Popularisierung des neuronalen autoregressiven Modellierungsparadigmas bei, das heute in der generativen KI allgegenwärtig ist.

  • Greedy Layer-Wise Training of Deep Networks – Mitverfasst mit Yoshua Bengio und Kollegen auf der NIPS 2007, eines der bahnbrechenden Papiere, das zeigte, dass tiefe Netzwerke durch schichtweises unüberwachtes Pretraining effektiv trainiert werden können.

  • Exploring Strategies for Training Deep Neural Networks – Eine umfassende JMLR-Studie von 2009, die systematische empirische Leitlinien zum Training tiefer Architekturen lieferte und im darauffolgenden Jahrzehnt der Deep-Learning-Entwicklung weithin zitiert wurde.

  • Transactions on Machine Learning Research (TMLR) – Larochelle gründete TMLR zusammen mit Raia Hadsell und Kyunghyun Cho; die Zeitschrift startete 2022 unter dem Dach des Journal of Machine Learning Research. Er war bis Ende 2025 Gründungsherausgeber und prägte ein Publikationsmodell, das eine schnellere und offenere Peer-Review für die ML-Community bieten sollte.

  • Neural Networks Online Course – Erstellte eine umfassende Videovorlesungsreihe über neuronale Netze und Deep Learning, die auf Kursen basiert, die an der Université de Sherbrooke gehalten wurden, und die kostenlos auf YouTube zur Verfügung gestellt wird und weltweit von Lernenden und Lehrenden genutzt wird.

  • TechAide Conference – Gründete die jährliche TechAide-Veranstaltung, die die Technologiegemeinschaft Montreals mobilisiert, um Spenden für Centraide zu sammeln und so dessen Mission zur Bekämpfung von Armut und sozialer Ausgrenzung zu unterstützen.

Auszeichnungen und Anerkennungen

  • AISTATS Notable Paper Award (2011) – Verliehen an „The Neural Autoregressive Distribution Estimator", gemeinsam verfasst mit Iain Murray.
  • Canada CIFAR AI Chair – Ein wettbewerbsorientierter Forschungssitz, der führende KI-Forscher in Kanada anerkennt und im Rahmen des CIFAR-Programms Learning in Machines & Brains vergeben wird.
  • Turing Award-Linie – Direkt von Yoshua Bengio (Turing Award 2018) und Geoffrey Hinton (Turing Award 2018) ausgebildet, ein ungewöhnlicher akademischer Stammbaum, der Larochelle ins Zentrum der Montrealer Deep-Learning-Schule stellt.

Wichtige Beziehungen

  • Yoshua Bengio – Doktorvater an der Université de Montréal; Turing-Preisträger und Gründer von Mila, dessen Position des wissenschaftlichen Direktors Larochelle heute innehat.
  • Geoffrey Hinton – Postdoc-Betreuer an der University of Toronto; Turing-Preisträger und eine der Hauptfiguren der Deep-Learning-Revolution.
  • Pascal Vincent – Häufiger früher Mitarbeiter; Mitautor der Denoising-Autoencoder-Papiere, die zu Meilensteinen des selbstüberwachten Lernens wurden.
  • Iain Murray – Mitautor des NADE-Papiers (AISTATS 2011 Notable Paper); langjähriger Mitarbeiter bei generativer Modellierung.
  • Jasper Snoek & Kevin Swersky – Mitgründer von Whetlab; Mitarbeiter bei der Forschung zur Bayesianischen Hyperparameter-Optimierung, die das Startup untermauerte.
  • Raia Hadsell & Kyunghyun Cho – Mitgründer von TMLR; die drei arbeiteten zusammen, um die Zeitschrift als neues Peer-Review-Modell für die ML-Forschung zu entwickeln und zu starten.
  • Aaron Courville – Mila-Kollege und langjähriger Mitarbeiter in der Deep-Learning- und Reinforcement-Learning-Forschung.
  • Laurent Charlin – Unmittelbarer Vorgänger als Interim-Wissenschaftlicher Direktor von Mila; außerordentlicher Professor an der HEC Montréal.

Persönlicher Stil

Larochelles Forschungsstil ist geprägt von sorgfältiger empirischer Strenge und einer Vorliebe für handhabbare, prinzipientreue probabilistische Modelle gegenüber rein technikgetriebenen Ansätzen – eine Sensibilität, die seine Ausbildung in der Bengio-Schule widerspiegelt. Im öffentlichen Diskurs ist er maßvoll und kollegial, selten polemisch, und neigt dazu, die Bedeutung akademischer KI-Forschung im Hinblick auf ihre Fähigkeit zu formulieren, Fragen zu verfolgen, die Industrielabore möglicherweise zurückstellen. Seit er die Rolle des wissenschaftlichen Direktors bei Mila übernommen hat, hat er eine Vision artikuliert, die sich auf interdisziplinäre Anwendung konzentriert – „KI und x" – und hat sich deutlich zur anhaltenden Relevanz offener, universitätsverwurzelter Forschung in einer Ära großer Unternehmenslabore geäußert. Als Philanthrop haben er und seine Frau erhebliche persönliche finanzielle Verpflichtungen zur Finanzierung von Graduiertenstipendien für KI in Umweltproblemen eingegangen, was eine konsequente Übereinstimmung zwischen seinen erklärten Werten und seinen beruflichen Entscheidungen widerspiegelt.

Referenzen