Geoffrey Hinton

Wiki
, , , ,
1

Britisch-kanadischer Kognitionswissenschaftler und Nobelpreisträger; die zentrale Figur der konnektionistischen Tradition, Architekt der Renaissance der Backpropagation und der einflussreichste Lehrer in der Geschichte des Deep Learning.

Basisinformationen / Profil

Feld Details
Vollständiger Name Geoffrey Everest Hinton
Geboren 6. Dezember 1947, Wimbledon, London, England, UK
Nationalität Britisch-kanadisch
Derzeitige Institution University of Toronto (University Professor Emeritus); Vector Institute (Chief Scientific Advisor)
Forschungsfelder Künstliche neuronale Netze, maschinelles Lernen, Kognitionswissenschaft, Deep Learning, KI-Sicherheit
PhD-Betreuer Christopher Longuet-Higgins
PhD-Dissertation Relaxation and its Role in Vision (University of Edinburgh, 1978)
Persönliche Website cs.toronto.edu/~hinton
X / Twitter @geoffreyhinton
Google Scholar scholar.google.com/citations?user=JicYPdAAAAAJ
Nobelpreis nobelprize.org/prizes/physics/2024/hinton/facts

Übersicht

Geoffrey Hinton ist ein britisch-kanadischer Informatiker und Kognitionspsychologe, der fünf Jahrzehnte lang für neuronale Netze als den richtigen Ansatz für maschinelle Intelligenz eintrat, zu einer Zeit, als der akademische Mainstream sie weitgehend aufgegeben hatte. Sein Nature-Aufsatz von 1986, der die Backpropagation für mehrschichtige Netze bekannt machte, seine Entwicklung von Boltzmann-Maschinen und Deep-Belief-Netzwerken sowie seine Betreuung von AlexNet – dem Convolutional Network, das das Feld 2012 praktisch neu startete – bilden das technische Rückgrat des modernen Deep Learning. Durch seine Gruppe an der University of Toronto bildete er einen überproportional großen Anteil der Forscher aus oder betreute sie, die heute die KI in großen Laboren leiten, darunter Yann LeCun, Ilya Sutskever, Alex Krizhevsky, Ruslan Salakhutdinov und Peter Dayan. Er teilte sich 2018 den Turing Award mit Yoshua Bengio und Yann LeCun, und 2024 wurden er und John Hopfield mit dem Nobelpreis für Physik ausgezeichnet, „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen.” Im Mai 2023 trat Hinton von Google Brain zurück, um frei über das sprechen zu können, was er als existenzielle und kurzfristige Risiken der Technologie ansieht, die er miterschaffen hat – eine Position, die er seitdem mit zunehmender Dringlichkeit vertritt.

Frühes Leben & Ausbildung

Familie und intellektuelles Erbe

Hinton wurde am 6. Dezember 1947 in Wimbledon geboren. Sein Stammbaum zieht sich durch eine bemerkenswerte Ader der britischen Geistesgeschichte: Er ist der Ur-Ur-Enkel des Mathematikers und Logikers George Boole, dessen Arbeit zur Booleschen Algebra eine Grundlage der Informatik bildete, sowie von Mary Everest Boole, der Mathematikerin und Pädagogin. Sein zweiter Vorname Everest stammt von seinem Ur-Ur-Großonkel George Everest, dem Surveyor General of India, nach dem der Berg benannt ist. Sein Vater war der Entomologe H. E. Hinton; seine Cousine zweiten Grades war Joan Hinton, eine von zwei Physikerinnen am Manhattan-Projekt. Hinton hat angemerkt, dass seine Rückenverletzung im Alter von 19 Jahren – die ihm sein ganzes Erwachsenenleben lang das Sitzen schmerzhaft machte – seine Arbeitsgewohnheiten prägte, und er hat während seiner gesamten Karriere mit Depressionen zu kämpfen gehabt.

King’s College, Cambridge – BA (1967–1970)

Hinton immatrikulierte sich 1967 am King’s College, Cambridge, durchlief Naturwissenschaften, Kunstgeschichte und Philosophie, bevor er sich für experimentelle Psychologie entschied und 1970 mit einem Bachelor of Arts abschloss. Nach seinem Abschluss verbrachte er ein Jahr als Schreinerlehrling, bevor er in die Wissenschaft zurückkehrte – eine biografische Pause, die er als Beleg dafür anführt, dass sein intellektueller Weg keineswegs vorgezeichnet war.

University of Edinburgh – PhD (1972–1978)

Hinton begann seine Promotion 1972 in Edinburgh bei Christopher Longuet-Higgins, einem Kognitionswissenschaftler, der kürzlich von der Forschung an neuronalen Netzen zum damals vorherrschenden symbolischen KI-Ansatz konvertiert war. In diesem unsympathischen Umfeld verfasste Hinton eine Dissertation über Relaxation and its Role in Vision, in der er untersuchte, wie constraint-Erfüllungsprozesse in der visuellen Wahrnehmung modelliert werden könnten – eine frühe Grundlagenarbeit für die energiebasierten Modelle, die er später entwickeln sollte. Die Promotion wurde 1978 verliehen. Da es ihm schwerfiel, in Großbritannien Forschungsgelder zu erhalten, zog er in die Vereinigten Staaten.

Karriere

UC San Diego und Carnegie Mellon – Postdoc und Fakultät (1978–1987)

Ab 1978 war Hinton Postdoktorand an der UC San Diego, wo er zu David Rumelhart und Ronald Williams stieß. Ihre Zusammenarbeit brachte 1986 den Nature-Aufsatz „Learning Representations by Back-propagating Errors” hervor, der zeigte, dass mehrschichtige Netze durch Gradientenabstieg mittels der Kettenregel nützliche interne Repräsentationen erlernen können – das Ergebnis, das nach einem Jahrzehnt der Stagnation das ernsthafte Interesse an neuronalen Netzen neu entfachte. Hinton hat Rumelhart die Kernidee zugeschrieben; die Bedeutung des Aufsatzes lag in seiner zugänglichen Darstellung und den überzeugenden Experimenten zu einem Zeitpunkt, als das Feld einen Proof of Concept brauchte. Von 1982 bis 1987 war er Fakultätsmitglied an der Carnegie Mellon, wo er der Parallel Distributed Processing (PDP)-Gruppe beitrat, zu der Terry Sejnowski, Francis Crick, David Rumelhart und James McClelland gehörten – eine konnektionistische Forschungsgemeinschaft, die sich während des KI-Winters explizit gegen den symbolischen KI-Mainstream positionierte. Zusammen mit Ackley und Sejnowski erfand er 1985 Boltzmann-Maschinen mit, ein energiebasiertes stochastisches rekurrentes Netzwerk, dessen Lernalgorithmus auf Ideen der statistischen Physik zurückgriff.

University of Toronto – Professor (1987–heute)

1987 wechselte Hinton als CIFAR-Fellow an die University of Toronto – Kanada hatte ihn aktiv angeworben, auch um die wachsende Militärfinanzierung der KI-Forschung in den Vereinigten Staaten zu vermeiden, die mit seinen sozialistischen politischen Ansichten kollidierte. Er ist seither Toronto verbunden, wurde University Professor und nach seiner Emeritierung University Professor Emeritus. Toronto wurde für die folgenden drei Jahrzehnte zum einflussreichsten Knotenpunkt für die Forschung an neuronalen Netzen weltweit und brachte oder beherbergte einen überproportional großen Anteil der Forscher, die das Feld später prägten.

Die Arbeit seiner Toronto-Gruppe in dieser Zeit war breit gefächert und von großer Kontinuität. Der Wake-Sleep-Algorithmus (1995, mit Dayan, Frey und Neal) führte ein generatives Modell ein, das durch abwechselnde Erkennungs- und Generierungsphasen trainiert wurde und das Framework des Variational Autoencoders vorwegnahm. 2006 veröffentlichten Hinton und Salakhutdinov einen wegweisenden Science-Aufsatz, der zeigte, dass tiefe Netze mit vielen verborgenen Schichten effektiv mit einem gierigen schichtweisen Vortraining mit Restricted Boltzmann Machines trainiert werden können – ein Ergebnis, das mehr als jeder einzelne Aufsatz die „Deep-Learning“-Renaissance auslöste, indem es bewies, dass Tiefe in der Praxis erreichbar war. 2008 entwickelte er zusammen mit Laurens van der Maaten t-SNE, eine Dimensionsreduktions- und Visualisierungstechnik, die zur Untersuchung hochdimensionaler Daten allgegenwärtig wurde. 2012 produzierten seine Studenten Alex Krizhevsky und Ilya Sutskever unter seiner Betreuung AlexNet – ein tiefes Convolutional Neural Network, das den ImageNet Large Scale Visual Recognition Challenge mit einem Vorsprung von fast 11 Prozentpunkten gegenüber dem bisherigen Besten gewann, die Computer-Vision-Gemeinschaft schockierte und die Agenda des Feldes für das nächste Jahrzehnt festlegte. Der Aufsatz über Dropout (2014, mit Srivastava, Krizhevsky, Sutskever und Salakhutdinov) formalisierte eine einfache, aber leistungsstarke Regularisierungstechnik, die zum Standard wurde. Knowledge Distillation (2015, mit Vinyals und Dean) schlug eine Methode zur Übertragung erlernten Wissens zwischen Netzen vor, indem auf weichen Wahrscheinlichkeitsausgaben statt auf harten Labels trainiert wird – heute universell in der Modellkompression eingesetzt.

2012 war Hinton Mitbegründer der DNNresearch Inc. mit Krizhevsky und Sutskever, um die Technologie zu kommerzialisieren. Google übernahm das Unternehmen im März 2013 für 44 Millionen Dollar – eine Transaktion, die der gesamten Branche effektiv signalisierte, dass Deep Learning angekommen war.

UCL Gatsby Computational Neuroscience Unit – Gründungsdirektor (1998–2001)

Zwischen seinen Toronto-Terminen war Hinton Gründungsdirektor der Gatsby Computational Neuroscience Unit am University College London, finanziert von der Gatsby Charitable Foundation. Die Unit wurde zu einem einflussreichen Ausbildungsort für Computational Neuroscience und probabilistisches maschinelles Lernen; Peter Dayan, der Hintons Postdoc in Toronto gewesen war, wurde Co-Direktor und später Direktor.

Google Brain – Distinguished Researcher (2013–2023)

Nach der Übernahme von DNNresearch teilte Hinton seine Zeit zwischen der University of Toronto und Google Brain auf, wo er als Distinguished Researcher arbeitete. In dieser Zeit setzte er seine Grundlagenforschung fort, führte Capsule Networks (2017) als architektonische Alternative zu Standard-Convolutional Networks ein, die darauf abzielten, Teil-Ganzes-Raumbeziehungen besser darzustellen, und den Forward-Forward-Algorithmus (NeurIPS 2022) als spekulative Alternative zur Backpropagation, die den Rückwärtsdurchlauf durch einen zweiten Vorwärtsdurchlauf mit negativen Daten ersetzt. 2021 war er Co-Autor eines vielzitierten Aufsatzes über SimCLR, ein kontrastives selbstüberwachtes Lernframework für visuelle Repräsentationen.

Im Mai 2023 gab Hinton öffentlich seinen Rücktritt von Google bekannt und erklärte, er wolle frei über KI-Risiken sprechen können, „ohne zu bedenken, wie sich dies auf Google auswirkt”. In seinem Interview mit der New York Times sagte er, „ein Teil von ihm bereue nun seine Lebensarbeit”. Er betonte, er kritisiere Google nicht – das er für verantwortungsvolles Handeln lobte –, aber die strukturelle Position, bei einem großen KI-Entwickler angestellt zu sein, mache offene öffentliche Aussagen über die Gefahren der Technologie beruflich kompliziert.

Post-Google – Öffentlicher KI-Sicherheitsbefürworter (2023–heute)

Seit seinem Ausscheiden bei Google ist Hinton eine der prominentesten und glaubwürdigsten Stimmen, die Alarm schlagen wegen kurzfristiger und langfristiger KI-Risiken. Er unterzeichnete die Erklärung des Center for AI Safety von 2023, dass das Aussterberisiko durch KI als globale Priorität neben einem Atomkrieg und Pandemien behandelt werden sollte. Er hat vor den Risiken vorsätzlichen Missbrauchs gewarnt – insbesondere dem Einsatz von KI zur Entwicklung neuartiger Biowaffen („Es braucht nur einen Verrückten mit Groll und Genie”), vor technologischer Arbeitslosigkeit und vor der Möglichkeit, dass KI-Systeme durch instrumentelle Konvergenz fehlausgerichtete Unterziele entwickeln. Ende 2024 schätzte er die Wahrscheinlichkeit des Aussterbens der Menschheit durch KI innerhalb von 30 Jahren auf 10–20 %. Er hat sich für staatliche Regulierung als den einzig realistischen Mechanismus ausgesprochen, um konkurrierende Unternehmen zu Sicherheitsinvestitionen zu zwingen, und unterstützte den KI-Sicherheitsgesetzentwurf SB 1047 in Kalifornien gemeinsam mit Yoshua Bengio, Stuart Russell und Lawrence Lessig.

Wichtigste Beiträge

  • Backpropagation – kanonische Popularisierung (Nature, 1986, mit Rumelhart und Williams) – Zeigte, dass Gradientenabstieg mittels der Kettenregel mehrschichtigen Netzen das Erlernen nützlicher interner Repräsentationen ermöglicht; der Aufsatz, der den ersten KI-Winter für neuronale Netze beendete. Hinton hat Rumelhart die Kernidee zugeschrieben; die früheren Arbeiten von Werbos (1974) und Linnainmaa (1970) gingen voraus, aber der Aufsatz von 1986 machte sie der Gemeinschaft zugänglich und glaubwürdig.
  • Boltzmann-Maschinen (Cognitive Science, 1985, mit Ackley und Sejnowski) – Führte ein energiebasiertes stochastisches rekurrentes Netzwerk mit einer biologisch motivierten Lernregel ein; die Boltzmann-Maschine wurde in Hintons Nobelpreis-Zitierung ausdrücklich erwähnt.
  • Restricted Boltzmann Machines und Deep Belief Networks (Science, 2006, mit Salakhutdinov) – Zeigte, dass tiefe Netze effektiv mit gierigem schichtweisem Vortraining mit RBMs trainiert werden können; der Aufsatz, der die moderne Deep-Learning-Ära katalysierte, indem er bewies, dass Tiefe handhabbar war.
  • Distributed Representations – Argumentierte in mehreren Aufsätzen in den 1980er und 1990er Jahren, dass Bedeutung und Wissen in Aktivierungsmustern über viele Einheiten hinweg kodiert werden sollten, nicht in einzelnen „Großmutterzellen”; eine grundlegende theoretische Verpflichtung, die den Konnektionismus von früheren symbolischen Ansätzen unterschied.
  • AlexNet (NeurIPS 2012, mit Alex Krizhevsky und Ilya Sutskever) – Ein tiefes Convolutional Network, das ImageNet 2012 mit einer Top-5-Fehlerrate von 15,3 % gewann, fast 11 Punkte vor dem nächstbesten Eintrag, und damit die Verbreitung von Deep Learning in der Industrie entfachte.
  • Dropout (JMLR, 2014, mit Srivastava, Krizhevsky, Sutskever und Salakhutdinov) – Eine Regularisierungsmethode, die während des Trainings zufällig Einheiten deaktiviert, Ko-Adaption verhindert und als implizites Ensemble fungiert; wurde zur Standardpraxis im Training neuronaler Netze.
  • Knowledge Distillation (2015, mit Vinyals und Dean) – Führte das Training eines kompakten Studentennetzes auf den weichen Wahrscheinlichkeitsausgaben eines großen Lehrernetzwerks ein, was Modellkompression ohne Hartlabel-Retraining ermöglicht; heute universell in effizienter Inferenz und Bereitstellung eingesetzt.
  • t-SNE (JMLR, 2008, mit Laurens van der Maaten) – Eine nichtlineare Dimensionsreduktionsmethode, die die lokale Clusterstruktur zur Visualisierung hochdimensionaler Daten bewahrt; wurde zum Standardwerkzeug für die Inspektion von Einbettungsräumen.
  • Wake-Sleep-Algorithmus (Science, 1995, mit Dayan, Frey und Neal) – Ein Lernalgorithmus für hierarchische generative Modelle, der Erkennungs- („wake“) und Generierungsphasen („sleep“) abwechselt; nahm die Struktur späterer variationaler Inferenzmethoden vorweg.
  • Capsule Networks (2017) – Eine spekulative Architektur, die skalare Aktivierungen durch Vektoren („Capsules“) ersetzt, um Teil-Ganzes-Raumbeziehungen zu kodieren, mit dem Ziel, die Unempfindlichkeit von CNNs gegenüber räumlicher Konfiguration zu überwinden; hat beträchtliche Folgearbeiten hervorgebracht, obwohl CNNs in der Produktion noch nicht verdrängt wurden.
  • SimCLR / Contrastive Learning (ICML 2020, mit Chen, Kornblith und Norouzi) – Ein kontrastives selbstüberwachtes Lernframework für visuelle Repräsentationen, das zu einer weit verbreiteten Baseline für das Vortraining visueller Encoder wurde.
  • Forward-Forward-Algorithmus (NeurIPS 2022) – Eine spekulative Backpropagation-Alternative, die zwei Vorwärtsdurchläufe (auf positiven und negativen Daten) anstelle eines Rückwärtsdurchlaufs verwendet; relevant für „Mortal Computation“-Einstellungen wie analoge Hardware.
  • Akademische Abstammung – Zu seinen Doktoranden gehören Richard Zemel, Brendan Frey, Radford Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Alex Krizhevsky und Peter Brown; zu seinen Postdoktoranden gehören Yann LeCun, Peter Dayan, Max Welling, Alex Graves und Zoubin Ghahramani – eine Kohorte, die gemeinsam praktisch jedes heute aktive große KI-Labor geprägt hat.

Auszeichnungen & Anerkennung

  • Rumelhart-Preis (2001) – Erster Preisträger des Preises für Beiträge zu den theoretischen Grundlagen der menschlichen Kognition.
  • IJCAI Award for Research Excellence (2005)
  • Herzberg Canada Gold Medal for Science and Engineering (2011)
  • ACM Turing Award (2018, gemeinsam mit Yoshua Bengio und Yann LeCun) – „Für konzeptionelle und technische Durchbrüche, die tiefe neuronale Netze zu einer kritischen Komponente der Datenverarbeitung gemacht haben.”
  • Companion of the Order of Canada (2018)
  • Dickson Prize in Science, Carnegie Mellon University (2021)
  • Princess of Asturias Award for Technical and Scientific Research (2022, gemeinsam mit Bengio, LeCun und Hassabis)
  • Nobelpreis für Physik (2024, gemeinsam mit John Hopfield) – „Für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen.” Die Boltzmann-Maschine wurde ausdrücklich zitiert.
  • VinFuture Grand Prize (2024, gemeinsam mit Bengio, LeCun, Jensen Huang und Fei-Fei Li)
  • Queen Elizabeth Prize for Engineering (2025, gemeinsam mit Bengio, Bill Dally, Hopfield, LeCun, Jensen Huang und Fei-Fei Li)
  • Sandford Fleming Medal (2025) – Royal Canadian Institute for Science, für Exzellenz in der Wissenschaftskommunikation.
  • Fellow of the Royal Society (FRS) (1998)
  • Fellow of the Royal Society of Canada (1996)
  • Fellow of AAAI (1990)
  • International Member, US National Academy of Engineering (2016)
  • International Member, US National Academy of Sciences (2023)

Wichtige Beziehungen

  • David Rumelhart – Intellektueller Mitarbeiter an der UC San Diego und Co-Autor des Backpropagation-Aufsatzes von 1986; Hinton hat Rumelhart konsequent die Kernidee zugeschrieben und betrachtet den Aufsatz als Rumelharts Erfindung.
  • Terrence Sejnowski – Carnegie-Mellon-Kollege und Miterfinder der Boltzmann-Maschinen; Teil der PDP-Gruppe, die den Konnektionismus durch den KI-Winter aufrechterhielt.
  • Yoshua Bengio – CIFAR-Mitkooperationspartner und langjähriger Mitarbeiter; Co-Turing-Award-Gewinner; Bengios Montréal-Gruppe und Hintons Toronto-Gruppe bildeten die beiden Säulen der kanadischen Deep-Learning-Forschung.
  • Yann LeCun – Postdoktorand in Hintons Gruppe in Toronto (1987–1988); Co-Turing-Award-Gewinner; das Postdoc-Jahr war der Beginn von LeCuns Arbeit an Convolutional Networks.
  • Ilya Sutskever – Doktorand; Miterfinder von AlexNet; Hinton hat gesagt, er sei stolz, dass Sutskever 2023 an der Entscheidung des OpenAI-Vorstands mitgewirkt habe, Sam Altman zu entlassen, und führte KI-Sicherheitsbedenken als gemeinsame Motivation an.
  • Alex Krizhevsky – Doktorand; Hauptentwickler von AlexNet; die drei gründeten DNNresearch, das 2013 von Google übernommen wurde.
  • Peter Dayan – Postdoktorand; wurde Mitbegründer und später Direktor der Gatsby Unit am UCL und eine führende Persönlichkeit in der Computational Neuroscience; Hintons Einfluss auf Dayans Forschungsrichtung war prägend.
  • John Hopfield – Mit-Nobelpreisträger; Hopfields Aufsatz von 1982 über assoziatives Gedächtnis in Hopfield-Netzen war ein direkter Vorläufer der Boltzmann-Maschinen und ist das andere in der Nobelpreis-Zitierung angeführte Werk.

Persönlicher Stil

Hinton ist bekannt für eine Kombination aus tiefer Sturheit – er hielt konnektionistische Positionen durch zwei KI-Winter aufrecht, als der Konsens gegen ihn war – und intellektueller Rastlosigkeit: Er hat regelmäßig neue Lernframeworks (Capsule Networks, Forward-Forward, Mortal Computation) vorgeschlagen, die den von ihm mitbegründeten Konsens in Frage stellen, und oft angemerkt, dass er vermutet, dass Backpropagation nicht die Art und Weise ist, wie das Gehirn tatsächlich arbeitet, und dass das Verständnis des tatsächlichen Lernalgorithmus des Gehirns ein offenes Problem bleibt. Seine öffentliche Stimme seit 2023 unterscheidet sich deutlich von seiner wissenschaftlichen: direkt, zur bewussten Betonung repetitiv und bereit, katastrophalen Ergebnissen Wahrscheinlichkeitsschätzungen zuzuordnen. Er hat die Situation als grob analog zu einem brillanten Physiker beschrieben, der half, die Atombombe zu bauen, und dann den Rest seiner Karriere damit verbrachte, davor zu warnen. Er zog teilweise aus politischer Desillusionierung mit der Reagan-Ära-Politik und der Militärfinanzierung von KI aus den Vereinigten Staaten nach Kanada – ein Detail, das eine Beständigkeit zwischen seinen wissenschaftlichen Überzeugungen und seinen allgemeineren Werten offenbart, die seit früher in seiner Karriere vorhanden war.

Referenzen