ジェフリー・ヒントン

ウィキ
, , , ,
1

英国系カナダ人の認知科学者、ノーベル賞受賞者。コネクショニズムの伝統における中心的存在であり、バックプロパゲーション復興の立役者、そしてディープラーニングの歴史上最も影響力のある指導者である。

基本情報／プロフィール

項目 詳細
氏名 ジェフリー・エベレスト・ヒントン
生年月日 1947年12月6日、イギリス・ロンドン・ウィンブルドン生まれ
国籍 英国系カナダ人
現所属機関 トロント大学（名誉教授）、ベクター研究所（首席科学顧問）
研究分野 人工ニューラルネットワーク、機械学習、認知科学、ディープラーニング、AI安全性
博士課程指導教員 クリストファー・ロング＝ヒギンズ
博士論文 Relaxation and its Role in Vision（エディンバラ大学、1978年）
個人ウェブサイト cs.toronto.edu/~hinton
X / Twitter @geoffreyhinton
Google Scholar scholar.google.com/citations?user=JicYPdAAAAAJ
ノーベル賞 nobelprize.org/prizes/physics/2024/hinton/facts

概要

ジェフリー・ヒントンは、英国系カナダ人のコンピューター科学者であり認知心理学者である。学界の主流がニューラルネットワークをほぼ見捨てていた時代に、50年にわたってそれを機械知能への正しいアプローチとして擁護し続けた。1986年のNature誌で多層ネットワークへのバックプロパゲーションを広く知らしめた論文、ボルツマンマシンと深層信念ネットワークの開発、そして事実上2012年にこの分野を再始動させた畳み込みネットワークであるAlexNetの指導——これらが現代のディープラーニングの技術的な背骨を形成している。トロント大学における彼のグループは、現在主要な研究所でAIを主導する研究者——ヤン・ルカン、イリヤ・サツケヴァー、アレックス・クリジェフスキー、ルスラン・サラクディノフ、ピーター・デイヤンら——の不均衡な割合を育成または指導した。2018年にはヨシュア・ベンジオ、ヤン・ルカンと共にチューリング賞を共同受賞し、2024年にはジョン・ホップフィールドと共に「人工ニューラルネットワークによる機械学習を可能にする基礎的な発見と発明に対して」ノーベル物理学賞を授与された。2023年5月、ヒントンは自身が創設に貢献した技術の実存的および短期的リスクについて自由に発言するためにGoogle Brainを辞職した——それ以来、彼は緊急性を増してこの立場を表明している。

幼少期と教育

家族と知的遺産

ヒントンは1947年12月6日にウィンブルドンで生まれた。彼の家系は英国の知的歴史の顕著な継ぎ目を辿っている。彼は数学者・論理学者ジョージ・ブール（そのブール代数の研究はコンピューター科学の基礎となった）と、数学者・教育者のメアリー・エベレスト・ブールの高祖父の玄孫にあたる。彼のミドルネームである「エベレスト」は、その山が名付けられたインドの測量総監であった高祖父の兄弟の曽祖父ジョージ・エベレストに由来する。父は昆虫学者のH・E・ヒントン。また、マンハッタン計画に参加した2人の女性物理学者の一人であるジョーン・ヒントンは、彼の従姉妹にあたる（具体的には、はとこ）。ヒントンは、19歳での背中の負傷（それが成人後の全期間において座ることを苦痛にした）が彼の仕事習慣を形成したと述べており、キャリアを通じてうつ病と闘ってきた。

ケンブリッジ大学キングス・カレッジ — 学士号（1967–1970）

ヒントンは1967年にケンブリッジ大学キングス・カレッジに入学し、自然科学、美術史、哲学を経て実験心理学に落ち着き、1970年に学士号を取得して卒業した。学位取得後、彼は大工としての徒弟期間を1年過ごしてから学界に復帰した——この伝記的な中断は、彼の知的経路が決して所与のものではなかったことの証拠として彼自身が引用している。

エディンバラ大学 — 博士号（1972–1978）

ヒントンは1972年、クリストファー・ロング＝ヒギンズの指導の下でエディンバラ大学の博士課程を開始した。ロング＝ヒギンズは認知科学者であり、当時この分野で支配的だった記号AIアプローチへとニューラルネットワーク研究から転向したばかりだった。この不協和な環境の中で働きながら、ヒントンは視覚知覚における制約充足過程がどのようにモデル化され得るかを探求する論文『Relaxation and its Role in Vision』を執筆した——これは後に彼が開発することになるエネルギーベースモデルのための初期の下地だった。学位は1978年に授与された。英国での研究資金の確保が困難だったため、彼は米国に移った。

経歴

カリフォルニア大学サンディエゴ校とカーネギーメロン大学 — ポスドクと教員（1978–1987）

ヒントンは1978年からカリフォルニア大学サンディエゴ校で博士研究員となり、デイビッド・ルメルハート、ロナルド・ウィリアムズと合流した。彼らの共同研究は1986年のNature誌論文「Learning Representations by Back-propagating Errors」を生み出し、これはチェーン・ルールを通じた勾配降下法によって多層ネットワークが有用な内部表現を学習できることを実証した——これは、10年にわたる停滞の後、ニューラルネットワークへの真剣な関心を再燃させた成果である。ヒントンはルメルハートに核となるアイデアの功績を認めている。この論文の重要性は、この分野が概念実証を必要としていた時期における、そのわかりやすい提示と説得力のある実験にあった。1982年から1987年まで彼はカーネギーメロン大学の教員を務め、テリー・セイノフスキー、フランシス・クリック、デイビッド・ルメルハート、ジェームズ・マクレランドらを含む並列分散処理（PDP）グループに参加した——これは、AIの冬の間、記号AI主流派に対して自らを明確に位置づけたコネクショニスト研究コミュニティであった。アックリー、セイノフスキーと共に、1985年にボルツマンマシンを共同発明した。これは統計物理学からのアイデアを学習アルゴリズムに取り入れたエネルギーに基づく確率的回帰型ネットワークである。

トロント大学 — 教授（1987年–現在）

ヒントンは1987年、CIFARフェローとしてトロント大学に移った——カナダは彼を積極的に勧誘しており、その理由の一部は、彼の社会主義的政治信条と衝突した米国におけるAI研究への軍事的資金提供の増大を避けるためだった。彼はそれ以来トロント大学に所属し、大学教授となり、退職後は名誉教授となった。トロント大学はその後30年にわたって世界で最も影響力のあるニューラルネットワーク研究の拠点となり、後にこの分野を形成した研究者の不均衡な割合を輩出または受け入れた。

この期間における彼のトロントグループのアウトプットは広範かつ一貫していた。ウェイク・スリープアルゴリズム（1995年、デイヤン、フレイ、ニールと共著）は、認識パスと生成パスを交互に行うことで訓練される生成モデルを導入し、変分オートエンコーダーフレームワークを先取りしていた。2006年、ヒントンとサラクディノフは画期的なScience誌論文を発表し、制限付きボルツマンマシンを用いた貪欲な層ごとの事前学習アプローチにより、多くの隠れ層を持つ深層ネットワークが効果的に訓練できることを実証した——この結果は、単一の論文としておそらく最も「ディープラーニング」復興を引き起こし、深さが実際に達成可能であることを示した。2008年にはローレンス・ファン・デル・マーテンと共にt-SNEを開発した。これは高次元データの検査に広く使われる次元削減および可視化技術である。2012年、彼の指導の下で学生のアレックス・クリジェフスキーとイリヤ・サツケヴァーがAlexNetを生み出した——これは深層畳み込みニューラルネットワークであり、ImageNet大規模視覚認識チャレンジにおいて、それまでの最高成績を約11パーセントポイント上回る差で優勝し、コンピュータービジョンコミュニティに衝撃を与え、事実上その分野の次の10年間のアジェンダを設定した。ドロップアウトに関する論文（2014年、スリバスタヴァ、クリジェフスキー、サツケヴァー、サラクディノフと共著）は、シンプルだが強力な正則化手法を形式化し、標準的な手法となった。知識蒸留（2015年、ヴィニャルス、ディーンと共著）は、ハードラベルではなくソフト確率出力で訓練することでネットワーク間で学習された知識を転送する方法を提案し、現在ではモデル圧縮において広く使われている。

2012年、ヒントンはクリジェフスキーおよびサツケヴァーと共にDNNresearch Inc.を共同設立し、この技術を商業化した。Googleは2013年3月にこの会社を4400万ドルで買収した——この取引は事実上、業界全体にディープラーニングが到来したことを知らせるものだった。

UCLギャツビー計算神経科学ユニット — 創設ディレクター（1998–2001）

トロント大学での職務の合間に、ヒントンはユニバーシティ・カレッジ・ロンドンのギャツビー計算神経科学ユニットの創設ディレクターを務めた。これはギャツビー慈善財団から資金提供を受けたものである。このユニットは計算神経科学と確率的機械学習における影響力のある訓練の場となり、トロントでヒントンのポスドクだったピーター・デイヤンが共同ディレクター、後にディレクターとなった。

Google Brain — 特別研究員（2013–2023）

DNNresearchの買収後、ヒントンはトロント大学とGoogle Brainの間で時間を分割し、特別研究員として働いた。この期間中も基礎研究を続け、2017年にはカプセルネットワークを、標準的な畳み込みネットワークの代替アーキテクチャとして導入した。これは部分と全体の空間的関係をよりよく表現することを目的としたものである。また、NeurIPS 2022ではForward-Forwardアルゴリズムを、バックプロパゲーションの代替として提案した。これは逆伝播を負例データに対する2回目の順伝播で置き換えるものである。2021年には、視覚表現のための対照的自己教師あり学習フレームワークであるSimCLRに関する広く引用された論文を共著した。

2023年5月、ヒントンはGoogleからの辞任を公に発表し、「これがGoogleにどのような影響を与えるかを考慮せずに」AIリスクについて自由に発言したいと述べた。ニューヨーク・タイムズのインタビューで、彼は「自身のライフワークを後悔している部分がある」と語った。彼はGoogleを批判しているわけではない——同社を責任ある行動をとっていると称賛した——が、大手AI開発企業に雇用されているという構造的な立場は、このテクノロジーの危険性についての率直な公的発言を専門的に複雑にしていると強調した。

Google退社後 — 公的なAI安全性提唱者（2023年–現在）

Googleを離れて以来、ヒントンは近期的および長期的なAIリスクについて警鐘を鳴らす最も著名で信頼性のある声の一人となっている。彼は2023年のAI安全センター声明に署名し、AIによる絶滅リスクは核戦争やパンデミックと並んで世界的な優先事項として扱われるべきだと述べている。彼は意図的な悪用——特にAIを用いた新規生物兵器の設計（「ただ恨みを持つ狂った一人の人間が必要なだけだ」）——からのリスク、技術的失業からのリスク、そしてAIシステムが手段的収束を通じて不適応なサブゴールを発展させる可能性からのリスクについて警告してきた。2024年後半までに、彼は30年以内にAIによる人類絶滅の確率を10～20%と推定している。彼は、競合する企業に安全性への投資を強制する唯一の現実的なメカニズムとして政府の規制を主張し、ヨシュア・ベンジオ、スチュアート・ラッセル、ローレンス・レッシグと共にカリフォルニア州のSB 1047 AI安全法案を支持した。

主な貢献

  • バックプロパゲーション — 規範的な普及（Nature、1986年、ルメルハート、ウィリアムズと共著）— チェーン・ルールを通じた勾配降下法により多層ネットワークが有用な内部表現を学習できることを実証。ニューラルネットワークにおける最初のAIの冬を終わらせた論文。ヒントンはルメルハートに核となるアイデアの功績を認めている。Werbos (1974)とLinnainmaa (1970)による先行研究があったが、1986年の論文はそれをコミュニティにアクセス可能で信頼できるものにした。
  • ボルツマンマシン（Cognitive Science、1985年、アックリー、セイノフスキーと共著）— 生物学的に動機づけられた学習規則を持つエネルギーに基づく確率的回帰型ネットワークを導入。ボルツマンマシンはヒントンのノーベル賞受賞理由に明示的に引用された。
  • 制限付きボルツマンマシンと深層信念ネットワーク（Science、2006年、サラクディノフと共著）— RBMを用いた貪欲な層ごとの事前学習により深層ネットワークが効果的に訓練できることを示した。深さが扱い可能であることを証明することで、現代のディープラーニング時代を触発した論文。
  • 分散表現— 1980年代から1990年代にかけての複数の論文で、意味と知識は単一の「祖母細胞」ではなく、多くのユニットにわたる活性化パターンで符号化されるべきだと主張。初期の記号的アプローチからコネクショニズムを区別する基礎的な理論的コミットメント。
  • AlexNet（NeurIPS 2012、アレックス・クリジェフスキー、イリヤ・サツケヴァーと共著）— ImageNet 2012でトップ5エラー率15.3%を達成し、次点より約11ポイント差をつけて優勝した深層畳み込みネットワーク。産業界全体でのディープラーニングの展開に火をつけた。
  • ドロップアウト（JMLR、2014年、スリバスタヴァ、クリジェフスキー、サツケヴァー、サラクディノフと共著）— 訓練中にユニットをランダムに非活性化することで共適応を防ぎ、暗黙のアンサンブルとして機能する正則化手法。ニューラルネットワーク訓練の標準手法となった。
  • 知識蒸留（2015年、ヴィニャルス、ディーンと共著）— 大規模な教師ネットワークのソフト確率出力でコンパクトな生徒ネットワークを訓練する方法を導入。ハードラベル再訓練なしのモデル圧縮を可能にし、現在では効率的な推論と展開に広く使われている。
  • t-SNE（JMLR、2008年、ローレンス・ファン・デル・マーテンと共著）— 高次元データの可視化のために局所的なクラスター構造を保存する非線形次元削減法。埋め込み空間を検査するための標準ツールとなった。
  • ウェイク・スリープアルゴリズム（Science、1995年、デイヤン、フレイ、ニールと共著）— 認識（「覚醒」）フェーズと生成（「睡眠」）フェーズを交互に行う階層的生成モデルのための学習アルゴリズム。後の変分推論法の構造を先取りしていた。
  • カプセルネットワーク（2017年）— スカラー活性化をベクトル（「カプセル」）で置き換え、部分と全体の空間的関係を符号化することを目的とした推測的なアーキテクチャ。CNNの空間構成に対する鈍感性を克服することを目指す。多くのフォローアップ研究を生み出したが、まだ本番環境でCNNを駆逐してはいない。
  • SimCLR / 対照学習（ICML 2020、チェン、コーンブリス、ノルージと共著）— 視覚表現のための対照的自己教師あり学習フレームワーク。視覚エンコーダーの事前学習において広く採用されるベースラインとなった。
  • Forward-Forwardアルゴリズム（NeurIPS 2022）— 逆伝播の代わりに正例データと負例データに対する2つの順伝播を用いる推測的なバックプロパゲーション代替案。アナログハードウェアなどの「有限計算」設定に関連する。
  • 学術的血統— 博士課程学生にはリチャード・ゼメル、ブレンダン・フレイ、ラドフォード・ニール、Yee Whye Teh、ルスラン・サラクディノフ、イリヤ・サツケヴァー、アレックス・クリジェフスキー、ピーター・ブラウンがいる。博士研究員にはヤン・ルカン、ピーター・デイヤン、マックス・ウェリング、アレックス・グレイヴス、ゾウビン・ガラマーニがいる——このコホートは、現在活動している実質的にすべての主要なAI研究所を集合的に形成してきた。

受賞と栄誉

  • ルメルハート賞（2001年）— 人間認知の理論的基礎への貢献に対して初の受賞者。
  • IJCAI研究優秀賞（2005年）
  • ハーツバーグ・カナダ金メダル（科学・工学）（2011年）
  • ACMチューリング賞（2018年、ヨシュア・ベンジオ、ヤン・ルカンと共同）—「深層ニューラルネットワークをコンピューティングの重要な構成要素にした概念的および工学的ブレークスルーに対して。」
  • カナダ勲章コンパニオン（2018年）
  • ディクソン科学賞、カーネギーメロン大学（2021年）
  • アストゥリアス皇太子賞 技術・科学研究部門（2022年、ベンジオ、ルカン、ハサビスと共同）
  • ノーベル物理学賞（2024年、ジョン・ホップフィールドと共同）—「人工ニューラルネットワークによる機械学習を可能にする基礎的な発見と発明に対して。」ボルツマンマシンが明示的に引用された。
  • VinFutureグランプリ（2024年、ベンジオ、ルカン、ジェンセン・フアン、フェイフェイ・リーと共同）
  • クイーン・エリザベス工学賞（2025年、ベンジオ、ビル・ダリー、ホップフィールド、ルカン、ジェンセン・フアン、フェイフェイ・リーと共同）
  • サンドフォード・フレミング・メダル（2025年）— 王立カナダ科学研究所、科学コミュニケーションの優秀性に対して。
  • 王立協会フェロー（FRS）（1998年）
  • カナダ王立協会フェロー（1996年）
  • AAAIフェロー（1990年）
  • 米国国家技術アカデミー外国人会員（2016年）
  • 米国科学アカデミー外国人会員（2023年）

主な関係

  • デイビッド・ルメルハート— カリフォルニア大学サンディエゴ校での知的協力者であり、1986年のバックプロパゲーション論文の共著者。ヒントンは一貫してルメルハートに核となるアイデアの功績を認めており、この論文をルメルハートの発明と見なしている。
  • テレンス・セイノフスキー— カーネギーメロン大学の同僚であり、ボルツマンマシンの共同発明者。AIの冬を通じてコネクショニズムを維持したPDPグループの一員。
  • ヨシュア・ベンジオ— CIFARの共同メンバーであり、長年の協力者。チューリング賞の共同受賞者。ベンジオのモントリオールグループとヒントンのトロントグループは、カナダのディープラーニング研究の二つの柱を形成した。
  • ヤン・ルカン— トロントのヒントングループでの博士研究員（1987–1988年）。チューリング賞の共同受賞者。このポスドク期間はルカンの畳み込みネットワーク研究の始まりだった。
  • イリヤ・サツケヴァー— 博士課程学生。AlexNetの共同発明者。ヒントンは、サツケヴァーが2023年のOpenAI取締役会でサム・アルトマンを解任する決定に参加したことを誇りに思っており、AIの安全性への懸念を共有する動機として挙げている。
  • アレックス・クリジェフスキー— 博士課程学生。AlexNetの主要実装者。3人はDNNresearchを共同設立し、2013年にGoogleが買収した。
  • ピーター・デイヤン— 博士研究員。UCLのギャツビーユニットの共同設立者、後にディレクターとなり、計算神経科学の主要人物に。ヒントンのデイヤンの研究方向への影響は形成的だった。
  • ジョン・ホップフィールド— ノーベル賞共同受賞者。ホップフィールドの1982年のホップフィールドネットワークに関する論文はボルツマンマシンの直接の前身であり、ノーベル賞受賞理由で引用されたもう一つの業績である。

人物像

ヒントンは、深い頑固さ——コンセンサスが彼に不利だった2度のAIの冬を通じてコネクショニストの立場を堅持したこと——と、知的落ち着きのなさの組み合わせで知られている。彼は自身が確立に貢献したコンセンサスに挑戦する新しい学習フレームワーク（カプセルネットワーク、Forward-Forward、有限計算）を定期的に提案しており、しばしばバックプロパゲーションは実際の脳の働き方ではないと疑っており、脳の実際の学習アルゴリズムを理解することは未解決の問題のままであると述べている。2023年以降の彼の公の声は、科学的な声とは著しく異なっている。率直で、意図的に強調を繰り返し、破局的な結果に確率推定を割り当てることを厭わない。彼は状況を、原爆製造を助けた後、その後のキャリアの残りをそれについて警告することに費やした優秀な物理学者に大まかに類似していると説明している。彼は、レーガン時代の政治と軍事的AI資金提供に対する政治的幻滅から、部分的に米国からカナダへ移った——これは彼の科学的確信とより広い価値観との間の一貫性を明らかにする詳細であり、彼のキャリアの初期から存在している。

参考文献