Джеффри Хинтон

вики
, , , ,
1

Нейробиолог и лауреат Нобелевской премии; центральная фигура коннекционистской традиции, архитектор ренессанса обратного распространения ошибки и самый влиятельный преподаватель в истории глубокого обучения.

Основная информация / Профиль

Поле Детали
Полное имя Джеффри Эверест Хинтон
Дата рождения 6 декабря 1947 года, Уимблдон, Лондон, Англия, Великобритания
Гражданство Британо-канадское
Текущее место работы Университет Торонто (почётный профессор); Институт Вектора (главный научный советник)
Области исследований Искусственные нейронные сети, машинное обучение, когнитивная наука, глубокое обучение, безопасность ИИ
Научный руководитель Кристофер Лонге-Хиггинс
Докторская диссертация Релаксация и её роль в зрении (Эдинбургский университет, 1978)
Личный сайт cs.toronto.edu/~hinton
X / Twitter @geoffreyhinton
Google Scholar scholar.google.com/citations?user=JicYPdAAAAAJ
Нобелевская премия nobelprize.org/prizes/physics/2024/hinton/facts

Общие сведения

Джеффри Хинтон — британо-канадский учёный в области информатики и когнитивный психолог, который на протяжении пяти десятилетий отстаивал нейронные сети как правильный подход к машинному интеллекту в то время, когда академический мейнстрим в значительной степени от них отказался. Его статья в Nature за 1986 год, популяризировавшая обратное распространение ошибки для многослойных сетей, его разработка машин Больцмана и глубоких сетей доверия, а также его руководство проектом AlexNet — свёрточной сетью, которая фактически возродила эту область в 2012 году, — составляют техническую основу современного глубокого обучения. Через свою группу в Университете Торонто он обучил или стал наставником для непропорционально большой доли исследователей, которые сейчас возглавляют разработки ИИ в ведущих лабораториях, включая Янна Лекуна, Илью Суцкевера, Алекса Крижевского, Руслана Салахутдинова и Питера Дайана. Он разделил премию Тьюринга 2018 года с Йошуа Бенжио и Янном Лекуном, а в 2024 году он и Джон Хопфилд были удостоены Нобелевской премии по физике «за фундаментальные открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей». В мае 2023 года Хинтон ушёл из Google Brain, чтобы иметь возможность свободно говорить о том, что он считает экзистенциальными и ближайшими рисками технологии, которую он помог создать, — позицию, которую он с нарастающей срочностью излагает с тех пор.

Ранние годы и образование

Семья и интеллектуальное наследие

Хинтон родился 6 декабря 1947 года в Уимблдоне. Его генеалогическое древо проходит через примечательный пласт британской интеллектуальной истории: он праправнук математика и логика Джорджа Буля, чьи работы по булевой алгебре стали основой информатики, и Мэри Эверест Буль, математика и педагога. Его отчество, Эверест, происходит от его прапрадеда по материнской линии Джорджа Эвереста, генерального инспектора Индии, в честь которого названа гора. Его отец был энтомологом Г. Э. Хинтон; его троюродная бабушка была Джоан Хинтон, одна из двух женщин-физиков в Манхэттенском проекте. Хинтон отмечал, что травма спины в возрасте 19 лет, из-за которой сидеть было больно всю его взрослую жизнь, сформировала его рабочие привычки, и он боролся с депрессией на протяжении всей своей карьеры.

Королевский колледж, Кембридж — бакалавр (1967–1970)

Хинтон поступил в Королевский колледж Кембриджа в 1967 году, перебирая естественные науки, историю искусств и философию, прежде чем остановиться на экспериментальной психологии, окончив его со степенью бакалавра искусств в 1970 году. После получения степени он провёл год, обучаясь на плотника, прежде чем вернуться в академическую среду — биографическая пауза, которую он приводил как доказательство того, что его интеллектуальный путь был далеко не предопределён.

Эдинбургский университет — докторская степень (1972–1978)

Хинтон начал работу над докторской диссертацией в Эдинбурге в 1972 году под руководством Кристофера Лонге-Хиггинса, когнитивного учёного, который незадолго до этого перешёл от исследований нейронных сетей к символическому подходу ИИ, доминировавшему тогда в этой области. Работая в этой неблагоприятной среде, Хинтон написал диссертацию на тему Релаксация и её роль в зрении, исследуя, как процессы удовлетворения ограничениям в зрительном восприятии могут быть смоделированы — ранняя основа для энергетических моделей, которые он разработает позже. Степень была присуждена в 1978 году. Испытывая трудности с получением финансирования на исследования в Британии, он переехал в США.

Карьера

Калифорнийский университет в Сан-Диего и Университет Карнеги-Меллона — постдок и преподаватель (1978–1987)

Хинтон был постдокторантом в Калифорнийском университете в Сан-Диего с 1978 года, где он присоединился к Дэвиду Румельхарту и Рональду Уильямсу. Их сотрудничество привело к появлению статьи 1986 года в Nature «Обучение представлениям с помощью обратного распространения ошибок», в которой было продемонстрировано, что многослойные сети могут изучать полезные внутренние представления с помощью градиентного спуска через правило цепочки — результат, который возродил серьёзный интерес к нейронным сетям после десятилетия застоя. Хинтон приписал Румельхарту основную идею; важность статьи заключалась в её доступном изложении и убедительных экспериментах в момент, когда область нуждалась в подтверждении концепции. С 1982 по 1987 год он был преподавателем в Университете Карнеги-Меллона, где присоединился к группе параллельной распределённой обработки (PDP), в которую входили Терри Сейновски, Фрэнсис Крик, Дэвид Румельхарт и Джеймс Макклелланд — сообщество исследователей-коннекционистов, которое явно позиционировало себя против мейнстрима символического ИИ во время «зимы ИИ». Вместе с Аккли и Сейновски он стал соавтором машин Больцмана в 1985 году — энергетической стохастической рекуррентной сети, алгоритм обучения которой опирался на идеи из статистической физики.

Университет Торонто — профессор (1987 – настоящее время)

Хинтон перешёл в Университет Торонто в 1987 году в качестве стипендиата CIFAR — Канада активно его вербовала, отчасти чтобы избежать растущего военного финансирования исследований ИИ в США, что противоречило его социалистическим убеждениям. С тех пор он связан с Торонто, став университетским профессором, а после выхода на пенсию — почётным университетским профессором. Торонто стал самым влиятельным центром исследований нейронных сетей в мире на протяжении последующих трёх десятилетий, подготовив или приняв у себя непропорционально большую долю исследователей, которые впоследствии определяли эту область.

Результаты его группы в Торонто за этот период были широкими и последовательными. Алгоритм «пробуждение-сон» (1995, совместно с Дайаном, Фреем и Нилом) представил генеративную модель, обучаемую путём чередования фаз распознавания и генерации, предвосхитившую структуру вариационного автоэнкодера. В 2006 году Хинтон и Салахутдинов опубликовали знаковую статью в Science, демонстрирующую, что глубокие сети со многими скрытыми слоями могут быть эффективно обучены с использованием жадного послойного предобучения с ограниченными машинами Больцмана — результат, который, более чем какая-либо отдельная статья, вызвал ренессанс «глубокого обучения», показав, что глубина достижима на практике. В 2008 году он совместно с Лоренсом ван дер Маатеном разработал t-SNE — метод снижения размерности и визуализации, ставший повсеместным для анализа многомерных данных. В 2012 году его студенты Алекс Крижевский и Илья Суцкевер под его руководством создали AlexNet — глубокую свёрточную нейронную сеть, которая выиграла конкурс ImageNet Large Scale Visual Recognition Challenge с отрывом почти в 11 процентных пунктов от предыдущего лучшего результата, поразив сообщество компьютерного зрения и фактически задав повестку дня для следующего десятилетия в этой области. Статья о Dropout (2014, совместно с Шриваставой, Крижевским, Суцкевером и Салахутдиновым) формализовала простой, но мощный метод регуляризации, ставший стандартной практикой. Дистилляция знаний (2015, совместно с Виньялсом и Дином) предложила метод передачи изученных знаний между сетями путём обучения на мягких вероятностных выходах, а не на жёстких метках — теперь повсеместно используется при сжатии моделей.

В 2012 году Хинтон совместно с Крижевским и Суцкевером основал компанию DNNresearch Inc. для коммерциализации технологии. Google приобрёл компанию в марте 2013 года за 44 миллиона долларов — сделка, которая фактически сигнализировала всей индустрии, что глубокое обучение наступило.

Исследовательский отдел вычислительной нейробиологии Гэтсби в UCL — основатель и директор (1998–2001)

Между своими назначениями в Торонто Хинтон занимал пост основателя и директора Исследовательского отдела вычислительной нейробиологии Гэтсби в Университетском колледже Лондона, финансируемого Благотворительным фондом Гэтсби. Отдел стал влиятельной школой вычислительной нейробиологии и вероятностного машинного обучения; Питер Дайан, который был постдоком Хинтона в Торонто, стал содиректором, а затем и директором.

Google Brain — выдающийся исследователь (2013–2023)

После приобретения DNNresearch Хинтон делил своё время между Университетом Торонто и Google Brain, где работал выдающимся исследователем. В этот период он продолжал фундаментальные исследования, представив капсульные сети (2017) как архитектурную альтернативу стандартным свёрточным сетям, нацеленную на лучшее представление пространственных отношений «часть-целое», и алгоритм Forward-Forward (NeurIPS 2022) как спекулятивную альтернативу обратному распространению, заменяющую обратный проход вторым прямым проходом на отрицательных данных. В 2021 году он стал соавтором широко цитируемой статьи о SimCLR — контрастивном фреймворке самоконтролируемого обучения для визуальных представлений.

В мае 2023 года Хинтон публично объявил о своём уходе из Google, заявив, что хочет свободно говорить о рисках ИИ «не думая о том, как это повлияет на Google». В своём интервью The New York Times он сказал, что «часть его сейчас сожалеет о своей работе всей жизни». Он подчеркнул, что не критикует Google, который, по его словам, действует ответственно, но структурное положение наёмного работника крупного разработчика ИИ делает откровенные публичные заявления об опасностях технологии профессионально сложными.

После Google — публичный сторонник безопасности ИИ (2023 – настоящее время)

С момента ухода из Google Хинтон стал одним из самых заметных и авторитетных голосов, бьющих тревогу по поводу краткосрочных и долгосрочных рисков ИИ. Он подписал заявление Центра безопасности ИИ 2023 года о том, что риск вымирания от ИИ следует рассматривать как глобальный приоритет наравне с ядерной войной и пандемиями. Он предупреждал о рисках преднамеренного злоупотребления, особенно использования ИИ для создания новых видов биологического оружия («Для этого нужен всего один сумасшедший парень со счётом»), о технологической безработице и о возможности развития у систем ИИ несогласованных подцелей через инструментальную конвергенцию. К концу 2024 года он оценивал вероятность вымирания человечества от ИИ в ближайшие 30 лет в 10–20%. Он выступал за государственное регулирование как единственный реалистичный механизм, способный заставить конкурирующие корпорации инвестировать в безопасность, и поддержал калифорнийский законопроект о безопасности ИИ SB 1047 вместе с Йошуа Бенжио, Стюартом Расселом и Лоуренсом Лессигом.

Ключевые достижения

  • Обратное распространение — каноническая популяризация (Nature, 1986, совместно с Румельхартом и Уильямсом) — Продемонстрировал, что градиентный спуск через правило цепочки позволяет многослойным сетям изучать полезные внутренние представления; статья, положившая конец первой «зиме ИИ» для нейронных сетей. Хинтон приписал основную идею Румельхарту; предшествующие работы Вербоса (1974) и Линнайнмаа (1970) были раньше, но статья 1986 года сделала её доступной и заслуживающей доверия для сообщества.
  • Машины Больцмана (Cognitive Science, 1985, совместно с Аккли и Сейновски) — Представили энергетическую стохастическую рекуррентную сеть с биологически обоснованным правилом обучения; машина Больцмана была явно упомянута в обосновании Нобелевской премии Хинтона.
  • Ограниченные машины Больцмана и глубокие сети доверия (Science, 2006, совместно с Салахутдиновым) — Показали, что глубокие сети могут быть эффективно обучены с использованием жадного послойного предобучения с RBM; статья, ставшая катализатором современной эры глубокого обучения, доказав, что глубина достижима.
  • Распределённые представления — В ряде статей в 1980-х и 1990-х годах утверждал, что смысл и знания должны кодироваться в паттернах активации множества нейронов, а не в отдельных «бабушкиных клетках»; фундаментальная теоретическая установка, отличавшая коннекционизм от более ранних символических подходов.
  • AlexNet (NeurIPS 2012, совместно с Алексом Крижевским и Ильёй Суцкевером) — Глубокая свёрточная сеть, выигравшая ImageNet 2012 с частотой ошибок top-5 15,3%, почти на 11 пунктов опередив следующую лучшую работу, вызвав внедрение глубокого обучения в промышленности.
  • Dropout (JMLR, 2014, совместно с Шриваставой, Крижевским, Суцкевером и Салахутдиновым) — Метод регуляризации, случайным образом отключающий нейроны во время обучения, предотвращающий коадаптацию и работающий как неявный ансамбль; стал стандартной практикой в обучении нейронных сетей.
  • Дистилляция знаний (2015, совместно с Виньялсом и Дином) — Предложил обучение компактной сети-ученика на мягких вероятностных выходах большой сети-учителя, позволяя сжимать модель без переобучения на жёстких метках; теперь повсеместно используется для эффективного вывода и развёртывания.
  • t-SNE (JMLR, 2008, совместно с Лоренсом ван дер Маатеном) — Нелинейный метод снижения размерности, сохраняющий локальную кластерную структуру для визуализации многомерных данных; стал стандартным инструментом для анализа пространств эмбеддингов.
  • Алгоритм «пробуждение-сон» (Science, 1995, совместно с Дайаном, Фреем и Нилом) — Алгоритм обучения для иерархических генеративных моделей, чередующий фазы распознавания («пробуждение») и генерации («сон»); предвосхитил структуру более поздних методов вариационного вывода.
  • Капсульные сети (2017) — Спекулятивная архитектура, заменяющая скалярные активации векторами («капсулами») для кодирования пространственных отношений «часть-целое», нацеленная на преодоление нечувствительности свёрточных нейронных сетей к пространственной конфигурации; породила значительное количество последующих работ, хотя пока не вытеснила свёрточные нейронные сети в производстве.
  • SimCLR / Контрастивное обучение (ICML 2020, совместно с Чэнем, Корнблитом и Норузи) — Контрастивный фреймворк самоконтролируемого обучения для визуальных представлений, ставший широко используемым базовым методом для предобучения визуальных кодировщиков.
  • Алгоритм Forward-Forward (NeurIPS 2022) — Спекулятивная альтернатива обратному распространению, использующая два прямых прохода (на положительных и отрицательных данных) вместо обратного прохода; актуально для сценариев «смертельных вычислений», таких как аналоговое оборудование.
  • Академическая родословная — Аспиранты включают Ричарда Земеля, Брендана Фрея, Рэдфорда Нила, Йи Вай Те, Руслана Салахутдинова, Илью Суцкевера, Алекса Крижевского и Питера Брауна; постдокторанты включают Янна Лекуна, Питера Дайана, Макса Веллинга, Алекса Грейвса и Зубина Гахрамани — когорта, которая в совокупности сформировала практически все крупные лаборатории ИИ, активные сегодня.

Награды и признание

  • Премия Румельхарта (2001) — Первый обладатель премии за вклад в теоретические основы человеческого познания.
  • Премия IJCAI за выдающиеся исследования (2005)
  • Золотая медаль Герцберга Канады в области науки и техники (2011)
  • Премия Тьюринга ACM (2018, совместно с Йошуа Бенжио и Янном Лекуном) — «За концептуальные и инженерные прорывы, сделавшие глубокие нейронные сети критически важным компонентом вычислительной техники».
  • Орден Канады степени компаньона (2018)
  • Премия Диксона в области науки, Университет Карнеги-Меллона (2021)
  • Премия принцессы Астурийской за технические и научные исследования (2022, совместно с Бенжио, Лекуном и Хассабисом)
  • Нобелевская премия по физике (2024, совместно с Джоном Хопфилдом) — «За фундаментальные открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей». Машина Больцмана была явно упомянута.
  • Гран-при VinFuture (2024, совместно с Бенжио, Лекуном, Дженсеном Хуангом и Фэй-Фэй Ли)
  • Премия Королевы Елизаветы в области инженерии (2025, совместно с Бенжио, Биллом Далли, Хопфилдом, Лекуном, Дженсеном Хуангом и Фэй-Фэй Ли)
  • Медаль Сэндфорда Флеминга (2025) — Королевский канадский институт науки, за выдающиеся достижения в области научной коммуникации.
  • Член Лондонского королевского общества (FRS) (1998)
  • Член Королевского общества Канады (1996)
  • Член AAAI (1990)
  • Иностранный член Национальной инженерной академии США (2016)
  • Иностранный член Национальной академии наук США (2023)

Ключевые отношения

  • Дэвид Румельхарт — Научный сотрудник в Калифорнийском университете в Сан-Диего и соавтор статьи 1986 года по обратному распространению; Хинтон последовательно приписывает Румельхарту основную идею и считает эту статью его изобретением.
  • Терренс Сейновски — Коллега по Университету Карнеги-Меллона и соавтор машин Больцмана; входил в группу PDP, поддерживавшую коннекционизм в период «зимы ИИ».
  • Йошуа Бенжио — Коллега по CIFAR и давний соавтор; со-лауреат премии Тьюринга; группа Бенжио в Монреале и группа Хинтона в Торонто сформировали две опоры канадских исследований в области глубокого обучения.
  • Янн Лекун — Постдоторант в группе Хинтона в Торонто (1987–1988); со-лауреат премии Тьюринга; год постдока стал началом работы Лекуна над свёрточными сетями.
  • Илья Суцкевер — Аспирант; соавтор AlexNet; Хинтон говорил, что гордится участием Суцкевера в решении совета директоров OpenAI в 2023 году об отстранении Сэма Альтмана, ссылаясь на обеспокоенность по поводу безопасности ИИ как на общую мотивацию.
  • Алекс Крижевский — Аспирант; главный разработчик AlexNet; они втроём основали DNNresearch, которую Google приобрёл в 2013 году.
  • Питер Дайан — Постдоторант; стал сооснователем, а затем директором отдела Гэтсби в UCL и ведущей фигурой в вычислительной нейробиологии; влияние Хинтона на направление исследований Дайана было формирующим.
  • Джон Хопфилд — Со-лауреат Нобелевской премии; статья Хопфилда 1982 года об ассоциативной памяти в сетях Хопфилда была прямым предшественником машин Больцмана и является другой работой, упомянутой в обосновании Нобелевской премии.

Личный стиль

Хинтон известен сочетанием глубокого упрямства — придерживался коннекционистских позиций в течение двух «зим ИИ», когда консенсус был против него, — и интеллектуальной неуспокоенности: он регулярно предлагает новые обучающие фреймворки (капсульные сети, Forward-Forward, смертельные вычисления), которые бросают вызов консенсусу, который он же помог установить, часто отмечая, что подозревает, что обратное распространение не является тем, как на самом деле работает мозг, и что понимание реального алгоритма обучения мозга остаётся открытой проблемой. Его публичный голос с 2023 года заметно отличается от научного: резкий, повторяющийся для намеренного подчёркивания и готовый присваивать вероятностные оценки катастрофическим исходам. Он описал ситуацию как примерно аналогичную ситуации блестящего физика, который помог создать атомную бомбу, а затем провёл остаток своей карьеры, предупреждая о ней. Он переехал из США в Канаду отчасти из-за политического разочарования в политике эпохи Рейгана и военном финансировании ИИ — деталь, раскрывающая последовательность между его научными убеждениями и его более широкими ценностями, которая присутствовала с начала его карьеры.

Ссылки