Джереми Ховард

вики
, , , ,
1

Австралийский специалист по данным, серийный предприниматель и преподаватель, известный как сооснователь fast.ai, создатель ULMFiT и один из ведущих голосов за демократизацию глубокого обучения.

Краткая информация
Родился 13 ноября 1973, Лондон, Англия (вырос в Мельбурне, Австралия)
Гражданство Австралиец
Текущие организации fast.ai (ведущий исследователь); Answer.AI (сооснователь); Университет Квинсленда (почетный профессор); Стэнфордская лаборатория цифровой экономики (Digital Fellow); CSIRO Data61 (приглашенный научный сотрудник)
Области исследований Глубокое обучение, трансферное обучение, NLP, доступность ИИ, медицинский ИИ
Образование Бакалавр искусств, философия — Университет Мельбурна (нет формального диплома по информатике)
Веб-сайт jeremy.fast.ai
X / Twitter @jeremyphoward
GitHub jph00
Google Scholar Jeremy Howard

Обзор

Джереми Ховард — одна из самых значимых фигур без формальных дипломов в истории современного ИИ. Не имея степени по информатике, он построил карьеру в управленческом консалтинге, страховой аналитике и инфраструктуре электронной почты, прежде чем открыть для себя машинное обучение и стать — по результатам соревнований — лучшим специалистом по данным в мире на Kaggle в 2010 и 2011 годах. Он основал Enlitic, первую компанию, применившую глубокое обучение для медицинской диагностики, а затем стал сооснователем fast.ai, чей курс посмотрели более шести миллионов человек, а библиотека fastai имеет более 25 000 звезд на GitHub. Его алгоритм ULMFiT (ACL 2018), написанный в соавторстве с Себастьяном Рудером, утвердил трансферное обучение в качестве стандартной парадигмы для NLP и напрямую повлиял на методологию обучения GPT, ChatGPT и их преемников. Он также является сооснователем Answer.AI, практической лаборатории ИИ-исследований и разработок, запущенной в 2023 году, и возглавлял глобальное движение Masks4All во время пандемии COVID-19, выступив соавтором знакового обзора доказательств в PNAS. Его карьера определяется последовательной философией: мощные инструменты ИИ, глубоко понятые и открыто доступные, должны быть доступны каждому.

Ранние годы и образование

Ховард родился в Лондоне 13 ноября 1973 года и переехал с семьей в Мельбурн, Австралия, в 1976 году. Он учился в гимназии Мельбурна и изучал философию в Университете Мельбурна. У него нет формального диплома по информатике или математике — факт, который он неоднократно подчеркивал как доказательство того, что глубокое обучение может освоить любой, кто готов потратить время. Его раннее участие в программировании включало вклад в проекты с открытым исходным кодом: он вносил вклад в язык программирования Perl в качестве председателя рабочей группы Perl6-data, а также в сервер Cyrus IMAP и SMTP-сервер Postfix.

Карьера

Управленческий консалтинг (начало 1990-х — конец 1990-х)

Ховард начал свою карьеру в управленческом консалтинге в McKinsey & Co и AT Kearney, проработав в консалтинге восемь лет, прежде чем стать предпринимателем. В AT Kearney он возглавлял группу Leveraging Customer Information, международную практику машинного обучения и аналитики данных. Он описывает себя как первого аналитического специалиста в McKinsey в Австралии в начале 1990-х годов, когда в фирме по всему миру было только два таких специалиста.

FastMail и Optimal Decisions Group (конец 1990-х — 2000-е)

Будучи в Австралии, Ховард основал два успешных стартапа: провайдера электронной почты FastMail, который он продал Opera Software, и компанию по оптимизации страховых тарифов Optimal Decisions Group (ODG), которую он продал ChoicePoint. В ODG он изобрел оптимизированное по прибыли ценообразование для страхования, метод, который сейчас используется почти всеми страховщиками жилья и авто, и создал метод Drivetrain для построения продуктов на основе данных.

Kaggle (2010–2013)

Ховард впервые познакомился с Kaggle, платформой соревнований по науке о данных, после того как стал ее участником, занявшим первое место в мире. Соревнования, которые он выиграл, касались прогнозирования туризма и предсказания успеха грантовых заявок. Затем он стал президентом и главным научным сотрудником Kaggle. В декабре 2011 года журнал Wired опубликовал статью о Ховарде, назвав его «Случайным ученым». Он покинул Kaggle в декабре 2013 года.

Enlitic (2014–2016)

В августе 2014 года Ховард основал Enlitic, чтобы использовать машинное обучение для того, чтобы сделать медицинскую диагностику и инструменты поддержки клинических решений более быстрыми, точными и доступными. Он привлек 15 миллионов долларов в течение двух лет после создания компании. MIT Tech Review поставил ее на 14-е место в списке самых умных компаний мира, сразу после Facebook и SpaceX. Enlitic была первой в мире компанией, специализирующейся именно на глубоком обучении для медицинской визуализации — на несколько лет опередив волну стартапов в области ИИ в здравоохранении.

fast.ai (2016 — настоящее время)

Fast.ai — это некоммерческая исследовательская группа, специализирующаяся на глубоком обучении и ИИ. Она была основана в 2016 году Джереми Ховардом и Рэйчел Томас с целью демократизации глубокого обучения. Флагманским продуктом организации является курс «Практическое глубокое обучение для программистов» (course.fast.ai), который не требует предварительных знаний, кроме знания Python, и был описан The Economist как модель массового образования в области ИИ. Курс посмотрели более шести миллионов человек; это самый продолжительный и широко используемый курс по глубокому обучению в мире, который запустил множество карьер в исследованиях, промышленности и стартапах.

Программная библиотека fastai, разработанная совместно с Сильвеном Гюггером, предоставляет многоуровневый API поверх PyTorch, позволяющий быстро создавать прототипы и получать результаты на уровне передовых методов с минимальным кодом. Она имеет более 25 000 звезд на GitHub. Ховард и его студенты также установили рекордные скорости обучения на эталонном тесте Stanford DawnBench в 2018 году, продемонстрировав, что небольшая команда может сравняться или превзойти крупные технологические компании по стоимости и времени обучения классификаторов ImageNet.

В fast.ai Ховард также создал nbdev — инструмент грамотного программирования, который позволяет разработчикам писать библиотеки Python непосредственно в блокнотах Jupyter, что значительно упрощает документирование, тестирование и распространение пакетов.

Wicklow AI in Medicine Research Initiative / Университет Сан-Франциско

Ховард работал ведущим научным сотрудником в Университете Сан-Франциско и основателем-председателем Wicklow AI in Medicine Research Initiative (WAMRI), налаживая партнерские отношения с UCSF, Гарвардом, Стэнфордом и многими другими академическими медицинскими центрами, что привело к значительным опубликованным прорывам в медицинских исследованиях.

COVID-19 и Masks4All (2020–2021)

В начале пандемии Ховард стал ведущим общественным защитником всеобщего ношения масок. Он возглавил крупнейший обзор доказательств по маскам, опубликованный в Трудах Национальной академии наук, который стал самой читаемой статьей за все время на preprints.org. Он писал редакционные статьи в Washington Post, Guardian и The Atlantic, а также появлялся на крупных американских телеканалах, включая Good Morning America и Nightline.

Answer.AI (2023 — настоящее время)

Ховард стал сооснователем Answer.AI вместе с Эриком Рисом как нового типа лаборатории исследований и разработок в области ИИ, которая создает практичные конечные продукты на основе фундаментальных исследовательских прорывов. Философия лаборатории — оставаться маленькой, быстро выпускать продукты и сосредотачиваться на действительно полезных продуктах для индивидуальных пользователей — в явном противопоставлении тенденции «агентного ИИ» крупных компаний. Среди ранних заметных релизов были система на основе FSDP и QLoRA, позволяющая обучать модели с 70 миллиардами параметров на двух потребительских GPU, а также инструменты, направленные на то, чтобы помочь разработчикам и писателям развивать свои собственные способности с помощью ИИ.

Ключевые вклады

  • ULMFiT — универсальная тонкая настройка языковых моделей (ACL 2018) — в соавторстве с Себастьяном Рудером. Предложен эффективный метод трансферного обучения, применимый к любой задаче NLP, уменьшающий ошибку на 18–24% на большинстве эталонных наборов данных и достигающий производительности, сравнимой с использованием полного набора данных, всего на 100 размеченных примерах. Цитируется более 5 000 раз и признан техническим предшественником подхода к обучению семейства GPT. При публикации Ховард и Рудер столкнулись с существенным скептицизмом: сообщество широко отвергало тонкую настройку как необоснованную, и подтверждение правильности ULMFiT заняло год.

  • Курс fast.ai — самый продолжительный онлайн-курс по глубокому обучению в мире, преподающий отличительную нисходящую, ориентированную на код педагогику, которая познакомила миллионы практиков с этой областью без предварительных требований.

  • Библиотека fastai — многоуровневый API поверх PyTorch, обеспечивающий получение результатов на уровне передовых методов со значительно меньшим количеством строк кода; его основные принципы проектирования были опубликованы в рецензируемом журнале Information (2020). Более 25 000 звезд на GitHub.

  • nbdev — система грамотного программирования для разработки программного обеспечения на Python в блокнотах Jupyter, включающая автоматическую генерацию тестов, документацию и публикацию пакетов; широко принята в сообществах fast.ai и Python с открытым исходным кодом.

  • Enlitic — первая в мире компания, занимающаяся глубоким обучением для медицины (2014), продемонстрировавшая, что глубокие нейронные сети могут соответствовать или превосходить уровень радиологов в задачах медицинской визуализации.

  • Рекорды скорости DawnBench (2018) — вместе со студентами fast.ai установил рекорды самого быстрого и дешевого обучения ImageNet, опередив команды Google и Intel и продемонстрировав практическую силу методологии обучения fast.ai.

  • Deep Learning for Coders with fastai and PyTorch (O’Reilly, 2020) — в соавторстве с Сильвеном Гюггером; оценен в пять звезд на Amazon и похвален Питером Норвигом как один из лучших источников для программистов, желающих стать экспертами в глубоком обучении.

  • Обзор доказательств по маскам в PNAS (2021) — совместное руководство с 20 авторами из нескольких учреждений; стал самой читаемой статьей на preprints.org на момент публикации и напрямую повлиял на политику общественного здравоохранения в ряде стран.

  • Выступление на TED — «Удивительные и пугающие последствия компьютеров, которые могут учиться» — более 2,5 миллионов просмотров, переведено на 26 языков; одно из самых просматриваемых публичных введений в социальные последствия глубокого обучения.

Награды и признание

  • MIT Technology Review Smartest Companies (2015, 2016) — Enlitic занял 14-е место в мире, опередив Facebook и SpaceX.
  • Wired «Случайный ученый» (2011) — профиль, признающий его восхождение на вершину мирового рейтинга на Kaggle.
  • Молодой глобальный лидер Всемирного экономического форума — приглашен выступить на Давосе-2014 на тему «Работа для машин».
  • Почетный профессор Университета Квинсленда (2022 — настоящее время) — формальное академическое признание его вклада в образование.
  • Цифровой сотрудник Стэнфордской лаборатории цифровой экономики (2023 — настоящее время) — приглашенное сотрудничество в Стэнфордском институте HAI.

Ключевые отношения

  • Рэйчел Томас — сооснователь fast.ai; математик, этик и педагог, которая совместно создала курс и руководила учебной программой по этике данных. Партнерство сделало fast.ai одной из самых сбалансированных организаций ИИ-образования в этой области.
  • Себастьян Рудер — соавтор ULMFiT; исследователь NLP, тогда работавший в Insight Centre for Data Analytics, теперь в Google DeepMind. Сотрудничество соединило академический NLP и прикладной подход fast.ai в поворотный момент.
  • Сильвен Гюггер — ключевой участник и со-мейнтейнер библиотеки fastai и nbdev; соавтор «Deep Learning for Coders». Инженерная глубина, стоящая за многими практическими инструментами fast.ai.
  • Эрик Рис — сооснователь Answer.AI; создатель методологии Lean Startup. Ховард ссылался на влияние Риcа на его мышление об итеративной разработке продуктов и полезных технологиях.
  • Питер Норвиг — директор по исследованиям Google, публично одобривший «Deep Learning for Coders» как одну из лучших книг по глубокому обучению; это одобрение имело значительный вес в подтверждении подхода Ховарда, не имеющего формальных дипломов.

Личный стиль

Ховард является намеренным противником мейнстрима в вопросах педагогики ИИ и исследовательской культуры. Его курс fast.ai переворачивает обычную последовательность — начиная с приложений и переходя к теории — исходя из явного убеждения, что мотивация предшествует пониманию и что функция привратника математических предварительных требований исторически исключала людей, наиболее способных полезно применять ИИ. Он был столь же противником мейнстрима в исследованиях: ULMFiT был разработан и опубликован, когда сообщество NLP было глубоко враждебно к тонкой настройке, а его результаты DawnBench намеренно бросили вызов предположению, что только крупные организации с большими вычислительными бюджетами могут продвигать передовые рубежи. Философия Answer.AI продолжает это: явное противопоставление «агентному ИИ», который автоматизирует человека, исключая его из процесса, в пользу инструментов, которые дают практикующим специалистам больше рычагов для управления своей собственной работой. Он пишет и говорит доступно, без жаргона, и имеет долгую историю прямого взаимодействия с учениками — его AMA на Reddit от 2014 года до сих пор широко цитируется как введение в его мышление.

Ссылки