Jacob Andreas

вики
, , , ,
1

Американский исследователь NLP и адъюнкт-профессор MIT, чья работа использует композиционную структуру языка — как в качестве принципа дизайна, так и в качестве объекта исследования — для построения систем машинного обучения, которые учатся на основе человеческого руководства, и для понимания того, почему такие системы работают.

Профиль
Национальность Американец
Текущие учреждения MIT CSAIL; MIT EECS (ITT Career Development Professor; Associate Professor, AI+D)
Области исследований Обработка естественного языка, композициональность, языковое обучение на основе реального мира, нейронные модульные сети, обучение в контексте, язык и машинное обучение
Научный руководитель Dan Klein
Докторская диссертация Learning from Language (UC Berkeley, 2018)
Веб-сайт web.mit.edu/jda/www
X / Twitter @jacobandreas
GitHub jacobandreas
Google Scholar Jacob Andreas

Обзор

Jacob Andreas — адъюнкт-профессор MIT на кафедре электротехники и компьютерных наук и в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), где он занимает должность ITT Career Development Professorship in Computer Technology. Он руководит группой Language & Intelligence (LINGO). Его исследования находятся на стыке обработки естественного языка и машинного обучения и преследуют центральный вопрос с двух сторон: как можно использовать композиционную структуру языка для создания более способных и интерпретируемых обучающихся систем, и что изучение понимания языка говорит нам о вычислительных принципах, лежащих в основе человеческого познания? Он наиболее известен благодаря внедрению нейронных модульных сетей (NMNs) — архитектуры, которая динамически компонует модульные нейронные компоненты в соответствии с синтаксической структурой вопросов. Это фундаментальный вклад в нейро-символический и композиционный ИИ. Он учился в Колумбийском университете (B.S.), Кембридже (M.Phil. как стипендиат Черчилля) и Беркли (PhD под руководством Dan Klein). Ноам Хомский — его пра-пра-пра-научный руководитель через линию Klein, Christopher Manning и Joan Bresnan.

Ранние годы и образование

Колумбийский университет — B.S. по компьютерным наукам (2012)

Андреас получил степень бакалавра компьютерных наук в Колумбийском университете, где он выиграл премию Theodore R. Bashkow Prize за исследования в области компьютерных наук и премию Russell C. Mills Prize за успехи в учебе — ранние индикаторы двойного акцента на исследовательскую и теоретическую работу, который характеризует его последующую карьеру. В этот период он работал с NLP Group Колумбии и (ныне расформированным) Center for Computational Learning Systems.

Кембриджский университет — M.Phil. (2013)

По стипендии Winston Churchill Scholarship Андреас получил степень магистра философии в Кембриджской компьютерной лаборатории, работая с группой Natural Language and Information Processing (NLIP). Его диссертация на степень магистра получила премию Cambridge Computer Laboratory Dissertation Prize — одну из самых престижных исследовательских наград на этом этапе академической карьеры в Великобритании.

UC Berkeley — PhD в области EECS (2013–2018)

Андреас завершил докторскую работу в Berkeley NLP Group и Berkeley AI Research Lab (BAIR) под руководством Dan Klein. Его диссертация, Learning from Language, разработала единую основу для использования композиционной структуры языка для информирования структуры моделей машинного обучения в различных контекстах: ответы на визуальные вопросы (нейронные модульные сети), обучение с подкреплением (политические эскизы) и анализ представлений. Он был поддержан стипендией NSF Graduate Research Fellowship (2013–2016) и стипендией Facebook Graduate Fellowship (2016–2018). Он окончил учебу в 2018 году.

Его научная линия напрямую восходит к Ноаму Хомскому: Jacob Andreas → Dan Klein → Christopher Manning → Joan Bresnan → Noam Chomsky.

Карьера

После Беркли (2018–2019)

После получения докторской степени Андреас недолгое время занимал исследовательские и приглашенные должности, прежде чем присоединиться к MIT. В этот переходный период он продолжал развивать структуру нейронных модульных сетей и ее расширения.

MIT — Адъюнкт-профессор (2019 – настоящее время)

Андреас присоединился к MIT EECS в качестве преподавателя на кафедре электротехники и компьютерных наук и в CSAIL. Он занимает должность ITT Career Development Professorship in Computer Technology — именную должность для преподавателей MIT на ранних этапах карьеры. Он руководит группой Language & Intelligence (LINGO) и реализует три взаимосвязанные исследовательские программы.

Интерактивное обучение на основе языка. Ключевой аргумент исследований Андреаса заключается в том, что контроль с помощью естественного языка качественно богаче, чем размеченные примеры или скалярные вознаграждения, используемые в стандартном машинном обучении, и что построение систем, способных учиться на основе тех инструкций, которые люди дают друг другу, требует новых архитектур и методов обучения. Это привело к работе по изучению функций вознаграждения, представлений планирования и поведения моделей на основе описаний на естественном языке, а не низкоуровневых демонстраций.

Научное понимание нейронных моделей. Андреас разработал методы зондирования и интерпретации того, чему учатся нейронные языковые модели, задаваясь вопросом, соответствуют ли приобретаемые ими представления интерпретируемым человеком категориям. Его статья ICLR 2022 года, посвященная описаниям глубоких визуальных признаков на естественном языке, предоставила инструмент для создания объяснений на естественном языке того, что обнаруживают отдельные нейроны. Его работа ICLR 2023 года по обучению в контексте предложила теоретический анализ того, какой алгоритм на основе градиента на самом деле реализует обучение в контексте, представляя его как неявный байесовский вывод по линейным моделям.

Композициональность и человеческое понимание языка. Через всю его работу проходит интерес к тому, как люди и модели обращаются с композиционной структурой — свойством, согласно которому значение сложного выражения строится из значений его частей. В его работах анализируется композициональность как лексическая симметрия, разрабатываются проекции деревьев для характеристики того, насколько хорошо трансформеры внутренне представляют композиционную структуру, и строятся вычислительные модели прагматических рассуждений. Статья 2024 года о Deductive Closure Training и статья ICLR 2025 года о выявлении человеческих предпочтений с помощью языковых моделей расширяют эту повестку в область выравнивания.

Его группа регулярно сотрудничает с когнитивистами и лингвистами, что отражает его приверженность двустороннему обмену между изучением человеческого языка и систем машинного обучения. Он признанный преподаватель: он получил премию Junior Bose Award for Teaching (MIT School of Engineering, 2023) и премию Kolokotrones Education Award (MIT EECS, 2021), а в апреле 2026 года был назван одним из победителей премии Edgerton Award.

Ключевые вклады

  • Нейронные модульные сети (NMNs, NAACL 2016, лучшая статья; CVPR 2016) — “Learning to Compose Neural Networks for Question Answering” и “Deep Compositional Question Answering with Neural Module Networks” в соавторстве с Marcus Rohrbach, Trevor Darrell и Dan Klein. Представлен класс архитектур, в которых вопрос на естественном языке сначала разбирается в структурированное вычислительное дерево, а затем используется для динамической сборки сети из библиотеки повторно используемых нейронных модулей — один для поиска объектов, один для классификации атрибутов, один для сравнения и так далее — которые обучаются совместно. NMNs были одними из первых систем, которые явно связывали лингвистическую композиционную структуру с архитектурой нейронных сетей, достигая самых современных результатов на нескольких эталонных тестах ответов на визуальные вопросы и влияя на годы последующих работ в области композиционного и нейро-символического ИИ.

  • Политические эскизы для многозадачного RL (ICML 2017, почетное упоминание за лучшую статью) — “Modular Multitask Reinforcement Learning with Policy Sketches.” Идея модульной композициональности распространена на обучение с подкреплением: высокоуровневые «эскизы» на естественном языке, описывающие структуру подцелей задачи, структурируют обучение модульным подполитикам, что позволяет быстрее учиться и переносить знания между задачами. Продемонстрировано, что языковая аннотация значительно эффективнее, чем стандартное формирование вознаграждения.

  • Описания глубоких визуальных признаков на естественном языке (ICLR 2022) — Предложена MILAN (Mutual-Information-guided Linguistic Annotations of Neurons), структура для генерации описаний на естественном языке того, на что реагируют отдельные нейроны или детекторы признаков в нейронной сети. Предоставлен один из первых масштабируемых инструментов для автоматической интерпретации функциональных ролей внутренних представлений в больших моделях зрения.

  • Какой алгоритм обучения реализует обучение в контексте? (ICLR 2023, Notable Paper) — Аналитическое исследование того, что реализует обучение в контексте, показывающее, что для линейных моделей при градиентном спуске обучение в контексте эквивалентно неявному байесовскому выводу. Теоретический вклад, который помог поместить обучение в контексте в рамки классической теории обучения и повлиял на последующие работы по пониманию поведения больших языковых моделей.

  • Композициональность как лексическая симметрия (ACL 2023, премия председателя секции) — Дана формальная математическая характеристика композициональности как свойства симметрии лексических единиц в языке, связывающая интуитивное понятие композициональности с теоретико-групповой структурой и предоставляющая инструменты для ее измерения в нейронных моделях.

  • Выявление человеческих предпочтений с помощью языковых моделей (ICLR 2025) — Исследовано использование языковых моделей в качестве активных систем запросов для выявления скрытых человеческих предпочтений, что вносит вклад в растущую пересечение повестки Андреаса в области композициональности и изучения языка с проблемами, связанными с выравниванием.

Награды и признание

  • Edgerton Award, MIT EECS (2026) — Награда MIT за исключительный вклад в преподавание, исследования и службу со стороны ассистентов или адъюнкт-профессоров; совместное признание объявлено в апреле 2026 года.
  • Samsung AI Researcher of the Year (2021) — Признан одним из лучших молодых исследователей ИИ.
  • Junior Bose Award for Teaching, MIT School of Engineering (2023) — Награда за превосходство в преподавании для младших преподавателей инженерной школы MIT.
  • Kolokotrones Education Award, MIT EECS (2021) — Ведомственная награда за превосходство в преподавании.
  • NSF CAREER Award — Награда Национального научного фонда для исследователей на ранних этапах карьеры с высоким потенциалом лидерства.
  • Kavli Fellow, Национальная академия наук — Назван стипендиатом Kavli от NAS за вклад в исследования ИИ и языка.
  • Лучшая статья, NAACL 2016 — За “Learning to Compose Neural Networks for Question Answering”, статья о нейронных модульных сетях.
  • Почетное упоминание за лучшую статью, ICML 2017 — За “Modular Multitask Reinforcement Learning with Policy Sketches”.
  • Лучшая статья, NAACL 2024 — За “Visual Grounding Helps Learn Word Meanings in Low-Data Regimes”.
  • Премия председателя секции, ACL 2023 — За “Compositionality as Lexical Symmetry”.
  • Notable Paper, ICLR 2023 — За “What Learning Algorithm is In-Context Learning?”
  • Facebook Graduate Fellowship (2016–2018) — Конкурсная докторская стипендия в области исследований ИИ.
  • NSF Graduate Research Fellowship (2013–2016) — Национальная докторская стипендия.
  • M.Phil. Dissertation Prize, Cambridge Computer Laboratory (2013) — Лучшая диссертация в Кембриджской компьютерной лаборатории.
  • Winston Churchill Scholarship (2012–2013) — Конкурсная послевузовская стипендия из США в Великобританию для обучения по STEM-специальностям.
  • Theodore R. Bashkow Prize (Колумбийский университет, 2012) — Премия за выдающиеся исследования в области компьютерных наук на уровне бакалавриата.

Ключевые отношения

  • Dan Klein — Научный руководитель PhD в Беркли; компьютерный лингвист и лидер Berkeley NLP Group, чьи работы по синтаксическому анализу, индукции грамматик и структурированному прогнозированию напрямую повлияли на композиционный подход Андреаса. Интеллектуальная линия Klein–Andreas является одной из самых четких в современной NLP.
  • Christopher Manning — Пра-научный руководитель (научный руководитель Клейна) и ведущий исследователь Stanford NLP; часть академической линии, связывающей современный эмпиризм в NLP с формализмом Хомского.
  • Noam Chomsky — Пра-пра-пра-научный руководитель; концептуальная озабоченность композициональностью и лингвистической структурой, пронизывающая работы Андреаса, находится в прямой интеллектуальной преемственности от порождающей грамматики Хомского, опосредованной через Bresnan, Manning и Klein.
  • Trevor Darrell — Профессор EECS в Беркли и соавтор статей о нейронных модульных сетях; предоставил перспективу компьютерного зрения, которая сделала NMNs конкретными для задач ответов на визуальные вопросы.
  • Marcus Rohrbach — Соавтор оригинальных статей о NMN; привнес визуальную привязку и мультимодальный опыт в структуру нейронных модульных сетей.
  • Kevin Knight — Номер один по Kevin Knight; «число Kevin Knight» — это игривая дань уважения в сообществе NLP; Андреас был соавтором непосредственно с Найтом, что указывает на его укорененность в традиции формальной/статистической NLP.

Личный стиль

Исследовательский стиль Андреаса необычайно рефлексивен в отношении взаимосвязи между лингвистической теорией и машинным обучением — он часто формулирует проблемы машинного обучения в терминах, заимствованных из формальной лингвистики (композициональность, синтаксис, лексическая семантика, прагматика), и, наоборот, использует методы машинного обучения для проверки лингвистических гипотез. Его академическое письмо точное и сжатое; его презентации и посты в блогах демонстрируют сухое остроумие и терпимость к формально заданным мысленным экспериментам. Он говорил и писал о ценности медленной, тщательной теоретической работы в эпоху, где доминируют результаты масштабирования, утверждая, что понимание того, почему модели работают, так же важно, как и заставить их работать лучше. Его заявление о научном руководстве, опубликованное в открытом доступе, откровенно описывает тип студента, с которым он работает лучше всего: тех, кто интересуется фундаментальными вопросами о языке и мышлении, а не тех, кто в первую очередь гонится за первыми местами в рейтингах. Его репутация преподавателя в MIT — отраженная в многочисленных наградах — предполагает необычайную приверженность педагогике на уровне бакалавриата и магистратуры наряду с исследованиями.

Ссылки