Jacob Andreas

Wiki
, , , ,
1

Amerikanischer NLP-Forscher und außerordentlicher Professor am MIT, dessen Arbeit die kompositionelle Struktur der Sprache — sowohl als Gestaltungsprinzip als auch als Forschungsgegenstand — nutzt, um maschinelle Lernsysteme zu entwickeln, die aus menschlicher Anleitung lernen, und um zu verstehen, warum solche Systeme funktionieren.

Profil
Staatsangehörigkeit Amerikanisch
Derzeitige Institution(en) MIT CSAIL; MIT EECS (ITT Career Development Professor; Associate Professor, AI+D)
Forschungsgebiete Natürliche Sprachverarbeitung, Kompositionalität, Verankertes Sprachlernen, Neuronale Modulnetzwerke, In-Context-Lernen, Sprache & Maschinelles Lernen
Doktorvater Dan Klein
Dissertation Learning from Language (UC Berkeley, 2018)
Website web.mit.edu/jda/www
X / Twitter @jacobandreas
GitHub jacobandreas
Google Scholar Jacob Andreas

Überblick

Jacob Andreas ist außerordentlicher Professor am MIT in der Fakultät für Elektrotechnik und Informatik sowie am Computer Science and Artificial Intelligence Laboratory (CSAIL), wo er die ITT Career Development Professur für Computertechnologie innehat. Er leitet die Gruppe „Language & Intelligence (LINGO)“ (Sprache & Intelligenz). Seine Forschung bewegt sich an der Schnittstelle von natürlicher Sprachverarbeitung und maschinellem Lernen und verfolgt eine zentrale Frage aus zwei Richtungen: Wie kann die kompositionelle Struktur der Sprache genutzt werden, um leistungsfähigere und interpretierbarere Lernsysteme zu bauen, und was sagt uns das Studium des Sprachverstehens über die computertechnischen Prinzipien, die der menschlichen Kognition zugrunde liegen? Bekannt wurde er vor allem durch die Einführung von Neuronalen Modulnetzwerken (Neural Module Networks, NMNs), einer Architektur, die modulare neuronale Komponenten dynamisch entsprechend der syntaktischen Struktur von Fragen zusammensetzt — ein grundlegender Beitrag zur neuro-symbolischen und kompositionellen KI. Er absolvierte seine Ausbildung an der Columbia University (B.S.), der University of Cambridge (M.Phil. als Churchill-Stipendiat) und der UC Berkeley (PhD bei Dan Klein). Noam Chomsky ist sein Ur-Ur-Ur-Großvater als akademischer Berater, über Klein, Christopher Manning und Joan Bresnan.

Frühes Leben & Ausbildung

Columbia University — B.S. in Informatik (2012)

Andreas schloss sein Grundstudium in Informatik an der Columbia University ab, wo er den Theodore R. Bashkow Prize für Informatikforschung und den Russell C. Mills Prize für Studienleistungen gewann — frühe Anzeichen für die duale Ausrichtung auf Forschung und Theorie, die seine spätere Karriere kennzeichnet. In dieser Zeit war er Teil der NLP-Gruppe der Columbia und des (inzwischen aufgelösten) Center for Computational Learning Systems.

University of Cambridge — M.Phil. (2013)

Mit einem Winston-Churchill-Stipendium absolvierte Andreas einen Master of Philosophy am Cambridge Computer Laboratory und arbeitete mit der Natural Language and Information Processing (NLIP) Group zusammen. Seine M.Phil.-Dissertation erhielt den Cambridge Computer Laboratory Dissertation Prize — einen der wettbewerbsfähigsten Forschungspreise in dieser Phase einer akademischen Karriere im Vereinigten Königreich.

UC Berkeley — PhD in EECS (2013–2018)

Andreas schloss seine Doktorarbeit an der Berkeley NLP Group und dem Berkeley AI Research Lab (BAIR) unter der Leitung von Dan Klein ab. Seine Dissertation, Learning from Language, entwickelte einen einheitlichen Rahmen für die Nutzung der kompositionellen Struktur der Sprache zur Information der Struktur von Modellen des maschinellen Lernens in mehreren Kontexten: visuelle Fragenbeantwortung (neuronale Modulnetzwerke), Bestärkendes Lernen (Policy Sketches) und Repräsentationsanalyse. Er wurde durch ein NSF Graduate Research Fellowship (2013–2016) und ein Facebook Graduate Fellowship (2016–2018) gefördert. Er schloss sein Studium 2018 ab.

Seine akademische Abstammungslinie führt direkt auf Noam Chomsky zurück: Jacob Andreas → Dan Klein → Christopher Manning → Joan Bresnan → Noam Chomsky.

Werdegang

Nach Berkeley (2018–2019)

Nach seiner Promotion hatte Andreas kurzzeitig Forschungs- und Gastpositionen inne, bevor er zum MIT kam. Während dieser Übergangsphase entwickelte er das Framework der neuronalen Modulnetzwerke und seine Erweiterungen weiter.

MIT — Außerordentlicher Professor (2019–heute)

Andreas wurde als Fakultätsmitglied in den Fachbereich Elektrotechnik und Informatik und das CSAIL am MIT aufgenommen. Er hat die ITT Career Development Professur für Computertechnologie inne, eine benannte Stelle für Wissenschaftler in der frühen Karrierephase am MIT. Er leitet die Gruppe Language & Intelligence (LINGO) und verfolgt drei miteinander verbundene Forschungsprogramme.

Interaktives Lernen aus Sprache. Ein Kernargument der Forschung von Andreas ist, dass die Überwachung durch natürliche Sprache qualitativ reichhaltiger ist als die beschrifteten Beispiele oder skalaren Belohnungen, die im Standard-Maschinellen Lernen verwendet werden, und dass der Aufbau von Systemen, die aus der Art von Anweisungen lernen können, die Menschen einander geben, neue Architekturen und Trainingsmethoden erfordert. Dies hat zu Arbeiten über das Lernen von Belohnungsfunktionen, Planungsrepräsentationen und Modellverhalten aus Beschreibungen in natürlicher Sprache anstelle von Low-Level-Demonstrationen geführt.

Wissenschaftliches Verständnis neuronaler Modelle. Andreas hat Methoden entwickelt, um zu untersuchen und zu interpretieren, was neuronale Sprachmodelle lernen, und fragt, ob die Repräsentationen, die sie erwerben, menschlich interpretierbaren Kategorien entsprechen. Sein ICLR-Papier von 2022 über natürlichsprachliche Beschreibungen tiefer visueller Merkmale stellte ein Werkzeug zur Erzeugung natürlichsprachlicher Erklärungen dafür bereit, was einzelne Neuronen erkennen. Seine ICLR-Arbeit von 2023 zum In-Context-Lernen schlug eine theoretische Analyse des Algorithmus vor, den gradientenbasiertes In-Context-Lernen tatsächlich implementiert, und deutete ihn als implizite Bayessche Inferenz über lineare Modelle.

Kompositionalität und menschenähnliches Sprachverständnis. Ein roter Faden in seiner Arbeit ist die Frage, wie Menschen und Modelle mit kompositioneller Struktur umgehen — der Eigenschaft, dass die Bedeutung eines komplexen Ausdrucks aus der Bedeutung seiner Teile aufgebaut ist. Seine Arbeit hat Kompositionalität als lexikalische Symmetrie analysiert, Baumprojektionen entwickelt, um zu charakterisieren, wie gut Transformer kompositionelle Struktur intern repräsentieren, und Computermodelle des pragmatischen Schließens gebaut. Ein Papier von 2024 über Deductive Closure Training und ein ICLR-Papier von 2025 über die Ermittlung menschlicher Präferenzen mit Sprachmodellen erweitern dieses Programm in den Bereich der Ausrichtung (Alignment).

Seine Gruppe arbeitet regelmäßig mit Kognitionswissenschaftlern und Linguisten zusammen, was sein Engagement für einen bidirektionalen Austausch zwischen der Erforschung menschlicher Sprache und Systemen des maschinellen Lernens widerspiegelt. Er ist ein anerkannter Lehrer: Er erhielt den Junior Bose Award for Teaching (MIT School of Engineering, 2023) und den Kolokotrones Education Award (MIT EECS, 2021) und wurde im April 2026 zum Mitgewinner des Edgerton Award des MIT ernannt.

Wichtigste Beiträge

  • Neuronale Modulnetzwerke (NMNs, NAACL 2016, Best Paper; CVPR 2016) — „Learning to Compose Neural Networks for Question Answering“ und „Deep Compositional Question Answering with Neural Module Networks“, mit Marcus Rohrbach, Trevor Darrell und Dan Klein. Einführung einer Klasse von Architekturen, bei denen eine Frage in natürlicher Sprache zunächst in einen strukturierten Berechnungsbaum geparst und dann verwendet wird, um dynamisch ein Netzwerk aus einer Bibliothek wiederverwendbarer neuronaler Module zusammenzusetzen — eines zum Auffinden von Objekten, eines zur Klassifizierung von Attributen, eines zum Vergleichen usw. — die gemeinsam trainiert werden. NMNs gehörten zu den ersten Systemen, die die sprachliche kompositionelle Struktur explizit mit der neuronalen Netzwerkarchitektur verknüpften, und erreichten auf mehreren Benchmarks zur visuellen Fragenbeantwortung den neuesten Stand der Technik und beeinflussten die nachfolgende Arbeit in den Bereichen kompositionelle und neuro-symbolische KI über Jahre hinweg.

  • Policy Sketches für Multitask-Bestärkendes Lernen (ICML 2017, Best Paper Honorable Mention) — „Modular Multitask Reinforcement Learning with Policy Sketches“. Erweiterung der Idee der modularen Kompositionalität auf das Bestärkende Lernen: Hochrangige „Skizzen“ in natürlicher Sprache, die die Unterzielstruktur einer Aufgabe beschreiben, stützen das Erlernen modularer Unterrichtlinien, was schnelleres Lernen und Transfer zwischen Aufgaben ermöglicht. Es wurde gezeigt, dass sprachliche Annotation wesentlich effizienter ist als die Standardformen der Belohnungsgestaltung.

  • Natürlichsprachliche Beschreibungen tiefer visueller Merkmale (ICLR 2022) — Vorschlag von MILAN (Mutual-Information-guided Linguistic Annotations of Neurons), einem Rahmenwerk zur Erzeugung natürlichsprachlicher Beschreibungen dessen, worauf einzelne Neuronen oder Merkmalsdetektoren in einem neuronalen Netzwerk reagieren. Bereitstellung eines der ersten skalierbaren Werkzeuge zur automatischen Interpretation der funktionalen Rollen interner Repräsentationen in großen Bildverarbeitungsmodellen.

  • Welchen Lernalgorithmus implementiert In-Context-Lernen? (ICLR 2023, Notable Paper) — Eine analytische Untersuchung dessen, was In-Context-Lernen implementiert, die zeigt, dass es für lineare Modelle unter Gradientenabstieg einer impliziten Bayesschen Inferenz entspricht. Ein theoretischer Beitrag, der half, das In-Context-Lernen im Rahmen der klassischen Lerntheorie zu verorten und die nachfolgende Arbeit zum Verständnis des Verhaltens großer Sprachmodelle beeinflusste.

  • Kompositionalität als lexikalische Symmetrie (ACL 2023, Area Chair’s Award) — Lieferte eine formale mathematische Charakterisierung von Kompositionalität als Symmetrieeigenschaft lexikalischer Einheiten in einer Sprache, die die intuitive Vorstellung von Kompositionalität mit gruppentheoretischer Struktur verknüpft und Werkzeuge zu ihrer Messung in neuronalen Modellen bereitstellt.

  • Ermittlung menschlicher Präferenzen mit Sprachmodellen (ICLR 2025) — Erforschung des Einsatzes von Sprachmodellen als aktive Abfragesysteme zur Ermittlung latenter menschlicher Präferenzen, ein Beitrag zur wachsenden Schnittstelle von Andreas’ Agenda zu Kompositionalität und Sprachenlernen mit Problemen der KI-Ausrichtung (Alignment).

Auszeichnungen & Ehrungen

  • Edgerton Award, MIT EECS (2026) — Der Preis des MIT für herausragende Beiträge zur Lehre, Forschung und Dienstleistung von Assistenz- oder außerordentlichen Professoren; gemeinsame Anerkennung, angekündigt im April 2026.
  • Samsung AI Researcher of the Year (2021) — Benennung als einer der besten jungen KI-Forscher.
  • Junior Bose Award for Teaching, MIT School of Engineering (2023) — Lehrpreis der MIT School of Engineering für Nachwuchswissenschaftler.
  • Kolokotrones Education Award, MIT EECS (2021) — Fachbereichslehrpreis.
  • NSF CAREER Award — Preis der National Science Foundation für Nachwuchswissenschaftler mit hohem Führungspotenzial.
  • Kavli Fellow, National Academy of Sciences — Ernennung zum Kavli Fellow durch die NAS für Beiträge zur KI- und Sprachforschung.
  • Best Paper, NAACL 2016 — Für „Learning to Compose Neural Networks for Question Answering“, das Papier zu den neuronalen Modulnetzwerken.
  • Best Paper Honorable Mention, ICML 2017 — Für „Modular Multitask Reinforcement Learning with Policy Sketches“.
  • Best Paper, NAACL 2024 — Für „Visual Grounding Helps Learn Word Meanings in Low-Data Regimes“.
  • Area Chair’s Award, ACL 2023 — Für „Compositionality as Lexical Symmetry“.
  • Notable Paper, ICLR 2023 — Für „What Learning Algorithm is In-Context Learning?“.
  • Facebook Graduate Fellowship (2016–2018) — Wettbewerbsfähiges Promotionsstipendium in der KI-Forschung.
  • NSF Graduate Research Fellowship (2013–2016) — Nationales Promotionsstipendium.
  • M.Phil. Dissertation Prize, Cambridge Computer Laboratory (2013) — Bester Dissertationspreis des Cambridge Computer Lab.
  • Winston Churchill Scholarship (2012–2013) — Wettbewerbsfähiges Postgraduierten-Stipendium von den USA nach Großbritannien für ein MINT-Graduiertenstudium.
  • Theodore R. Bashkow Prize (Columbia, 2012) — Preis für herausragende Informatikforschung als Student.

Wichtige Beziehungen

  • Dan Klein — Doktorvater in Berkeley; Computerlinguist und Leiter der Berkeley NLP Group, dessen Arbeiten zum Parsen, zur Grammatikinduktion und zur strukturierten Vorhersage Andreas’ kompositionellen Ansatz direkt geprägt haben. Die intellektuelle Linie Klein-Andreas ist eine der klarsten in der modernen NLP.
  • Christopher Manning — Großvater als akademischer Berater (Kleins Doktorvater) und führender Stanford-NLP-Forscher; Teil der akademischen Abstammungslinie, die den modernen NLP-Empirismus mit dem chomskyanischen Formalismus verbindet.
  • Noam Chomsky — Ur-Ur-Ur-Großvater als akademischer Berater; die konzeptionelle Beschäftigung mit Kompositionalität und linguistischer Struktur, die Andreas’ Arbeit durchzieht, steht in direkter intellektueller Nachfolge der chomskyanischen generativen Grammatik, vermittelt durch Bresnan, Manning und Klein.
  • Trevor Darrell — Professor für EECS in Berkeley und Ko-Autor der Arbeiten zu neuronalen Modulnetzwerken; brachte die Perspektive der Computer Vision ein, die NMNs bei Aufgaben der visuellen Fragenbeantwortung konkret machte.
  • Marcus Rohrbach — Ko-Autor der ursprünglichen NMN-Arbeiten; brachte Fachwissen zur visuellen Verankerung und Multimodalität in das Framework der neuronalen Modulnetzwerke ein.
  • Kevin Knight — Kevin-Knight-Nummer eins; die „Kevin-Knight-Nummer“ ist eine spielerische Hommage in der NLP-Community; Andreas hat direkt mit Knight zusammengearbeitet, was seine Einbettung in die formale/statistische NLP-Tradition signalisiert.

Persönlicher Stil

Andreas’ Forschungsstil ist ungewöhnlich selbstreflexiv in Bezug auf die Beziehung zwischen linguistischer Theorie und maschinellem Lernen — er formuliert Probleme des maschinellen Lernens routinemäßig mit Konzepten aus der formalen Linguistik (Kompositionalität, Syntax, lexikalische Semantik, Pragmatik) und verwendet umgekehrt Methoden des maschinellen Lernens, um linguistische Hypothesen zu testen. Seine akademischen Texte sind präzise und sparsam; seine Präsentationen und Blogbeiträge zeigen einen trockenen Humor und eine Toleranz gegenüber formal spezifizierten Gedankenexperimenten. Er hat über den Wert langsamer, sorgfältiger theoretischer Arbeit in einer von Skalierungsergebnissen dominierten Ära gesprochen und geschrieben und argumentiert, dass das Verständnis warum Modelle funktionieren genauso wichtig ist wie das Verbessern ihrer Funktionsweise. Seine öffentlich zugängliche Betreuungserklärung ist offen darüber, mit welcher Art von Student er am besten zusammenarbeitet: mit denen, die zu grundlegenden Fragen über Sprache und Geist hingezogen werden, nicht mit denen, die in erster Linie Spitzenplätze auf Ranglisten anstreben. Sein Ruf als Lehrer am MIT — widergespiegelt in mehreren Auszeichnungen — deutet auf ein ungewöhnliches Engagement für die Lehre von Studierenden und Doktoranden neben der Forschung hin.

Referenzen