Jacob Andreas

ウィキ
, , , ,
1

アメリカのNLP研究者、MIT准教授。言語の構成構造を設計原理かつ研究対象として活用し、人間の指導から学習する機械学習システムを構築するとともに、そのようなシステムが機能する理由を解明する研究に従事している。

プロフィール
国籍 アメリカ
現在の所属機関 MIT CSAIL; MIT EECS (ITTキャリア開発教授; 准教授、AI+D)
研究分野 自然言語処理、構成性、接地言語学習、ニューラルモジュールネットワーク、インコンテクスト学習、言語と機械学習
博士課程指導教員 ダン・クライン
博士論文 『言語からの学習』（カリフォルニア大学バークレー校、2018年）
ウェブサイト web.mit.edu/jda/www
X/Twitter @jacobandreas
GitHub jacobandreas
Google Scholar Jacob Andreas

概要

ジェイコブ・アンドレアスは、MIT電気工学・コンピュータ科学科（EECS）およびコンピュータ科学・人工知能研究所（CSAIL）の准教授であり、ITTコンピュータテクノロジー・キャリア開発教授職を保持している。彼は言語と知能（LINGO）グループを率いている。彼の研究は自然言語処理と機械学習の交差点に位置し、一つの中心的な問いを二つの方向から追求している。すなわち、言語の構成構造をどのように活用すればより高性能で解釈可能な学習システムを構築できるか、そして言語理解の研究は人間の認知の根底にある計算原理について何を教えてくれるか、である。彼は特に、ニューラルモジュールネットワーク（NMN）の導入で知られている。これは、質問の構文構造に従ってモジュール型ニューラルコンポーネントを動的に構成するアーキテクチャであり、ニューロシンボリックAIおよび構成性AIへの基礎的な貢献となった。彼はコロンビア大学（理学士）、ケンブリッジ大学（修士号、チャーチル奨学生）、カリフォルニア大学バークレー校（博士号、指導教員はダン・クライン）で学んだ。ノーム・チョムスキーは、クライン、クリストファー・マニング、ジョーン・ブレスナンを経て、彼の曽祖父ほどの距離にある指導教員の系譜にあたる。

生い立ちと教育

コロンビア大学 — コンピュータ科学理学士（2012年）

アンドレアスはコロンビア大学でコンピュータ科学の学部課程を修了し、コンピュータ科学研究に対してセオドア・R・バシュコウ賞、課程に対してラッセル・C・ミルズ賞を受賞した。これらは、彼のその後のキャリアを特徴づける研究と理論の両面への注力の初期の兆候であった。この期間、彼はコロンビア大学NLPグループおよび（その後解散した）計算学習システムセンターに所属していた。

ケンブリッジ大学 — 修士号（2013年）

ウィンストン・チャーチル奨学金を得て、アンドレアスはケンブリッジ大学コンピュータ研究所で修士号を取得し、自然言語・情報処理グループ（NLIP）で研究を行った。彼の修士論文はケンブリッジ大学コンピュータ研究所論文賞を受賞した。これは英国のアカデミアキャリアのその段階で最も競争率の高い研究賞の一つである。

カリフォルニア大学バークレー校 — EECS博士号（2013～2018年）

アンドレアスはバークレーNLPグループおよびバークレーAI研究所（BAIR）で、ダン・クラインの指導の下、博士研究を完了した。彼の学位論文『言語からの学習』は、言語の構成構造を利用して機械学習モデルの構造を複数の設定（視覚質問応答（ニューラルモジュールネットワーク）、強化学習（ポリシースケッチ）、表現分析）で情報提供するための統一フレームワークを開発した。彼はNSF大学院研究フェローシップ（2013～2016年）およびFacebook大学院フェローシップ（2016～2018年）の支援を受けた。2018年に博士号を取得した。

彼の指導教官の系譜はノーム・チョムスキーに直接さかのぼる。ジェイコブ・アンドレアス → ダン・クライン → クリストファー・マニング → ジョーン・ブレスナン → ノーム・チョムスキー。

経歴

バークレー後（2018～2019年）

博士号取得後、アンドレアスはMITに加わる前に、研究職および客員職を短期間務めた。この移行期間中、彼はニューラルモジュールネットワークのフレームワークとその拡張の開発を続けた。

MIT — 准教授（2019年～現在）

アンドレアスはMIT EECSの教員として、電気工学・コンピュータ科学科とCSAILに加わった。彼はITTコンピュータテクノロジー・キャリア開発教授職を保持している。これはMITの初期キャリア教員向けの冠教授職である。彼は言語と知能（LINGO）グループを率い、相互に関連する三つの研究プログラムを追求している。

言語からの対話的学習。 アンドレアスの研究の核となる主張は、自然言語による監督は標準的な機械学習で用いられるラベル付き例やスカラー報酬よりも質的に豊かであり、人間が互いに提供する種類の指示から学習できるシステムを構築するには、新しいアーキテクチャとトレーニング手法が必要である、というものである。これは、低レベルのデモンストレーションではなく、自然言語による記述から報酬関数、計画表現、モデルの振る舞いを学習する研究につながっている。

ニューラルモデルの科学的理解。 アンドレアスは、ニューラル言語モデルが何を学習するかを調査・解釈する手法を開発し、それらが獲得する表現が人間に解釈可能なカテゴリに対応するかどうかを問うている。深層視覚特徴の自然言語記述に関する2022年のICLR論文は、個々のニューロンが検出するものを自然言語で説明するツールを提供した。インコンテクスト学習に関する2023年のICLR研究は、勾配ベースのインコンテクスト学習が実際に実装するアルゴリズムの理論的分析を提案し、それを線形モデル上の暗黙的ベイズ推論として位置づけた。

構成性と人間らしい言語理解。 彼の研究全体に共通する関心は、人間とモデルがどのように構成構造を扱うか、すなわち複雑な表現の意味がその部分の意味から構築されるという性質にある。彼の研究は、構成性を語彙的対称性として分析し、トランスフォーマーが内部的に構成構造をどの程度よく表現するかを特徴づけるためのツリー射影を開発し、語用論的推論の計算モデルを構築した。2024年の演繹的閉包訓練に関する論文と、2025年のICLR論文（言語モデルを用いた人間の選好の引き出し）は、このアジェンダをアライメント領域に拡張している。

彼のグループは認知科学者や言語学者と定期的に協力しており、人間の言語研究と機械学習システムの間の双方向的な交流への彼のコミットメントを反映している。彼は高く評価される教育者であり、MITジュニア・ボース教育賞（MIT工学部、2023年）、コロコトロネス教育賞（MIT EECS、2021年）を受賞し、2026年4月にはMITエジャートン賞の共同受賞者に選ばれた。

主要な貢献

  • ニューラルモジュールネットワーク（NMN、NAACL 2016、最優秀論文賞、CVPR 2016） — 「質問応答のためのニューラルネットワークの構成学習」および「ニューラルモジュールネットワークによる深層構成型質問応答」（マーカス・ロールバッハ、トレバー・ダレル、ダン・クラインとの共著）。自然言語の質問をまず構造化された計算木に構文解析し、次にそれを用いて再利用可能なニューラルモジュール（物体の位置特定用、属性分類用、比較用など）のライブラリからネットワークを動的に組み立て、それらを共同で訓練するアーキテクチャのクラスを導入した。NMNは、言語の構成構造とニューラルネットワークアーキテクチャを明示的に結合した最初のシステムの一つであり、複数の視覚質問応答ベンチマークで最先端の成果を達成し、その後の構成性AIやニューロシンボリックAIの研究に影響を与えた。

  • マルチタスクRLのためのポリシースケッチ（ICML 2017、最優秀論文賞佳作） — 「ポリシースケッチを用いたモジュール型マルチタスク強化学習」。モジュール型構成性のアイデアを強化学習に拡張した。タスクのサブゴール構造を記述する高レベルの自然言語「スケッチ」がモジュール型サブポリシーの学習を支え、より速い学習とタスク間の転移を可能にする。言語注釈が標準的な報酬形成よりも著しく効率的であることを実証した。

  • 深層視覚特徴の自然言語記述（ICLR 2022） — MILAN（相互情報量誘導型ニューロンの言語注釈）を提案。ニューラルネットワーク内の個々のニューロンや特徴検出器が何に応答するかについての自然言語記述を生成するフレームワーク。大規模視覚モデルにおける内部表現の機能的役割を自動的に解釈するための初期のスケーラブルなツールを提供した。

  • インコンテクスト学習はどの学習アルゴリズムか？（ICLR 2023、注目論文） — インコンテクスト学習が実装するものの分析的研究。勾配降下法下の線形モデルにおいて、インコンテクスト学習は暗黙的ベイズ推論と等価であることを示した。古典的な学習理論の枠組み内にインコンテクスト学習を位置づけるのに役立った理論的貢献であり、大規模言語モデルの行動理解に関するその後の研究に影響を与えた。

  • 語彙的対称性としての構成性（ACL 2023、エリアチェア賞） — 構成性を言語内の語彙項目の対称性特性として形式的な数学的特徴付けを与え、構成性の直感的な概念を群論的構造に結び付け、ニューラルモデルでそれを測定するためのツールを提供した。

  • 言語モデルによる人間の選好の引き出し（ICLR 2025） — 潜在的な人間の選好を引き出すための能動的クエリシステムとして言語モデルを用いることを探求。アンドレアスの構成性と言語学習アジェンダとアライメント関連問題との接点の増大に貢献した。

受賞歴・表彰

  • MIT EECS エジャートン賞（2026年） — 助教授・准教授による教育、研究、サービスへの顕著な貢献に対するMITの賞。2026年4月に共同受賞者として発表。
  • Samsung AI Researcher of the Year（2021年） — トップ若手AI研究者として選出。
  • MIT工学部ジュニア・ボース教育賞（2023年） — MIT工学部の若手教員向け教育優秀賞。
  • MIT EECS コロコトロネス教育賞（2021年） — 学科レベルの教育優秀賞。
  • NSF CAREER賞 — リーダーシップの可能性が高い初期キャリア研究者への全米科学財団賞。
  • 全米科学アカデミー カブリフェロー — AIと言語研究への貢献により全米科学アカデミーからカブリフェローに指名。
  • NAACL 2016 最優秀論文賞 — ニューラルモジュールネットワークの論文「質問応答のためのニューラルネットワークの構成学習」に対して。
  • ICML 2017 最優秀論文賞佳作 — 「ポリシースケッチを用いたモジュール型マルチタスク強化学習」に対して。
  • NAACL 2024 最優秀論文賞 — 「視覚的接地は低データ環境での単語意味学習に役立つ」に対して。
  • ACL 2023 エリアチェア賞 — 「語彙的対称性としての構成性」に対して。
  • ICLR 2023 注目論文 — 「インコンテクスト学習はどの学習アルゴリズムか？」に対して。
  • Facebook大学院フェローシップ（2016～2018年） — AI研究における競争率の高い博士課程フェローシップ。
  • NSF大学院研究フェローシップ（2013～2016年） — 全国規模の博士課程フェローシップ。
  • ケンブリッジ大学コンピュータ研究所修士論文賞（2013年） — ケンブリッジ大学コンピュータラボにおけるトップ論文賞。
  • ウィンストン・チャーチル奨学金（2012～2013年） — STEM大学院留学のための競争率の高い米国から英国への大学院奨学金。
  • セオドア・R・バシュコウ賞（コロンビア大学、2012年） — 学部生としての優れたコンピュータ科学研究に対する賞。

主要な関係

  • ダン・クライン — バークレー校での博士課程指導教員。計算言語学者、バークレーNLPグループのリーダー。構文解析、文法誘導、構造化予測に関する研究が、アンドレアスの構成性アプローチを直接形成した。クライン-アンドレアスの知的系譜は、現代NLPにおいて最も明確なものの一つである。
  • クリストファー・マニング — 指導教員の系譜における祖父（クラインの博士課程指導教員）。スタンフォード大学の主要NLP研究者。現代NLPの経験主義をチョムスキーの形式主義に結び付ける学術的系譜の一部。
  • ノーム・チョムスキー — 曽祖父のような指導教員。アンドレアスの研究に浸透する構成性と言語構造への概念的関心は、ブレスナン、マニング、クラインを媒介として、チョムスキー生成文法の直接的な知的末裔である。
  • トレバー・ダレル — バークレー校EECS教授、ニューラルモジュールネットワーク論文の共著者。NMNを視覚質問応答タスクで具体化したコンピュータビジョンの視点を提供した。
  • マーカス・ロールバッハ — オリジナルのNMN論文の共著者。ニューラルモジュールネットワークフレームワークに視覚的接地とマルチモーダル専門知識をもたらした。
  • ケビン・ナイト — ケビン・ナイト番号1。NLPコミュニティにおける遊び心あふれるオマージュ。アンドレアスはナイトと直接共著しており、形式的・統計的NLPの伝統への彼の埋め込みを示している。

人物スタイル

アンドレアスの研究スタイルは、言語理論と機械学習の関係について異常に自覚的である。彼は日常的に機械学習の問題を形式言語学（構成性、統語論、語彙意味論、語用論）から引き出された概念で枠組みし、逆に機械学習手法を用いて言語学的仮説を検証する。彼の学術的な文章は正確で簡潔。プレゼンテーションやブログ記事は乾いた機知と形式的に指定された思考実験への寛容さを示している。彼はスケーリング結果が支配する時代における、遅くて注意深い理論的研究の価値について語り、モデルがなぜ機能するかを理解することが、それらをより良く機能させることと同じくらい重要であると主張している。公開されている彼の指導声明は、彼が最もよく指導できる学生のタイプについて率直である。すなわち、リーダーボードの順位を追い求めるのではなく、言語と心に関する基礎的な問いに惹かれる学生である。MITでの彼の教育評判（複数の賞に反映されている）は、研究と並んで学部生・大学院生教育への並々ならぬコミットメントを示唆している。

参考文献