Jacob Andreas

위키
, , , ,
1

미국 NLP 연구자이자 MIT 부교수로, 언어의 구성적 구조를 설계 원리이자 연구 대상으로 삼아 인간의 지도를 통해 학습하는 머신러닝 시스템을 구축하고 그러한 시스템이 작동하는 이유를 이해하는 연구를 수행합니다.

프로필
국적 미국
현 소속 기관 MIT CSAIL; MIT EECS (ITT 케리어 개발 교수; 부교수, AI+D)
연구 분야 자연어 처리, 구성성, 기반 언어 학습, 신경 모듈 네트워크, 문맥 내 학습, 언어 및 머신러닝
박사 지도교수 Dan Klein
박사 학위 논문 Learning from Language (UC 버클리, 2018)
웹사이트 web.mit.edu/jda/www
엑스 / 트위터 @jacobandreas
깃허브 jacobandreas
구글 학술검색 Jacob Andreas

개요

Jacob Andreas는 MIT 전기공학 및 컴퓨터과학과와 컴퓨터과학 및 인공지능 연구소(CSAIL)의 부교수로, ITT 컴퓨터 기술 케리어 개발 교수직을 맡고 있습니다. 그는 언어 및 지능(LINGO) 그룹을 이끌고 있습니다. 그의 연구는 자연어 처리와 머신러닝이 교차하는 지점에 위치하며, 한 가지 핵심 질문을 두 방향에서 추구합니다. 즉, 언어의 구성적 구조를 어떻게 사용하여 더 유능하고 해석 가능한 학습 시스템을 구축할 수 있는지, 그리고 언어 이해를 연구하는 것이 인간 인지의 기저에 있는 계산 원리에 대해 무엇을 알려주는지입니다. 그는 질문의 구문 구조에 따라 모듈식 신경 구성 요소를 동적으로 구성하는 아키텍처인 신경 모듈 네트워크(NMN)를 도입한 것으로 가장 잘 알려져 있으며, 이는 신경-기호 및 구성적 AI에 대한 기초적인 기여로 평가받습니다. 그는 컬럼비아대학교(학사), 케임브리지대학교(석사, 처칠 장학생), 버클리대학교(Dan Klein 밑에서 박사)에서 수학했습니다. Noam Chomsky는 그의 증조할아버지 겸 지도교수이며, 이는 Klein, Christopher Manning, Joan Bresnan을 거슬러 올라갑니다.

초기 생애 및 교육

컬럼비아대학교 — 컴퓨터과학 학사 (2012)

Andreas는 컬럼비아대학교에서 컴퓨터과학 학사 학위를 마쳤으며, 컴퓨터과학 연구에 대한 Theodore R. Bashkow 상과 교과 과정에 대한 Russell C. Mills 상을 수상했습니다. 이는 이후 그의 경력을 특징짓는 연구와 이론에 대한 이중 강조의 초기 징후였습니다. 이 기간 동안 그는 컬럼비아 NLP 그룹과 (현재는 해체된) 계산 학습 시스템 센터에서 활동했습니다.

케임브리지대학교 — 석사 (2013)

Winston Churchill 장학금을 받아 Andreas는 케임브리지 컴퓨터 연구소에서 석사 과정을 밟았으며, 자연어 및 정보 처리(NLIP) 그룹에서 일했습니다. 그의 석사 논문은 케임브리지 컴퓨터 연구소 논문상을 수상했는데, 이는 영국 학계 경력의 해당 단계에서 가장 경쟁이 치열한 연구 상 중 하나입니다.

UC 버클리 — 전기공학 및 컴퓨터과학 박사 (2013–2018)

Andreas는 Dan Klein의 지도 아래 버클리 NLP 그룹과 버클리 AI 연구소(BAIR)에서 박사 학위 연구를 마쳤습니다. 그의 논문인 《Learning from Language》는 여러 환경(시각적 질의 응답(신경 모듈 네트워크), 강화 학습(정책 스케치), 표현 분석)에서 머신러닝 모델의 구조를 알리기 위해 언어의 구성적 구조를 사용하는 통합 프레임워크를 개발했습니다. 그는 NSF 대학원 연구 장학금(2013–2016)과 페이스북 대학원 장학금(2016–2018)을 지원받았습니다. 2018년에 졸업했습니다.

그의 지도교수 계보는 Noam Chomsky까지 직접 이어집니다: Jacob Andreas → Dan Klein → Christopher Manning → Joan Bresnan → Noam Chomsky.

경력

버클리 이후 (2018–2019)

박사 학위 후 Andreas는 MIT에 합류하기 전에 잠시 연구 및 방문 직위를 역임했습니다. 이 전환 기간 동안 그는 신경 모듈 네트워크 프레임워크와 그 확장을 계속 개발했습니다.

MIT — 부교수 (2019–현재)

Andreas는 MIT 전기공학 및 컴퓨터과학과와 CSAIL의 교수진으로 합류했습니다. 그는 MIT 초기 경력 교수를 위한 명예 직위인 ITT 컴퓨터 기술 케리어 개발 교수직을 맡고 있습니다. 그는 언어 및 지능(LINGO) 그룹을 이끌고 세 가지 상호 연관된 연구 프로그램을 추구합니다.

언어로부터의 상호작용 학습. Andreas 연구의 핵심 주장은 자연어 감독이 표준 머신러닝에서 사용되는 레이블이 지정된 예제나 스칼라 보상보다 질적으로 더 풍부하며, 인간이 서로에게 제공하는 종류의 지시로부터 학습할 수 있는 시스템을 구축하려면 새로운 아키텍처와 훈련 방법이 필요하다는 것입니다. 이는 저수준 시연이 아닌 자연어 설명으로부터 보상 함수, 계획 표현 및 모델 행동을 학습하는 연구로 이어졌습니다.

신경 모델에 대한 과학적 이해. Andreas는 신경 언어 모델이 무엇을 학습하는지 조사하고 해석하는 방법을 개발하여, 획득한 표현이 인간이 해석 가능한 범주에 해당하는지 질문했습니다. 심층 시각 특징에 대한 자연어 설명에 관한 2022년 ICLR 논문은 개별 뉴런이 무엇을 감지하는지에 대한 자연어 설명을 생성하는 도구를 제공했습니다. 문맥 내 학습에 관한 2023년 ICLR 연구는 그래디언트 기반 문맥 내 학습이 실제로 구현하는 알고리즘이 무엇인지에 대한 이론적 분석을 제안했으며, 이를 선형 모델에 대한 암시적 베이지안 추론으로 구성했습니다.

구성성 및 인간 유사 언어 이해. 그의 연구 전반에 걸쳐 인간과 모델이 구성적 구조를 어떻게 처리하는지에 대한 관심이 있습니다. 즉, 복잡한 표현의 의미가 부분의 의미로부터 구성된다는 속성입니다. 그의 연구는 구성성을 어휘적 대칭성으로 분석하고, 트랜스포머가 내부적으로 구성적 구조를 얼마나 잘 표현하는지 특성화하기 위한 트리 투영을 개발했으며, 화용적 추론의 계산 모델을 구축했습니다. 연역적 폐쇄 훈련에 관한 2024년 논문과 언어 모델로 인간 선호도를 유도하는 2025년 ICLR 논문은 이 의제를 정렬 공간으로 확장합니다.

그의 그룹은 인지 과학자 및 언어학자와 정기적으로 협력하며, 이는 인간 언어 연구와 머신러닝 시스템 간의 양방향 교환에 대한 그의 헌신을 반영합니다. 그는 인정받는 교사입니다: MIT 공과대학 주니어 보스 교육상(2023)과 MIT 전기공학 및 컴퓨터과학과 콜로코트로네스 교육상(2021)을 수상했으며, 2026년 4월 MIT 에저턴상 공동 수상자로 선정되었습니다.

주요 기여

  • 신경 모듈 네트워크 (NMN, NAACL 2016 최우수 논문상; CVPR 2016) — 「질의 응답을 위한 신경 네트워크 구성 학습」 및 「신경 모듈 네트워크를 이용한 심층 구성적 질의 응답」, Marcus Rohrbach, Trevor Darrell, Dan Klein 공저. 자연어 질문을 먼저 구조화된 계산 트리로 구문 분석한 다음, 재사용 가능한 신경 모듈 라이브러리(객체 위치 파악용, 속성 분류용, 비교용 등)에서 네트워크를 동적으로 조립하고 이를 공동으로 훈련하는 아키텍처 클래스를 도입했습니다. NMN은 언어적 구성적 구조를 신경망 아키텍처와 명시적으로 결합한 최초의 시스템 중 하나로, 여러 시각적 질의 응답 벤치마크에서 최첨단 성능을 달성하고 이후 수년간의 구성적 및 신경-기호 AI 연구에 영향을 미쳤습니다.

  • 다중 작업 강화 학습을 위한 정책 스케치 (ICML 2017 최우수 논문상 가작) — 「정책 스케치를 이용한 모듈식 다중 작업 강화 학습」. 모듈식 구성성 아이디어를 강화 학습으로 확장했습니다. 작업의 하위 목표 구조를 설명하는 고수준 자연어 '스케치’가 모듈식 하위 정책의 학습을 지원하여 작업 간 더 빠른 학습과 전이를 가능하게 했습니다. 언어 주석이 표준 보상 형태보다 훨씬 더 효율적임을 입증했습니다.

  • 심층 시각 특징에 대한 자연어 설명 (ICLR 2022) — MILAN(상호 정보 유도 뉴런 언어 주석)을 제안했습니다. 이는 신경망의 개별 뉴런 또는 특징 감지기가 무엇에 반응하는지에 대한 자연어 설명을 생성하는 프레임워크입니다. 대규모 시각 모델에서 내부 표현의 기능적 역할을 자동으로 해석하기 위한 최초의 확장 가능한 도구 중 하나를 제공했습니다.

  • 문맥 내 학습은 어떤 학습 알고리즘인가? (ICLR 2023 주목할 만한 논문) — 문맥 내 학습이 무엇을 구현하는지에 대한 분석적 조사로, 경사 하강법 하의 선형 모델에서 문맥 내 학습이 암시적 베이지안 추론과 동등함을 보여주었습니다. 이 이론적 기여는 문맥 내 학습을 고전적 학습 이론의 틀 안에 위치시키는 데 도움이 되었고, 이후 대규모 언어 모델 행동 이해 연구에 영향을 미쳤습니다.

  • 어휘적 대칭성으로서의 구성성 (ACL 2023 분과 위원장상) — 구성성에 대한 형식적 수학적 특성화를 언어의 어휘 항목의 대칭 속성으로 제시하여, 구성성에 대한 직관적 개념을 군 이론 구조와 연결하고 신경 모델에서 이를 측정하는 도구를 제공했습니다.

  • 언어 모델로 인간 선호도 유도하기 (ICLR 2025) — 언어 모델을 잠재된 인간 선호도를 유도하기 위한 능동적 질의 시스템으로 사용하는 것을 탐구하여, Andreas의 구성성 및 언어 학습 의제와 정렬 관련 문제의 성장하는 교차점에 기여했습니다.

수상 및 인정

  • MIT 전기공학 및 컴퓨터과학과 에저턴상 (2026) — MIT에서 조교수 또는 부교수의 교육, 연구, 봉사에 대한 탁월한 기여를 인정하는 상; 2026년 4월 공동 인정 발표.
  • 삼성 AI 올해의 연구자상 (2021) — 최고의 젊은 AI 연구자로 선정.
  • MIT 공과대학 주니어 보스 교육상 (2023) — MIT 공과대학의 초기 경력 교수 대상 교육 우수상.
  • MIT 전기공학 및 컴퓨터과학과 콜로코트로네스 교육상 (2021) — 학과 교육 우수상.
  • NSF 케리어상 — 리더십 잠재력이 높은 초기 경력 연구자를 위한 미국 국립과학재단 상.
  • 미국 국립과학원 카블리 펠로우 — AI 및 언어 연구에 대한 기여로 NAS에서 카블리 펠로우로 임명.
  • NAACL 2016 최우수 논문상 — 신경 모듈 네트워크 논문인 「질의 응답을 위한 신경 네트워크 구성 학습」.
  • ICML 2017 최우수 논문상 가작 — 「정책 스케치를 이용한 모듈식 다중 작업 강화 학습」.
  • NAACL 2024 최우수 논문상 — 「저데이터 환경에서 시각적 기반이 단어 의미 학습에 도움이 됨」.
  • ACL 2023 분과 위원장상 — 「어휘적 대칭성으로서의 구성성」.
  • ICLR 2023 주목할 만한 논문 — 「문맥 내 학습은 어떤 학습 알고리즘인가?」.
  • 페이스북 대학원 장학금 (2016–2018) — AI 연구 분야의 경쟁력 있는 박사 과정 장학금.
  • NSF 대학원 연구 장학금 (2013–2016) — 국립 박사 과정 장학금.
  • 케임브리지 컴퓨터 연구소 석사 논문상 (2013) — 케임브리지 컴퓨터 연구소 최고 논문상.
  • 윈스턴 처칠 장학금 (2012–2013) — STEM 대학원 연구를 위한 미국-영국 대학원 장학금.
  • 시어도어 R. 배시코 상 (컬럼비아대학교, 2012) — 학부 컴퓨터과학 연구 우수상.

주요 관계

  • Dan Klein — 버클리에서의 박사 지도교수; 전산 언어학자이자 버클리 NLP 그룹 리더로, 구문 분석, 문법 유도, 구조적 예측에 대한 연구가 Andreas의 구성적 접근 방식을 직접적으로 형성했습니다. Klein-Andreas의 지적 계보는 현대 NLP에서 가장 명확한 것 중 하나입니다.
  • Christopher Manning — 증조 지도교수(Klein의 박사 지도교수)이자 스탠퍼드 NLP의 선도 연구자; 현대 NLP 경험주의를 촘스키 형식주의에 연결하는 학문적 계보의 일부.
  • Noam Chomsky — 고조 지도교수; Andreas의 연구에 스며든 구성성과 언어 구조에 대한 개념적 관심은 Bresnan, Manning, Klein을 매개로 한 촘스키 생성 문법의 직접적인 지적 계보에 있습니다.
  • Trevor Darrell — 버클리 전기공학 및 컴퓨터과학과 교수이자 신경 모듈 네트워크 논문의 공동 저자; NMN을 시각적 질의 응답 작업에 구체화한 컴퓨터 비전 관점을 제공했습니다.
  • Marcus Rohrbach — 원저 NMN 논문의 공동 저자; 신경 모듈 네트워크 프레임워크에 시각적 기반 및 다중 모달 전문성을 제공했습니다.
  • Kevin Knight — Kevin Knight 넘버 원; 'Kevin Knight number’는 NLP 커뮤니티에서 장난스러운 오마주입니다; Andreas는 Knight와 직접 공동 저술하여 형식적/통계적 NLP 전통에 그의 깊은 관련성을 나타냅니다.

개인 스타일

Andreas의 연구 스타일은 언어 이론과 머신러닝 사이의 관계에 대해 비범할 정도로 자의식적입니다. 그는 일상적으로 머신러닝 문제를 형식 언어학(구성성, 구문론, 어휘 의미론, 화용론)에서 가져온 개념의 관점에서 구성하고, 반대로 머신러닝 방법을 사용하여 언어학적 가설을 테스트합니다. 그의 학술적 글쓰기는 정확하고 간결합니다. 그의 프레젠테이션과 블로그 게시물은 건조한 재치와 형식적으로 명시된 사고 실험에 대한 관용을 보여줍니다. 그는 규모 확장 결과가 지배하는 시대에 느리고 신중한 이론적 작업의 가치에 대해 말하고 글을 써왔으며, 모델이 왜 작동하는지 이해하는 것이 모델을 더 잘 작동하게 만드는 것만큼 중요하다고 주장합니다. 공개적으로 게시된 그의 지도 교수 진술은 그가 가장 잘 협력하는 학생 유형에 대해 솔직합니다. 즉, 리더보드 위치를 주로 쫓는 학생이 아니라 언어와 마음에 대한 근본적인 질문에 끌리는 학생들입니다. MIT에서의 그의 교육 명성은 여러 상에 반영되어 있으며, 연구와 함께 학부 및 대학원 교육학에 대한 비범한 헌신을 시사합니다.

참고 자료