No translation needed. 'Sasha Rush' stays in English as a proper noun.

ref · 5월 25, 2026, 7:33오전

ML 연구자, 전 Cornell Tech 부교수(2016–2026), COLM 공동 창립자, Annotated Transformer, GPU-Puzzles, OpenNMT의 저자이자 현장에서 가장 많은 오픈소스 NLP 도구와 교육용 코드를 생산한 인물 중 한 명으로, 현재 Cursor에서 코딩 AI의 포스트 트레이닝을 연구하고 있습니다.

프로필

분야	세부 내용
성명	Alexander “Sasha” Rush
국적	미국
현재 역할	ML 연구자, Cursor
이전 역할	Cornell Tech 부교수(2021–2026); Harvard SEAS 조교수(2016–2021); Hugging Face 연구원(2019–2024)
연구 분야	포스트 트레이닝, 언어 모델, 텍스트 생성, 효율적 추론, 제어 가능한 생성, 구조적 예측, 교육용 ML 도구
박사 지도교수	Michael Collins (MIT)
개인 웹사이트	rush-nlp.com
YouTube	@srush_nlp
X / Twitter	@srush_nlp
GitHub	@srush
Google Scholar	scholar.google.com

개요

Sasha Rush (Alexander M. Rush)는 연구 기여와 한 세대의 실무자들이 트랜스포머와 언어 모델을 다루는 방법을 배운 교육 및 오픈소스 인프라 구축으로 equally 알려진 미국의 ML 연구자입니다. 2016년부터 2026년까지 Harvard와 Cornell Tech의 교수진으로 재직했습니다. 그 10년 동안 그는 아마도 가장 많이 읽힌 원본 트랜스포머 논문의 PyTorch 구현인 Annotated Transformer를 공동 창작했고, 대화형 GPU 프로그래밍 커리큘럼인 GPU-Puzzles와 Tensor-Puzzles를 구축했으며, 최초의 프로덕션 품질 오픈소스 신경 기계 번역 시스템 중 하나인 OpenNMT를 공동 이끌었고, 초기 오픈소스 LLM 작업에 기여한 Hugging Face에서 파트타임 연구원으로 활동했습니다. 그는 2024년 COLM(Conference on Language Modeling)을 공동 창립하여 회장을 맡고 있습니다. 그는 2026년 학계를 떠나 Cursor에 연구원으로 합류하여 코딩을 위한 AI 시스템의 포스트 트레이닝에 집중하고 있습니다. 그의 학문적 계보는 MIT에서 Michael Collins 밑에서 박사 학위를 받았고, Facebook AI Research에서 Yann LeCun 밑에서 포스트닥을 지낸 것을 포함합니다.

교육

Ph.D., 컴퓨터 과학 — MIT, 2014
Rush는 통계 NLP 및 구조적 예측 분야의 주요 연구자 중 한 명인 Michael Collins의 지도 아래 MIT에서 박사 학위를 마쳤습니다. 그의 논문 연구는 구문 분석 및 기계 번역을 포함한 NLP 작업을 위한 확률 모델 및 구조적 예측에 초점을 맞췄습니다. MIT에서의 그의 연구는 (효율적인 의존성 구문 분석을 위한 가지치기 작업으로 Slav Petrov와 함께) NAACL 2012 최우수 논문상을 수상했으며 주요 NLP 학회에서 여러 차례 우수상을 받았습니다.

포스트닥 연구원 — Facebook AI Research (FAIR), 뉴욕, 2014–2016
Rush는 Yann LeCun의 지도 아래 Facebook AI Research에 포스트닥 연구원으로 합류했습니다. 이 시기는 NLP에 딥러닝이 적용되기 시작한 초기 물결과 일치했으며, 번역을 넘어 텍스트 생성 도구로 시퀀스-투-시퀀스 학습을 확립하는 데 도움을 준 2015년 신경 어텐션 요약 논문을 포함하여 그의 가장 많이 인용된 초기 연구 중 일부를 생산했습니다.

경력

Harvard School of Engineering and Applied Sciences (2016–2021)

Rush는 2016년 Harvard SEAS에 조교수로 합류하여 HarvardNLP 그룹(harvardnlp.github.io)을 설립했습니다. Harvard에서의 그의 연구는 신경 텍스트 생성, 구조적 어텐션, 신경망 시각화 및 초기 트랜스포머 시대로 확장되었습니다. 이 기간의 주요 결과물로는 OpenNMT 오픈소스 번역 툴킷(2017), Annotated Transformer 교육 리소스(2018), 그리고 순환 네트워크의 은닉 상태 분석을 위한 시각화 도구인 LSTMVis(2017)가 있으며, 이는 IEEE InfoVis 컨퍼런스에서 최우수 논문상을 수상했습니다.

Harvard 시절 동안 Rush는 연구 커뮤니케이션에 대한 독특한 접근 방식——기술 논문과 함께 많은 주석이 달린 실행 가능한 구현을 작성하는 것——을 개발했으며, 이는 그의 공개 결과물의 시그니처가 되었습니다.

Cornell Tech (2021–2026)

Rush는 뉴욕시의 Cornell Tech으로 부교수로 이동하여 Cornell Ann S. Bowers 컴퓨팅 및 정보 과학 대학과 Cornell NLP 그룹에 소속되었습니다. 그는 우수 교육에 대한 Cornell Tech Student Choice Award를 수상했습니다. 그의 연구 초점은 점점 효율적이고 생성적인 언어 모델링으로 옮겨갔으며, 여기에는 어텐션 없는 사전 훈련(BiGS, EMNLP 2023), 확산 언어 모델(NeurIPS 2024), 컨텍스트 문서 임베딩(ICLR 2025)에 대한 연구가 포함됩니다. 그는 GPU-Puzzles 및 Tensor-Puzzles를 포함한 GPU 관련 교육 도구를 계속 출판했습니다.

Hugging Face — 연구원 (2019–2024)

Rush는 교수 역할과 함께 약 2019년부터 2024년까지 Hugging Face에서 파트타임 연구원으로 일했습니다. 그는 여러 초기 Hugging Face 프로젝트에 기여했습니다. 그는 원래 Transformers 시스템 논문(Wolf et al., EMNLP Demos 2020)의 저자였고, BigScience 프로젝트와 PromptSource를 통한 T0 멀티태스크 프롬프트 모델(ICLR 2022)에 기여했으며, Zephyr(COLM 2024)——LM 정렬의 직접 증류를 통해 생성되어 오픈 레퍼런스 모델로 널리 사용된 경량 명령어 미세 조정 모델——를 공동 저술했습니다. 이 이중 임명은 그를 학계 NLP 연구와 오픈소스 Hugging Face 생태계 사이에서 가장 효과적인 다리 중 하나로 만들었습니다.

COLM — 공동 창립자 및 회장 (2024–현재)

2024년, Rush는 언어 모델 연구에 전념하는 첫 번째 주요 학회인 Conference on Language Modeling (COLM)을 공동 창립하고 출범시켰습니다. 그는 학회 회장을 맡고 있습니다. COLM은 LM 특정 작업이 더 넓은 범위의 학회(NeurIPS, ICML, ICLR, ACL)에 분산되어 전용 공간이 부족했던 학회 환경의 격차를 메웠습니다. 첫 번째 COLM은 첫 논문 중 하나로 Zephyr를 발표했습니다.

Rush는 또한 학계 기간 동안 ICLR의 사무총장 및 총회장을 역임하여 COVID-19 기간(2020–2021) 동안 가상 학회 운영을 실행한 소프트웨어 인프라를 개발했습니다.

Cursor — 연구원 (2026–현재)

2026년, Rush는 학계를 떠나 AI 네이티브 코드 편집기이자 개발 도구인 Cursor에 합류했습니다. 그의 개인 웹사이트는 현재 초점을 "코딩 및 관련 작업을 위한 AI 시스템의 포스트 트레이닝"과 장기 코딩 문제에 대한 모델 추론 개선으로 설명합니다. 그는 Cursor 팀과 함께 „Composer 2“ (arXiv 2026)——대규모 컨텍스트 코드 생성에 관한 논문——를 공동 저술했습니다. 그는 자신의 사이트에 다음과 같이 적었습니다. „2016–2026년 동안 저는 Harvard와 그 다음 Cornell에서 교수였습니다.“

주요 기여

Annotated Transformer (ACL NLP-OSS 워크숍, 2018) — „Attention Is All You Need“의 많은 주석이 달린 실행 가능한 PyTorch 구현으로, 인라인 코드와 시각화를 통해 트랜스포머 아키텍처의 모든 구성 요소를 설명합니다. 아마도 지금까지 작성된 가장 많이 읽힌 트랜스포머 구현 및 튜토리얼이며, ML 커뮤니티의 매우 많은 부분이 코드로 아키텍처를 처음 이해하게 된 진입점입니다. GitHub에서 업데이트 및 유지 관리됩니다.
GPU-Puzzles (GitHub, 2021) — Numba를 사용하여 구현된 14개의 대화형 CUDA 퍼즐 모음으로, 기본 원리부터 GPU 프로그래밍을 가르치도록 설계되었습니다. GitHub에서 가장 많은 별표를 받은 교육용 ML 저장소 중 하나입니다. 전 세계 과정에서 딥러닝을 위한 병렬 프로그래밍을 가르치는 데 사용됩니다. Python에서 텐서 연산에 대해 동일한 작업을 수행하는 Tensor-Puzzles의 동반자입니다.
OpenNMT (ACL Demo, 2017) — Guillaume Klein, Yoon Kim, Jean Senellart와 공동 개발; 최초의 프로덕션 품질 오픈소스 신경 기계 번역 시스템 중 하나로, PyTorch로 출시되어 연구와 배포 모두에 사용되었습니다. seq2seq 모델의 레퍼런스 구현이 되었고, 이후 NLP 프레임워크의 설계에 영향을 미쳤습니다.
A Neural Attention Model for Abstractive Sentence Summarization (EMNLP 2015) — Sumit Chopra, Jason Weston과 함께; 추상적 요약에 신경 어텐션을 적용한 첫 논문 중 하나로, 인코더-디코더 어텐션 메커니즘이 단순히 스팬을 추출하는 것이 아니라 새로운 요약 텍스트를 생성할 수 있음을 보여주었습니다. 신경 추상적 요약을 연구 방향으로 확립하는 데 도움을 주었습니다.
Sequence-Level Knowledge Distillation (EMNLP 2016) — Yoon Kim과 함께; 시퀀스-투-시퀀스 교사 모델을 토큰 수준이 아닌 시퀀스 수준에서 더 작은 학생 모델로 증류하는 아이디어를 도입했으며, 이 기술은 NLP에서 모델 압축을 위해 널리 사용되었습니다.
Zephyr: Direct Distillation of LM Alignment (COLM 2024) — Hugging Face 연구팀과 공동 저술; 더 강력한 모델의 피드백에서 증류가 경량 오픈 모델(7B 파라미터)을 완전한 RLHF보다 더 간단한 훈련 파이프라인을 사용하여 훨씬 더 큰 모델과 경쟁력 있는 수준으로 명령어 수행에 정렬할 수 있음을 보여주었습니다. 명령어 수행 연구를 위해 널리 채택된 오픈 레퍼런스 모델이 되었습니다.
T0 / PromptSource — Multitask Prompted Training (ICLR 2022) — Victor Sanh 및 BigScience의 다른 사람들과 공동 저술; 다양한 인간이 작성한 프롬프트 모음에 대한 사전 훈련이 컨텍스트 내 예제 없이도 보지 못한 작업에 대한 제로샷 일반화를 가능하게 함을 보여주었습니다.
LSTMVis (IEEE InfoVis 2017) — Hendrik Strobelt, Sebastian Gehrmann, Hanspeter Pfister와 함께; 순환 네트워크의 은닉 상태 역학 분석을 위한 시각화 도구로, InfoVis에서 최우수 논문상을 수상했습니다.
Annotated S4 — Rush의 대화형 실행 가능한 S4(Structured State Space Sequence) 모델 구현으로, 커뮤니티 교육 리소스 역할을 하는 주요 아키텍처 논문에 대한 많은 주석이 달린 구현을 생산하는 그의 전통을 이어갑니다.
YouTube 채널 (@srush_nlp) — 언어 모델 내부, GPU 프로그래밍, 딥러닝 시스템을 다루는 일련의 기술 강의 및 과정으로, ML 커뮤니티에서 가장 많이 시청된 실무자 대상 기술 비디오 리소스 중 하나입니다.
NAACL 2012 최우수 논문상 — „Vine Pruning for Efficient Multi-Pass Dependency Parsing“ (Slav Petrov와 공동); NLP 학회에서 여러 최우수 논문상 중 첫 번째입니다.

수상 내역

Sloan Research Fellowship (c. 2018)
NSF CAREER Award
Presidential Early Career Award for Scientists and Engineers (PECASE)
Cornell Tech Student Choice Award for Excellence in Teaching
Best Paper Awards at NAACL (2012), InfoVis (2017), 및 하드웨어 중심 학회
ICLR Secretary and General Chair — 현장의 주요 학회 중 하나의 기관 리더십; 가상 학회 인프라 개발.
COLM 공동 창립자 및 회장 (2024–현재)

주요 관계

Michael Collins — MIT 박사 지도교수; 구조적 예측 및 구문 분석 분야에서 2000년대-2010년대 가장 영향력 있는 NLP 연구자 중 한 명; Rush의 최적 디코딩 및 효율적인 구문 분석에 대한 연구는 Collins의 엄격한 확률적 NLP 전통을 반영합니다.
Yann LeCun — FAIR 포스트닥 지도교수; Rush의 이후 신경 텍스트 생성 연구의 딥러닝 지향성은 FAIR 환경에 의해 형성되었습니다.
Yoon Kim — Harvard에서의 장기 협력자; Rush와 함께 Character-Aware Neural Language Models, Sequence-Level Knowledge Distillation, Compound PCFG를 공동 저술; NLP에서 가장 생산적인 양자 연구 관계 중 하나입니다.
Thomas Wolf — Hugging Face 협력자; Transformers 시스템 논문 및 Zephyr 공동 저술; 그들이 Hugging Face에서 함께 보낸 시간은 공개 LLM 개발의 핵심 시기와 겹쳤습니다.
Albert Gu — 어텐션 없는 사전 훈련(BiGS) 및 관련 상태 공간 모델 작업에 대한 협력자; Gu의 S4 아키텍처는 Rush의 Annotated S4 튜토리얼의 주제였습니다.
Stuart Shieber — Harvard 동료이자 템플릿 기반 텍스트 생성 협력자; 또한 문학적 프로그래밍과 명확하게 문서화된 연구에 대한 Rush의 관심에 대한 기준점.

개인 스타일

Rush의 공개적인 페르소나는 거의 전적으로 하나의 신념을 기반으로 구축되었습니다: 복잡한 기술 아이디어를 최대한 명확하고 실행 가능하게 만드는 것은 단순한 교육학이 아니라 그 자체로 연구 기여의 한 형태라는 것입니다. Annotated Transformer, GPU-Puzzles, Tensor-Puzzles, Annotated S4 및 YouTube 채널은 모두 „문학적 프로그래밍“이라는 철학을 구현합니다——코드와 설명이 상호 배치되어 알고리즘을 이해한다는 것은 그것에 대해 읽는 것이 아니라 실행할 수 있다는 것을 의미합니다. 그는 Ken Shan 및 다른 문학적 프로그래밍 옹호자들을 영향으로 언급했으며, 이러한 커뮤니케이션 방식에 대한 그의 관심이 NLP 경력보다 앞선다고 설명했습니다. 그의 Digg 프로필 분위기(31.6% „정보 제공“, 21.7% „교육“, 12.6% „발표“)와 „주로 코딩 및 ML에 관한 트윗과 블로그“라는 설명은 주로 입장을 고수하기보다는 공유된 이해를 구축하는 데 관심이 있는 커뮤니케이터를 포착합니다. 2026년 학계에서 Cursor로의 그의 이동은 결코 순수하게 학술적이지 않았던 경력 방향과 일치합니다——오픈소스 인프라 작업, Hugging Face 임명, COLM 설립은 모두 학술적 결과물을 축적하는 것보다 기능적이고 널리 사용되는 것을 구축하는 것을 중요시하는 사람을 가리킵니다.