Sasha Rush

Wiki
, , , ,
1

ML-Forscher, ehemaliger außerordentlicher Professor an der Cornell Tech (2016–2026), Mitbegründer von COLM und Autor des Annotated Transformer, GPU-Puzzles und OpenNMT — einer der produktivsten Produzenten von Open-Source-NLP-Tools und Lehrcode auf diesem Gebiet, der jetzt an der Nachbereitung von KI fürs Programmieren bei Cursor arbeitet.

Profil

Feld Detail
Vollständiger Name Alexander „Sasha“ Rush
Nationalität US-Amerikaner
Derzeitige Rolle ML-Forscher bei Cursor
Frühere Rollen Außerordentlicher Professor, Cornell Tech (2021–2026); Assistenzprofessor, Harvard SEAS (2016–2021); Forscher, Hugging Face (2019–2024)
Forschungsgebiete Nachbereitung (Post-Training), Sprachmodelle, Textgenerierung, effiziente Inferenz, kontrollierbare Generierung, strukturierte Vorhersage, pädagogische ML-Tools
Doktorvater Michael Collins (MIT)
Persönliche Website rush-nlp.com
YouTube @srush_nlp
X / Twitter @srush_nlp
GitHub @srush
Google Scholar scholar.google.com

Überblick

Sasha Rush (Alexander M. Rush) ist ein US-amerikanischer ML-Forscher, der gleichermaßen für seine technischen Forschungsbeiträge wie für den Aufbau der pädagogischen und quelloffenen Infrastruktur bekannt ist, durch die eine ganze Generation von Praktikern den Umgang mit Transformatoren und Sprachmodellen erlernt hat. Von 2016 bis 2026 war er Fakultätsmitglied in Harvard und an der Cornell Tech; in diesem Jahrzehnt erschuf er gemeinsam mit anderen den Annotated Transformer — wahrscheinlich die meistgelesene PyTorch-Implementierung des ursprünglichen Transformer-Artikels —, baute GPU-Puzzles und Tensor-Puzzles als interaktive GPU-Programmierkurrikula, leitete OpenNMT als eines der ersten produktionsreifen quelloffenen neuronalen MT-Systeme, und war Teilzeitforscher bei Hugging Face, wo er zu frühen Open-Source-LLM-Arbeiten beitrug. 2024 gründete er die COLM (Conference on Language Modeling) mit und ist deren Präsident. 2026 verließ er die Wissenschaft, um als Forscher zu Cursor zu wechseln, mit dem Schwerpunkt auf Nachbereitung (Post-Training) von KI-Systemen fürs Programmieren. Zu seinem akademischen Werdegang gehören Promotion am MIT bei Michael Collins und ein Postdoc bei Facebook AI Research unter Yann LeCun.

Bildung

Ph.D., Informatik — MIT, 2014
Rush schloss seine Promotion am MIT bei Michael Collins ab, einem der führenden Forscher auf dem Gebiet der statistischen NLP und der strukturierten Vorhersage. Seine Dissertationsarbeit konzentrierte sich auf probabilistische Modelle und strukturierte Vorhersage für NLP-Aufgaben wie Parsing und maschinelle Übersetzung. Seine Forschung am MIT erhielt einen NAACL 2012 Best Paper Award (mit Slav Petrov, für Arbeiten zum Vine Pruning für effizientes Dependenz-Parsing) sowie mehrere ehrenvolle Erwähnungen bei großen NLP-Tagungen.

Postdoktorand — Facebook AI Research (FAIR), New York, 2014–2016
Rush wechselte als Postdoktorand unter Yann LeCun zu Facebook AI Research. Diese Zeit fiel mit der frühen Welle von Deep-Learning-Anwendungen in der NLP zusammen und brachte einige seiner meistzitierten frühen Arbeiten hervor, darunter den Artikel zur neuronalen Aufmerksamkeit für Zusammenfassungen von 2015, der dazu beitrug, Sequenz-zu-Sequenz-Lernen als Werkzeug für Textgenerierung jenseits der Übersetzung zu etablieren.

Karriere

Harvard School of Engineering and Applied Sciences (2016–2021)

Rush kam 2016 als Assistenzprofessor an die Harvard SEAS und gründete die HarvardNLP-Gruppe (harvardnlp.github.io). Seine Forschung in Harvard umfasste neuronale Textgenerierung, strukturierte Aufmerksamkeit, Visualisierung neuronaler Netze und die frühe Transformer-Ära. Zu den wichtigsten Ergebnissen dieser Zeit gehören das quelloffene OpenNMT-Übersetzungs-Toolkit (2017), die Bildungsressource Annotated Transformer (2018) und LSTMVis (2017), ein Visualisierungswerkzeug zur Analyse verborgener Zustände in rekurrenten Netzen, das einen Best Paper Award auf der IEEE InfoVis-Konferenz gewann.

Während seiner Zeit in Harvard entwickelte Rush eine unverwechselbare Herangehensweise an die Forschungskommunikation — das Verfassen von stark kommentierten, ausführbaren Implementierungen neben technischen Artikeln —, die zu einem Markenzeichen seiner öffentlichen Arbeit wurde.

Cornell Tech (2021–2026)

Rush wechselte als außerordentlicher Professor an die Cornell Tech in New York City, wo er dem Cornell Ann S. Bowers College of Computing and Information Science und der Cornell NLP Group angehörte. Er erhielt den Cornell Tech Student Choice Award für herausragende Lehre. Sein Forschungsschwerpunkt verlagerte sich zunehmend auf effiziente und generative Sprachmodellierung, darunter Arbeiten zum Pre-Training ohne Aufmerksamkeit (BiGS, EMNLP 2023), Diffusionssprachmodelle (NeurIPS 2024) und kontextuelle Dokument-Embeddings (ICLR 2025). Er veröffentlichte weiterhin GPU-orientierte Lehrtools, darunter GPU-Puzzles und Tensor-Puzzles.

Hugging Face — Forscher (2019–2024)

Neben seiner Fakultätstätigkeit arbeitete Rush von etwa 2019 bis 2024 als Teilzeitforscher bei Hugging Face. Er trug zu mehreren frühen Hugging-Face-Projekten bei: Er war Autor des ursprünglichen Transformers-Systemartikels (Wolf et al., EMNLP Demos 2020), beteiligte sich am BigScience-Projekt und am T0-Multitask-Prompted-Modell (ICLR 2022) über PromptSource, und war Co-Autor von Zephyr (COLM 2024) — einem leichten, instruktionsabgestimmten Modell, das durch direkte Destillation der LM-Abstimmung erzeugt wurde und als offenes Referenzmodell weite Verbreitung fand. Diese Doppelrolle machte ihn zu einer der effektivsten Brücken zwischen akademischer NLP-Forschung und dem quelloffenen Hugging-Face-Ökosystem.

COLM — Mitbegründer und Präsident (2024–heute)

2024 gründete Rush die Conference on Language Modeling (COLM) mit und brachte sie auf den Weg — eine Konferenz, die sich speziell der Sprachmodellforschung widmet; die erste große Konferenz, die sich ausschließlich auf dieses Gebiet konzentrierte, das die NLP zu dominieren begonnen hatte. Er ist Präsident der Konferenz. COLM schloss eine Lücke in der Konferenzlandschaft, in der LM-spezifische Arbeiten auf Veranstaltungen mit breiterem Fokus (NeurIPS, ICML, ICLR, ACL) verteilt waren und keinen eigenen Platz hatten. Die erste COLM-Konferenz veröffentlichte Zephyr als einen ihrer ersten Beiträge.

Rush war während seiner akademischen Zeit auch als Sekretär und General Chair der ICLR tätig und entwickelte die Software-Infrastruktur, die den Konferenzbetrieb während der COVID-19-Pandemie (2020–2021) virtuell ermöglichte.

Cursor — Forscher (2026–heute)

2026 verließ Rush die Wissenschaft, um zu Cursor zu wechseln, einem KI-nativen Code-Editor und Entwicklungs-Tool. Auf seiner persönlichen Website beschreibt er seinen derzeitigen Schwerpunkt als „Nachbereitung von KI-Systemen fürs Programmieren und verwandte Aufgaben“ und die Verbesserung der Modellschlussfolgerung. Er war Co-Autor von „Composer 2“ (arXiv 2026) zusammen mit dem Cursor-Team — einem Artikel über Codegenerierung mit großem Kontext. Er vermerkte auf seiner Seite: „Von 2016 bis 2026 war ich Professor in Harvard und dann an der Cornell Tech.“

Wichtigste Beiträge

  • Der Annotated Transformer (ACL NLP-OSS-Workshop, 2018) — Eine stark kommentierte, ausführbare PyTorch-Implementierung von „Attention Is All You Need“, die jede Komponente der Transformer-Architektur mit Inline-Code und Visualisierungen durchgeht. Wahrscheinlich die meistgelesene Implementierung und das meistgelesene Tutorial des Transformers, die je geschrieben wurden, und der Einstiegspunkt, durch den ein sehr großer Teil der ML-Community die Architektur erstmals im Code verstand. Aktualisiert und auf GitHub gepflegt.

  • GPU-Puzzles (GitHub, 2021) — Eine Sammlung von 14 interaktiven CUDA-Rätseln, die mit Numba implementiert sind und GPU-Programmierung von Grund auf lehren. Eines der am häufigsten mit einem Stern versehenen pädagogischen ML-Repositorien auf GitHub; weltweit in Kursen zur Vermittlung paralleler Programmierung für Deep Learning verwendet. Ein Begleitprojekt zu Tensor-Puzzles, das dasselbe für Tensoroperationen in Python tut.

  • OpenNMT (ACL Demo, 2017) — Gemeinsam mit Guillaume Klein, Yoon Kim und Jean Senellart entwickelt; eines der ersten produktionsreifen quelloffenen neuronalen maschinellen Übersetzungssysteme, veröffentlicht in PyTorch und sowohl für die Forschung als auch für den praktischen Einsatz verwendet. Es wurde zur Referenzimplementierung für Seq2Seq-Modelle und beeinflusste das Design nachfolgender NLP-Frameworks.

  • A Neural Attention Model for Abstractive Sentence Summarization (EMNLP 2015) — Mit Sumit Chopra und Jason Weston; eines der ersten Arbeiten, die neuronale Aufmerksamkeit auf abstrahierende Zusammenfassungen anwendeten und zeigten, dass der Encoder-Decoder-Aufmerksamkeitsmechanismus neuartigen Zusammenfassungstext erzeugen kann, anstatt nur Textabschnitte zu extrahieren. Trug dazu bei, die neuronale abstrahierende Zusammenfassung als Forschungsrichtung zu etablieren.

  • Sequence-Level Knowledge Distillation (EMNLP 2016) — Mit Yoon Kim; führte die Idee ein, ein Sequenz-zu-Sequenz-Lehrermodell auf Sequenzebene und nicht auf Token-Ebene in ein kleineres Schülermodell zu destillieren — eine Technik, die für die Modellkompression in der NLP weit verbreitet wurde.

  • Zephyr: Direct Distillation of LM Alignment (COLM 2024) — Gemeinsam mit dem Hugging-Face-Forschungsteam verfasst; zeigte, dass die Destillation aus dem Feedback eines stärkeren Modells ein leichtes quelloffenes Modell (7B Parameter) so auf Anweisungsbefolgung ausrichten kann, dass es mit viel größeren Modellen konkurrieren kann, und zwar mit einer einfacheren Trainingspipeline als vollständiges RLHF. Wurde zu einem weit verbreiteten offenen Referenzmodell für die Forschung zur Instruktionsbefolgung.

  • T0 / PromptSource — Multitask Prompted Training (ICLR 2022) — Gemeinsam mit Victor Sanh und anderen von BigScience verfasst; zeigte, dass das Pre-Training auf einer vielfältigen Sammlung von von Menschen verfassten Prompts die Zero-Shot-Generalization auf ungesehene Aufgaben ohne In-Context-Beispiele ermöglicht.

  • LSTMVis (IEEE InfoVis 2017) — Mit Hendrik Strobelt, Sebastian Gehrmann und Hanspeter Pfister; ein Visualisierungswerkzeug zur Analyse der Dynamik verborgener Zustände in rekurrenten Netzen, ausgezeichnet mit dem Best Paper Award auf der InfoVis.

  • Der Annotated S4 — Rushs interaktive, ausführbare Implementierung des Structured State Space Sequence (S4)-Modells, die seine Tradition fortsetzt, stark kommentierte Implementierungen wichtiger Architekturarbeiten zu erstellen, die als pädagogische Ressourcen für die Community dienen.

  • YouTube-Kanal (@srush_nlp) — Eine Reihe von technischen Vorlesungen und Kursen zu den Interna von Sprachmodellen, GPU-Programmierung und Deep-Learning-Systemen; eine der meistgesehenen praktischen technischen Videoressourcen in der ML-Community.

  • NAACL 2012 Best Paper — „Vine Pruning for Efficient Multi-Pass Dependency Parsing“ (mit Slav Petrov); eine der ersten mehrfachen Auszeichnungen für den besten Beitrag auf NLP-Tagungen.

Auszeichnungen & Anerkennungen

  • Sloan Research Fellowship (um 2018)
  • NSF CAREER Award
  • Presidential Early Career Award for Scientists and Engineers (PECASE)
  • Cornell Tech Student Choice Award for Excellence in Teaching
  • Best Paper Awards bei NAACL (2012), InfoVis (2017) und hardwareorientierten Tagungen.
  • ICLR Secretary and General Chair — Institutionelle Leitung einer der führenden Konferenzen auf dem Gebiet; Entwicklung virtueller Konferenzinfrastruktur.
  • COLM-Mitbegründer und -Präsident (2024–heute)

Wichtige Beziehungen

  • Michael Collins — Doktorvater am MIT; einer der einflussreichsten NLP-Forscher der 2000er-2010er Jahre in den Bereichen strukturierte Vorhersage und Parsing; Rushs Arbeit an optimaler Dekodierung und effizientem Parsing spiegelt Collins’ strenge probabilistische NLP-Tradition wider.
  • Yann LeCun — Postdoc-Betreuer bei FAIR; die Deep-Learning-Ausrichtung von Rushs späterer Arbeit zur neuronalen Textgenerierung wurde durch das FAIR-Umfeld geprägt.
  • Yoon Kim — Langjähriger Mitarbeiter aus Harvard; Co-Autor von Character-Aware Neural Language Models, Sequence-Level Knowledge Distillation und Compound PCFG mit Rush; eine der produktivsten bilateralen Forschungsbeziehungen im NLP-Bereich.
  • Thomas Wolf — Hugging-Face-Mitarbeiter; Co-Autor des Transformers-Systemartikels und von Zephyr; ihre gemeinsame Zeit bei Hugging Face überschnitt sich mit den entscheidenden Jahren der Open-Source-LLM-Entwicklung.
  • Albert Gu — Mitarbeiter an Pre-Training ohne Aufmerksamkeit (BiGS) und verwandter Arbeit zu State-Space-Modellen; Gus S4-Architektur war das Thema von Rushs Annotated S4-Tutorial.
  • Stuart Shieber — Harvard-Kollege und Mitarbeiter an der vorlagenbasierten Textgenerierung; auch ein Bezugspunkt für Rushs Interesse an „Literate Programming“ und klar dokumentierter Forschung.

Persönlicher Stil

Rushs öffentliches Image baut fast vollständig auf einer einzigen Überzeugung auf: dass es nicht nur Pädagogik, sondern eine eigene Form des Forschungsbeitrags ist, komplexe technische Ideen maximal klar und ausführbar zu machen. Der Annotated Transformer, GPU-Puzzles, Tensor-Puzzles, der Annotated S4 und der YouTube-Kanal verkörpern alle eine Philosophie des „Literate Programming“ — Code und Erklärung so ineinander verschränkt, dass das Verständnis des Algorithmus bedeutet, ihn ausführen zu können, nicht nur über ihn zu lesen. Er hat Ken Shan und andere Verfechter des „Literate Programming“ als Einflüsse genannt und sein Interesse an dieser Kommunikationsform als vor seiner NLP-Karriere liegend beschrieben. Sein Digg-Profil-Vibe (31,6 % „Informieren“, 21,7 % „Lehren“, 12,6 % „Ankündigen“) und die Beschreibung „twittert und bloggt, meist über Programmieren und ML“ zeigen einen Kommunikator, der vor allem daran interessiert ist, gemeinsames Verständnis aufzubauen, anstatt Positionen zu beziehen. Sein Wechsel von der Wissenschaft zu Cursor im Jahr 2026 ist stimmig mit einer Karriereorientierung, die nie ganz rein akademisch war — die Arbeit an der Open-Source-Infrastruktur, die Hugging-Face-Stelle und die COLM-Gründung deuten alle auf jemanden hin, der es schätzt, funktionale, weit verbreitete Dinge zu bauen, mehr als die Anhäufung wissenschaftlicher Veröffentlichungen.

Referenzen