Sasha Rush

ويكي
, , , ,
1

باحث في التعلم الآلي، أستاذ مشارك سابق في كلية كورنيل للتكنولوجيا (2016–2026)، مؤسس مشارك لمؤتمر COLM، ومؤلف كتاب المحول المشروح وألغاز وحدة معالجة الرسوميات وOpenNMT — أحد أكثر منتجي أدوات البرمجة مفتوحة المصدر والتعليمية في مجال معالجة اللغة الطبيعية، يعمل حاليًا على التدريب اللاحق لنماذج الذكاء الاصطناعي الخاصة بالبرمجة في شركة Cursor.

الملف الشخصي

المجال التفاصيل
الاسم الكامل ألكسندر «ساشا» راش
الجنسية أمريكي
المنصب الحالي باحث في التعلم الآلي، شركة Cursor
المناصب السابقة أستاذ مشارك، كلية كورنيل للتكنولوجيا (2021–2026)؛ أستاذ مساعد، كلية هارفارد للهندسة والعلوم التطبيقية (2016–2021)؛ باحث، شركة Hugging Face (2019–2024)
مجالات البحث التدريب اللاحق، نماذج اللغة، توليد النص، الاستدلال الفعال، التوليد القابل للتحكم، التنبؤ المهيكل، أدوات تعليمية للتعلم الآلي
المشرف على الدكتوراه مايكل كولينز (معهد ماساتشوستس للتكنولوجيا)
الموقع الشخصي rush-nlp.com
يوتيوب @srush_nlp
إكس / تويتر @srush_nlp
جيت هاب @srush
جوجل سكولار scholar.google.com

نبذة عامة

ساشا راش (ألكسندر م. راش) هو باحث أمريكي في التعلم الآلي، معروف بالتزامن بمساهماته البحثية التقنية وبناء البنية التحتية التعليمية ومفتوحة المصدر التي تعلّم من خلالها جيل من الممارسين كيفية العمل مع المحولات ونماذج اللغة. من عام 2016 إلى 2026 كان عضو هيئة تدريس في هارفارد وكلية كورنيل للتكنولوجيا؛ خلال ذلك العقد، شارك في إنشاء كتاب «المحول المشروح» — ربما يكون الأكثر قراءة لتطبيق PyTorch لورقة المحول الأصلية — وبنى ألغاز وحدة معالجة الرسوميات (GPU-Puzzles) وألغاز المصفوفات (Tensor-Puzzles) كمناهج تفاعلية لتعليم برمجة وحدة معالجة الرسوميات، وقاد بشكل مشترك OpenNMT كأحد أول أنظمة الترجمة الآلية العصبية مفتوحة المصدر عالية الجودة، وكان باحثًا بدوام جزئي في Hugging Face حيث ساهم في العمل المبكر على نماذج اللغة الكبيرة مفتوحة المصدر. أسس مشاركًا مؤتمر COLM (مؤتمر نمذجة اللغة) في عام 2024 ويعمل كرئيس له. غادر الأوساط الأكاديمية في عام 2026 وانضم إلى Cursor كباحث، مركزًا على التدريب اللاحق لأنظمة الذكاء الاصطناعي للبرمجة. يشمل مساره الأكاديمي درجة الدكتوراه من معهد ماساتشوستس للتكنولوجيا تحت إشراف مايكل كولينز، وما بعد الدكتوراه في أبحاث الذكاء الاصطناعي في فيسبوك (FAIR) تحت إشراف يان ليكون.

التعليم

دكتوراه في علوم الكمبيوتر — معهد ماساتشوستس للتكنولوجيا، 2014
أكمل راش الدكتوراه في معهد ماساتشوستس للتكنولوجيا تحت إشراف مايكل كولينز، أحد الباحثين الرائدين في هذا المجال في معالجة اللغة الطبيعية الإحصائية والتنبؤ المهيكل. ركزت أطروحته على النماذج الاحتمالية والتنبؤ المهيكل لمهام معالجة اللغة الطبيعية بما في ذلك التحليل والترجمة الآلية. حصل بحثه في معهد ماساتشوستس للتكنولوجيا على جائزة أفضل ورقة في مؤتمر NAACL 2012 (مع سلاف بيتروف، عن عمل حول التقليم الكرمي للتحليل التبعي الفعال) والعديد من الإشارات الشرفية في المؤتمرات الرئيسية لمعالجة اللغة الطبيعية.

ما بعد الدكتوراه — أبحاث الذكاء الاصطناعي في فيسبوك (FAIR)، نيويورك، 2014–2016
انضم راش إلى أبحاث الذكاء الاصطناعي في فيسبوك تحت إشراف يان ليكون كزميل ما بعد الدكتوراه. تزامنت هذه الفترة مع الموجة المبكرة لتطبيقات التعلم العميق في معالجة اللغة الطبيعية، وأسفرت عن بعض من أكثر أعماله المبكرة استشهادًا بما في ذلك ورقة التلخيص التجريدي بالانتباه العصبي لعام 2015 التي ساعدت في ترسيخ التعلم التسلسلي كأداة لتوليد النص خارج نطاق الترجمة.

المسيرة المهنية

كلية هارفارد للهندسة والعلوم التطبيقية (2016–2021)

انضم راش إلى كلية هارفارد للهندسة والعلوم التطبيقية كأستاذ مساعد في عام 2016، مؤسسًا مجموعة هارفارد لمعالجة اللغة الطبيعية (harvardnlp.github.io). شمل بحثه في هارفارد التوليد العصبي للنص، والانتباه المهيكل، وتصور الشبكات العصبية، وعصر المحول المبكر. تشمل المخرجات الرئيسية من هذه الفترة مجموعة أدوات الترجمة مفتوحة المصدر OpenNMT (2017)، وكتاب «المحول المشروح» التعليمي (2018)، وأداة LSTMVis (2017)، وهي أداة تصور لتحليل الحالات الخفية في الشبكات المتكررة حصلت على جائزة أفضل ورقة في مؤتمر IEEE InfoVis.

خلال سنواته في هارفارد، طور راش نهجًا مميزًا للتواصل البحثي — كتابة تطبيقات قابلة للتنفيذ مع تعليقات كثيفة إلى جانب الأوراق التقنية — والذي أصبح سمة مميزة لنواتجه العامة.

كلية كورنيل للتكنولوجيا (2021–2026)

انتقل راش إلى كلية كورنيل للتكنولوجيا في مدينة نيويورك كأستاذ مشارك، حيث كان منتسبًا إلى كلية كورنيل آن باورز لعلوم الحاسوب والمعلومات ومجموعة كورنيل لمعالجة اللغة الطبيعية. حصل على جائزة اختيار الطلاب في كلية كورنيل للتكنولوجيا للتميز في التدريس. تحول تركيزه البحثي بشكل متزايد نحو نمذجة اللغة الفعالة والتوليدية، بما في ذلك عمل على التدريب المسبق بدون انتباه (BiGS، مؤتمر EMNLP 2023)، ونماذج اللغة الانتشارية (مؤتمر NeurIPS 2024)، والتضمينات الوثائقية السياقية (مؤتمر ICLR 2025). استمر في نشر أدوات تعليمية موجهة لوحدة معالجة الرسوميات، بما في ذلك ألغاز وحدة معالجة الرسوميات وألغاز المصفوفات.

Hugging Face — باحث (2019–2024)

إلى جانب دوره كعضو هيئة تدريس، عمل راش بدوام جزئي كباحث في Hugging Face من حوالي عام 2019 إلى 2024. ساهم في العديد من مشاريع Hugging Face المبكرة: كان مؤلفًا على ورقة النظام الأصلي للمحولات (Wolf et al.، ورشة عمل EMNLP التجريبية 2020)، وساهم في مشروع BigScience ونموذج T0 متعدد المهام الموجه (مؤتمر ICLR 2022) من خلال PromptSource، وشارك في تأليف Zephyr (مؤتمر COLM 2024) — وهو نموذج خفيف الوزن مضبوط بالتعليمات تم إنتاجه من خلال التقطير المباشر لمواءمة نموذج اللغة وأصبح مستخدمًا على نطاق واسع كنموذج مرجعي مفتوح. جعله هذا التعيين المزدوج أحد أكثر الجسور فعالية بين أبحاث معالجة اللغة الطبيعية الأكاديمية ونظام Hugging Face مفتوح المصدر.

COLM — مؤسس مشارك ورئيس (2024–الآن)

في عام 2024، شارك راش في تأسيس وإطلاق مؤتمر نمذجة اللغة (COLM)، وهو منصة مخصصة خصيصًا لأبحاث نماذج اللغة — أول مؤتمر رئيسي يركز حصريًا على المجال الذي أصبح يهيمن على معالجة اللغة الطبيعية. يعمل كرئيس للمؤتمر. سد COLM فجوة في مشهد المؤتمرات حيث كانت الأعمال الخاصة بنماذج اللغة موزعة عبر منصات ذات نطاق أوسع (NeurIPS, ICML, ICLR, ACL) وتفتقر إلى منزل مخصص. نشر مؤتمر COLM الافتتاحي Zephyr كواحدة من أوراقه الأولى.

كما شغل راش منصب أمين عام ورئيس عام لمؤتمر ICLR خلال فترته الأكاديمية، مطورًا البنية التحتية البرمجية التي تدير عمليات المؤتمر الافتراضي خلال فترة كوفيد-19 (2020–2021).

Cursor — باحث (2026–الآن)

في عام 2026، غادر راش الأوساط الأكاديمية وانضم إلى Cursor، وهو محرر برمجي وبيئة تطوير قائمة على الذكاء الاصطناعي. يصف موقعه الشخصي تركيزه الحالي بأنه «التدريب اللاحق لأنظمة الذكاء الاصطناعي للبرمجة والمهام ذات الصلة» وتحسين استدلال النماذج لمشاكل البرمجة طويلة المدى. شارك في تأليف ورقة «Composer 2» (arXiv 2026) مع فريق Cursor — وهي ورقة حول توليد الكود بسياق كبير. أشار على موقعه: «من 2016 إلى 2026، كنت أستاذًا في هارفارد ثم في كورنيل.»

المساهمات الرئيسية

  • المحول المشروح (ورشة عمل NLP-OSS في مؤتمر ACL، 2018) — تطبيق PyTorch قابل للتنفيذ مع تعليقات كثيفة لورقة «الانتباه هو كل ما تحتاجه» يشرح كل مكون من مكونات بنية المحول مع كود مضمن وتصورات. ربما يكون الأكثر قراءة من بين التطبيقات والدروس التعليمية للمحول على الإطلاق، ونقطة الدخول التي من خلالها فهم جزء كبير جدًا من مجتمع التعلم الآلي البنية أولاً في الكود. تم تحديثه وصيانته على جيت هاب.

  • ألغاز وحدة معالجة الرسوميات (GPU-Puzzles) (جيت هاب، 2021) — مجموعة من 14 لغزًا تفاعليًا لـ CUDA تم تنفيذها باستخدام Numba، مصممة لتعليم برمجة وحدة معالجة الرسوميات من المبادئ الأولى. واحدة من أكثر المستودعات التعليمية للتعلم الآلي شهرة على جيت هاب؛ تُستخدم في الدورات التدريبية في جميع أنحاء العالم لتعليم البرمجة المتوازية للتعلم العميق. رفيق لألغاز المصفوفات، التي تفعل الشيء نفسه لعمليات المصفوفات في بايثون.

  • OpenNMT (عرض توضيحي في مؤتمر ACL، 2017) — تم تطويره بالاشتراك مع غيوم كلاين ويون كيم وجان سينيلارت؛ أحد أول أنظمة الترجمة الآلية العصبية مفتوحة المصدر عالية الجودة، تم إصداره في PyTorch واستخدم في البحث والنشر. أصبح تطبيقًا مرجعيًا لنماذج seq2seq وأثر على تصميم أطر معالجة اللغة الطبيعية اللاحقة.

  • نموذج الانتباه العصبي للتلخيص التجريدي للجمل (مؤتمر EMNLP 2015) — مع سوميت شوبرا وجيسون ويستون؛ واحدة من أولى الأوراق التي تطبق الانتباه العصبي على التلخيص التجريدي، مما يثبت أن آلية الانتباه في التشفير-فك التشفير يمكنها توليد نص ملخص جديد بدلاً من مجرد استخراج المقاطع. ساعد في ترسيخ التلخيص التجريدي العصبي كاتجاه بحثي.

  • التقطير المعرفي على مستوى التسلسل (مؤتمر EMNLP 2016) — مع يون كيم؛ قدم فكرة تقطير نموذج معلم تسلسلي إلى نموذج طالب أصغر على مستوى التسلسل بدلاً من مستوى الرمز، وهي تقنية أصبحت مستخدمة على نطاق واسع لضغط النماذج في معالجة اللغة الطبيعية.

  • Zephyr: التقطير المباشر لمواءمة نماذج اللغة (مؤتمر COLM 2024) — تم تأليفه بالاشتراك مع فريق أبحاث Hugging Face؛ أظهر أن التقطير من ملاحظات نموذج أقوى يمكنه مواءمة نموذج مفتوح خفيف الوزن (بحجم 7 مليارات معامل) مع اتباع التعليمات بمستوى ينافس نماذج أكبر بكثير، باستخدام خط تدريب أبسط من نظام RLHF الكامل. أصبح نموذجًا مرجعيًا مفتوحًا معتمدًا على نطاق واسع لأبحاث اتباع التعليمات.

  • T0 / PromptSource — التدريب الموجه متعدد المهام (مؤتمر ICLR 2022) — تم تأليفه بالاشتراك مع فيكتور سان وآخرين من BigScience؛ أظهر أن التدريب المسبق على مجموعة متنوعة من المطالبات التي كتبها البشر يمكن التعميم بشكل صفري لمهام غير مسبوقة دون الحاجة إلى أمثلة سياقية.

  • LSTMVis (مؤتمر IEEE InfoVis 2017) — مع هندريك ستروبيلت وسيباستيان جيرمان وهانسبيتر فيستر؛ أداة تصور لتحليل ديناميكيات الحالة الخفية في الشبكات المتكررة، حصلت على جائزة أفضل ورقة في InfoVis.

  • المحول المشروح S4 — تطبيق راش التفاعلي القابل للتنفيذ لنموذج مساحة الحالة المنظمة المتسلسلة (S4)، استمرارًا لتقليده في إنتاج تطبيقات مشروحة بكثافة للأوراق المعمارية الرئيسية التي تعمل كمصادر تعليمية للمجتمع.

  • قناة يوتيوب (@srush_nlp) — سلسلة من المحاضرات والدورات التقنية تغطي داخل نماذج اللغة وبرمجة وحدة معالجة الرسوميات وأنظمة التعلم العميق؛ واحدة من أكثر موارد الفيديو التقنية مشاهدة من قبل الممارسين في مجتمع التعلم الآلي.

  • جائزة أفضل ورقة في NAACL 2012 — «التقليم الكرمي للتحليل التبعي متعدد المراحل الفعال» (مع سلاف بيتروف)؛ من بين أولى جوائز أفضل ورقة متعددة في مؤتمرات معالجة اللغة الطبيعية.

الجوائز والتقدير

  • زمالة بحث سلون (حوالي 2018)
  • جائزة NSF CAREER
  • جائزة الرئاسة المبكرة للمسيرة المهنية للعلماء والمهندسين (PECASE)
  • جائزة اختيار الطلاب في كلية كورنيل للتكنولوجيا للتميز في التدريس
  • جوائز أفضل ورقة في NAACL (2012)، InfoVis (2017)، والمؤتمرات الموجهة نحو الأجهزة
  • أمين عام ورئيس عام ICLR — قيادة مؤسسية لأحد المؤتمرات الرائدة في هذا المجال؛ طور البنية التحتية للمؤتمرات الافتراضية.
  • مؤسس مشارك ورئيس COLM (2024–الآن)

العلاقات الرئيسية

  • مايكل كولينز — المشرف على الدكتوراه في معهد ماساتشوستس للتكنولوجيا؛ أحد أكثر الباحثين تأثيرًا في معالجة اللغة الطبيعية في الفترة 2000-2010 في التنبؤ المهيكل والتحليل؛ يعكس عمل راش على فك التشفير الأمثل والتحليل الفعال تقليد كولينز الدقيق في معالجة اللغة الطبيعية الاحتمالية.
  • يان ليكون — المشرف على ما بعد الدكتوراه في FAIR؛ تشكل توجه التعلم العميق في عمل راش اللاحق على توليد النص العصبي ببيئة FAIR.
  • يون كيم — متعاون طويل الأمد من هارفارد؛ شارك في تأليف نماذج اللغة العصبية الواعية بالأحرف (Character-Aware Neural Language Models)، والتقطير المعرفي على مستوى التسلسل، وقواعد النحو الخالية من السياق المركبة (Compound PCFG) مع راش؛ واحدة من أكثر علاقات البحث الثنائية إنتاجية في معالجة اللغة الطبيعية.
  • توماس وولف — متعاون في Hugging Face؛ شارك في تأليف ورقة نظام المحولات وZephyr؛ تداخل وقتهما المشترك في Hugging Face مع السنوات الرئيسية لتطوير نماذج اللغة الكبيرة مفتوحة المصدر.
  • ألبرت جو — متعاون في التدريب المسبق بدون انتباه (BiGS) والعمل المتعلق بنماذج مساحة الحالة؛ كانت بنية جو S4 موضوع برنامج راش التعليمي المشروح S4.
  • ستيوارت شايبر — زميل في هارفارد ومتعاون في توليد النص القائم على القوالب؛ أيضًا محك لاهتمام راش بالبرمجة المتقنة والبحث الموثق بوضوح.

الأسلوب الشخصي

شخصية راش العامة مبنية بالكامل تقريبًا على قناعة واحدة: أن جعل الأفكار التقنية المعقدة واضحة وقابلة للتنفيذ إلى أقصى حد ليس مجرد علم أصول التدريس بل هو شكل من أشكال المساهمة البحثية بحد ذاتها. المحول المشروح، وألغاز وحدة معالجة الرسوميات، وألغاز المصفوفات، والمحول المشروح S4، وقناة يوتيوب، كلها تجسد فلسفة «البرمجة المتقنة» — الكود والشرح متداخلان بحيث فهم الخوارزمية يعني القدرة على تشغيلها، وليس مجرد القراءة عنها. لقد استشهد بكين شان ودعاة آخرين للبرمجة المتقنة كمصادر تأثير، ووصف اهتمامه بهذا الأسلوب من التواصل بأنه سابق لمسيرته المهنية في معالجة اللغة الطبيعية. ملفه الشخصي على Digg (31.6% «إعلام»، 21.7% «تعليم»، 12.6% «إعلان») والوصف «سقسقات ومدونات، معظمها حول البرمجة والتعلم الآلي» يلتقط شخصًا مهتمًا بشكل أساسي ببناء فهم مشترك بدلاً من اتخاذ مواقف. انتقاله من الأوساط الأكاديمية إلى Cursor في عام 2026 يتوافق مع توجه مهني لم يكن أكاديميًا بحتًا تمامًا — تشير أعمال البنية التحتية مفتوحة المصدر، والتعيين في Hugging Face، وتأسيس COLM جميعًا إلى شخص يقدر بناء أشياء وظيفية واسعة الاستخدام على تجميع المخرجات العلمية.

المراجع