Wojciech Zaremba

ويكي
, , , ,
1

عالم رياضيات وعالم حاسوب بولندي، شارك في تأسيس OpenAI، واكتشف بشكل مشترك الأمثلة العدائية، وساعد في بناء اليد الروبوتية التي حلت مكعب روبيك بيد واحدة، وقاد الفرق التي أنتجت Codex وGitHub Copilot والبنية التحتية للتعلم المعزز من التغذية الراجعة البشرية (RLHF) التي تقوم عليها ChatGPT.

نبذة شخصية
تاريخ الميلاد 30 نوفمبر 1988، كلوتشبورك، بولندا
الجنسية بولندي
المنصب الحالي OpenAI (مؤسس مشارك، عالم أبحاث)
مجالات البحث التعلم العميق، الشبكات العصبية المتكررة، التعلم المعزز، الروبوتيات، تركيب البرامج، نماذج اللغة الكبيرة، RLHF
المشرف على الدكتوراه يان لوكون؛ روب فيرغوس
أطروحة الدكتوراه «خوارزميات التعلم من البيانات» (جامعة نيويورك، 2016)
الموقع الإلكتروني wojzaremba.com
X / تويتر @woj_zaremba
GitHub wojzaremba
جوجل سكولار Wojciech Zaremba

نظرة عامة

فويتشخ زاريمبا هو عالم حاسوب ورياضيات بولندي شارك في تأسيس OpenAI في عام 2015 وظل في المؤسسة طوال مسارها الكامل من مختبر أبحاث غير ربحي إلى مطور ChatGPT وGPT-4. وهو حائز على الميدالية الفضية في الأولمبياد الدولي للرياضيات، وقد جلب حساسية قائمة على الرياضيات إلى أبحاث التعلم العميق أثناء تدريبه في Google Brain وFacebook AI Research خلال دراسته للدكتوراه في جامعة نيويورك كورانت تحت إشراف يان لوكون وروب فيرغوس. كان بحثه في الدكتوراه حول تدريب الشبكات العصبية لتنفيذ برامج الكمبيوتر وتعلم الخوارزميات من بين أوائل الجهود المنهجية لسد الفجوة بين مطابقة الأنماط في الشبكات العصبية والحساب الرمزي. في OpenAI، قاد على التوالي فريق الروبوتيات (الذي كانت نتيجته النهائية يدًا روبوتية حلّت مكعب روبيك باستخدام التعلم المعزز والتنويع العشوائي التلقائي للمجال)، والفريق الذي طور Codex وGitHub Copilot، والبنية التحتية للبيانات البشرية وRLHF التي جعلت ChatGPT متوافقًا مع التفضيلات البشرية. لقد وصف تعزيز التعاون - الجمع بين العمل التقني والبحثي والهندسي وسهولة الوصول - بأنه أهم مهاراته المهنية.

الحياة المبكرة والتعليم

وُلد زاريمبا في 30 نوفمبر 1988 في كلوتشبورك، وهي مدينة صغيرة في منطقة أوبولي في جنوب بولندا. أظهر منذ سن مبكرة قدرة استثنائية في الرياضيات والكيمياء وعلوم الكمبيوتر والفيزياء في وقت واحد، وفاز بالمسابقات المحلية في جميع هذه المجالات الأربعة. كان من الطلاب الحاصلين على منحة صندوق الأطفال البولندي من 2000 إلى 2007، وهو برنامج وطني يحدد ويدعم الطلاب الموهوبين. في عام 2007، عن عمر 18 عامًا، مثل بولندا في الأولمبياد الدولي للرياضيات الثامن والأربعين الذي أقيم في فيتنام، وفاز بالميدالية الفضية في واحدة من أكثر المسابقات الرياضية تنافسية في العالم.

درس زاريمبا الرياضيات وعلوم الكمبيوتر في جامعة وارسو، وفي الوقت نفسه تابع برنامج الماجستير في المدرسة المتعددة التكنولوجية في باريس، وتخرج في عام 2013 بدرجتي ماجستير في الرياضيات. كما أمضى فترة قصيرة في NVIDIA خلال سنوات البكالوريوس - قبل عصر التعلم العميق - واكتسب خبرة مبكرة في الحوسبة المعجلة بوحدات معالجة الرسوميات.

في عام 2013 بدأ الدكتوراه في علوم الكمبيوتر في معهد كورانت للعلوم الرياضية في جامعة نيويورك، حيث عمل في مختبر CILVR (الذكاء الحاسوبي، التعلم، الرؤية، والروبوتات) التابع لروب فيرغوس، مع يان لوكون كمشرف مشارك. اختار جامعة نيويورك بعد أن استنتج أنه في عام 2012، كانت ثلاث جامعات فقط تزرع التعلم العميق بجدية: جامعة تورنتو، وجامعة مونتريال، وجامعة نيويورك. أمضى عامًا في Google Brain وعامًا آخر في Facebook AI Research (FAIR) كتدريب خلال فترة الدكتوراه. حصل زاريمبا على الدكتوراه في عام 2016، بعد أن تم تعيينه مؤسسًا مشاركًا لـ OpenAI في العام السابق بينما كان لا يزال ينهي دراسته. حصل على زمالة جوجل في عام 2015.

المسيرة المهنية

جامعة نيويورك كورانت - أبحاث الدكتوراه (2013-2016)

عمل زاريمبا في الدكتوراه، والذي تم تلخيصه في أطروحة «خوارزميات التعلم من البيانات»، سعى للإجابة على سؤال مركزي: هل يمكن للشبكات العصبية أن تتعلم محاكاة السلوك الخوارزمي لأجهزة الكمبيوتر القابلة للبرمجة، وليس فقط تقريب الأنماط الإحصائية؟ أنتج العمل العديد من النتائج المؤثرة.

الأمثلة العدائية (تدريب Google Brain، 2013). خلال تدريبه في Google Brain، شارك زاريمبا في تأليف «الخصائص المثيرة للاهتمام للشبكات العصبية» (2013، ICLR 2014) مع كريستيان سيجيدي، وإيليا سوتسكيفر، وجوان برونا، ودوميتريو إيرهان، وإيان جودفيلو، وروب فيرغوس. اكتشفت الورقة أن التعديلات غير المحسوسة على صور الإدخال يمكن أن تسبب تصنيفات خاطئة عالية الثقة في الشبكات العصبية المتطورة، وأن هذه التعديلات العدائية تنتقل عبر البنيات - مما أسس مجال التعلم الآلي العدائي.

تنظيم الشبكات العصبية المتكررة (تدريب FAIR، 2014). ورقة طورت تقنيات التسرب المنهجية لشبكات LSTM، والتي أصبحت دليلًا عمليًا مؤثرًا لتدريب الشبكات المتكررة في وقت كان فيه عدم استقرار تدريب LSTM عقبة رئيسية.

تعلم التنفيذ (2014، مع إيليا سوتسكيفر). دراسة منهجية أظهرت أن شبكات LSTM يمكنها تعلم تقييم برامج كمبيوتر بسيطة من أمثلة المدخلات والمخرجات، والتنبؤ بالمخرجات الصحيحة للبرامج القصيرة ذات الحلقات والشروط وربط المتغيرات. أنشأت الورقة معيارًا ومنهجية لدراسة تنفيذ برامج الشبكات العصبية التي أثرت على أدبيات التركيب العصبي للبرامج.

OpenAI - مؤسس مشارك وعالم أبحاث (2015-حتى الآن)

أُعلن عن زاريمبا كأحد الأعضاء المؤسسين الأحد عشر لـ OpenAI في ديسمبر 2015، رافضًا عروضًا من Google وFacebook - إلى جانب، على حد قوله، «رواتب شبه جنونية» - للانضمام إلى المنظمة غير الربحية. ظل في المؤسسة عبر جميع تحولاتها اللاحقة.

OpenAI Gym (2016). كان زاريمبا من بين المساهمين في OpenAI Gym، وهي مجموعة أدوات مفتوحة المصدر لأبحاث التعلم المعزز والتي أصبحت بيئة المعيار الافتراضية لمجتمع RL، مما وحد المقارنات عبر الخوارزميات في التحكم المستمر وألعاب Atari ومهام الروبوتات.

مدير أبحاث الروبوتيات (2015-2020). خلال السنوات الخمس الأولى في OpenAI، قاد زاريمبا برنامج أبحاث الروبوتيات. كانت النتيجة الأكثر مشاهدة للفريق هي نظام Dactyl (2019)، الذي درب يدًا روبوتية بشرية بخمسة أصابع بالكامل في المحاكاة باستخدام التنويع العشوائي التلقائي للمجال (ADR) - وهي تقنية تولد تلقائيًا توزيعًا متزايدًا من البيئات المحاكاة العشوائية - ونقل السياسة المستفادة إلى يد مادية يمكنها حل مكعب روبيك بيد واحدة. كانت نتيجة Dactyl ملحوظة لإظهارها النقل من المحاكاة إلى الواقع بمستوى من البراعة لم يتحقق من قبل، وللاستخدام من سياسات قائمة على LSTM بدلاً من المتحكمات المهندسة يدويًا. تم حل فريق الروبوتيات في عام 2020 وسط تحول استراتيجي أوسع نحو نماذج اللغة.

Codex وGitHub Copilot (2020-2021). بعد إغلاق فريق الروبوتيات، قاد زاريمبا تطوير Codex، وهو نموذج GPT تم ضبطه بدقة على الكود المصدري المتاح للجمهور من GitHub. النموذج الناتج، الموضح في «تقييم نماذج اللغة الكبيرة المدربة على الكود» (2021)، حل 28.8% من المشاكل في معيار HumanEval - الذي يقيس الصحة الوظيفية لتركيب البرامج من تعليقات التوثيق - مقارنة بـ 0% لـ GPT-3. أعلن زاريمبا علنًا عن إطلاق Codex في أغسطس 2021. أصبح إصدار إنتاج من Codex المحرك الذي يشغل GitHub Copilot، أداة إكمال الكود بالذكاء الاصطناعي التي أصبحت واحدة من أكثر أدوات المطورين المساعدة بالذكاء الاصطناعي استخدامًا على مستوى العالم، مع عشرات الملايين من المستخدمين.

نماذج GPT والبيانات البشرية / RLHF (2021-حتى الآن). قاد زاريمبا لاحقًا الفرق المسؤولة عن البنية التحتية للتغذية الراجعة البشرية - جمع البيانات، وعمليات وضع العلامات، وخط أنابيب التعلم المعزز من التغذية الراجعة البشرية (RLHF) - التي شكلت سلوك وسلامة سلسلة نماذج GPT التي تقوم عليها ChatGPT. وشمل ذلك إدارة مجال البيانات البشرية التي أنتجت بيانات التفضيل المستخدمة لتدريب نماذج المكافأة وضبط GPT-4 بدقة عبر RLHF، وهي عملية أساسية لجودة المحادثة وسلوك اتباع التعليمات في ChatGPT. في وقت مقابلته في جامعة نيويورك كورانت في عام 2023، وصف قيادة هذا الفريق واستخدام ChatGPT يوميًا لكتابته وهيكلته.

المساهمات الرئيسية

  • الأمثلة العدائية (ICLR 2014) - «الخصائص المثيرة للاهتمام للشبكات العصبية»، مع كريستيان سيجيدي، وإيليا سوتسكيفر، وجوان برونا، ودوميتريو إيرهان، وإيان جودفيلو، وروب فيرغوس. أول اكتشاف وتوصيف منهجي للتعديلات العدائية التي تسبب تصنيفًا خاطئًا واثقًا في الشبكات العصبية، وقابليتها للانتقال عبر البنيات. أسس الحقل الفرعي للتعلم الآلي العدائي.

  • تسرب LSTM / تنظيم الشبكات العصبية المتكررة (2014) - طور طرق تسرب عملية لشبكات LSTM قللت من الإفراط في التجهيز واستقرت التدريب، وأصبحت ممارسة قياسية لتدريب الشبكات المتكررة وواحدة من أكثر النتائج التقنية تطبيقًا من فترة الدكتوراه.

  • تعلم التنفيذ (arXiv 2014، مع إيليا سوتسكيفر) - أظهر أنه يمكن تدريب شبكات LSTM على تقييم برامج كمبيوتر قصيرة، مما أنشأ منهجية معيارية لمجال التركيب العصبي للبرامج وأبلغ مباشرة عمل زاريمبا اللاحق على Codex.

  • OpenAI Gym (2016) - مؤلف مساهم في بيئة معيار التعلم المعزز مفتوحة المصدر التي أصبحت إطار التقييم القياسي لمجتمع أبحاث RL.

  • حل مكعب روبيك بيد روبوتية / Dactyl (2019) - شارك في قيادة جهود فريق الروبوتيات في OpenAI الذي درب يدًا روبوتية بشرية بخمسة أصابع على حل مكعب روبيك باستخدام سياسات تم تعلمها بالكامل في المحاكاة عبر التنويع العشوائي التلقائي للمجال - وهو إظهار للنقل من المحاكاة إلى الواقع ببراعة غير مسبوقة.

  • Codex / GitHub Copilot (2021) - قاد تطوير نموذج اللغة Codex، الذي تم ضبطه بدقة على كود GitHub، والذي شغل GitHub Copilot وقدم إكمال الكود المساعد بالذكاء الاصطناعي لعشرات الملايين من مطوري البرمجيات. أحد أكثر التطبيقات العملية انتشارًا لنماذج فئة GPT.

  • البنية التحتية لـ RLHF لـ ChatGPT - قاد خط أنابيب البيانات البشرية والتعلم المعزز من التغذية الراجعة البشرية في OpenAI الذي جعل GPT-4 وChatGPT متوافقين مع التفضيلات البشرية، وإدارة عمليات وضع العلامات على البيانات وتدريب نموذج المكافأة الأساسية لجودة المحادثة في ChatGPT.

الجوائز والتكريم

  • الميدالية الفضية، الأولمبياد الدولي للرياضيات (2007) - مثل بولندا في الأولمبياد الثامن والأربعين في هانوي، فيتنام؛ أحد أعلى الإنجازات الرياضية التنافسية المتاحة لطالب في المدرسة الثانوية.
  • طالب منحة صندوق الأطفال البولندي (2000-2007) - منحة وطنية بولندية للطلاب الموهوبين عبر تخصصات متعددة في العلوم والتكنولوجيا والهندسة والرياضيات.
  • زمالة جوجل (2015) - زمالة الدكتوراه من جوجل في أمريكا الشمالية، مُنحت خلال دراساته للدكتوراه في جامعة نيويورك.
  • فوربس بولندا 30 تحت 30 (2017) - أُدرج ضمن أكثر الأشخاص البولنديين تأثيرًا تحت سن 30 من قبل النسخة البولندية لمجلة فوربس.
  • مبتكرون تحت 35 من مجلة MIT Technology Review - سُمي من بين المبتكرين المؤثرين لمساهماتهم في الذكاء الاصطناعي.

العلاقات الرئيسية

  • إيليا سوتسكيفر - أقرب المتعاونين البحثيين في سنوات الدكتوراه لزاريمبا؛ شارك في تأليف «تعلم التنفيذ» والعديد من أوراق تركيب البرامج ذات الصلة؛ مؤسس مشارك لـ OpenAI والعالم الرئيسي السابق. اهتمامهم المشترك بالحساب العصبي والتعلم الخوارزمي حدد النواة الفكرية لعمل زاريمبا في الدكتوراه.
  • روب فيرغوس - المشرف الرئيسي على الدكتوراه في مختبر CILVR بجامعة نيويورك كورانت؛ وصف زاريمبا بأنه «مبهر» خلال سنوات الدكتوراه وأنه من الواضح أنه مقدر له «دور كبير في مستقبل الذكاء الاصطناعي».
  • يان لوكون - المشرف المشارك على الدكتوراه في جامعة نيويورك؛ الإطار الفكري الأوسع لمجموعة لوكون - التعلم العميق للإدراك والتمثيل - شكل البيئة التي تطور فيها زاريمبا.
  • كريستيان سيجيدي - مؤلف مشارك في ورقة الأمثلة العدائية خلال تدريب Google Brain؛ أنتج تعاون سيجيدي-زاريمبا واحدة من أكثر النتائج المتعلقة بالسلامة أهمية في تاريخ التعلم العميق.
  • سام ألتمان - الرئيس التنفيذي والمؤسس المشارك لـ OpenAI؛ الشراكة المؤسسة التي عمل من خلالها زاريمبا طوال مسيرته المهنية.
  • جريج بروكمان - المؤسس المشارك والرئيس السابق لـ OpenAI؛ زميل مقرب عبر البنية التحتية التقنية وبرامج البحث في المؤسسة.

الأسلوب الشخصي

زاريمبا غير معتاد بين باحثي الذكاء الاصطناعي في الجمع بين أسس رياضية عميقة - حل المشكلات على مستوى الأولمبياد، ودرجتي ماجستير في الرياضيات - مع التزام صريح بالأبعاد التنظيمية والبشرية للبحث. لقد حدد «تعزيز التعاون» كمهارته المهنية الأساسية، وتحدث علنًا عن المفهوم الخاطئ بأن التقدم في الذكاء الاصطناعي ينبع من أفكار فردية ذكية بدلاً من الجمع بين العمل الهندسي والبحثي والمنتج وسهولة الوصول. رؤيته البحثية المعلنة واسعة ومتفائلة: يصف الذكاء الاصطناعي بأنه مشابه للكهرباء في تأثيره الحضاري، وناقش مجالات تطبيق محددة - العلاج بمساعدة الذكاء الاصطناعي، والطب الشخصي، والتركيب العلمي متعدد التخصصات - بحماس ملموس أكثر من المعتاد لباحث على مستواه التقني. إنه متعدد اللغات (البولندية والإنجليزية والفرنسية)، وربط تعلم اللغة باعتقاده الأوسع بأن الخلفيات غير النمطية تنتج القدرة على التكيف. لا يزال في المجالس الاستشارية لمعهد أبحاث Qualia وGrowbots، وكان منفتحًا بشأن الاهتمامات الشخصية التي تتراوح من أبحاث النوم إلى حل النزاعات بوساطة الذكاء الاصطناعي في العلاقات الشخصية.

المراجع