mezo_svrg

Mezo-SVRG: أساليب ترتيب صفر مخفض للتباين لضبط LLMS

يقوم هذا المستودع بتنفيذ خوارزمية التدرج العشوائي المتدرج المتدرج العشوائي (MEZO-SVRG) لضرب LMS المعانقة التي تم تدريبها مسبقًا. بصفتنا خطوط الأساس ، نقوم أيضًا بتنفيذ محسّن Zo الموفرة للذاكرة (MEZO) و SGD من الدرجة الأولى (FO-SGD). يتم كتابة المستودع في Pytorch ويعزز إطار Lightning Pytorch.

تثبيت

لتثبيت بيئة بيثون ذات الصلة ، استخدم الأمر

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

نظرة عامة على الملف

يقوم هذا المستودع بتنفيذ خوارزمية Mezo-SVRG ويمكّن التكييف على نطاق على نماذج اللغة باستخدام مجموعة بيانات Glue Benchmark. لتشغيل التجارب ، قم بتنفيذ نص "Finetune_llm.sh 'Bash.

يدعم البرنامج النصي النماذج التالية:

1. "distilbert-base-cazed"
2. 'روبرتا large'
3. 'gpt2-xl'
4. 'facebook/opt-2.7b'
5. 'facebook/opt-6.7b'

يدعم البرنامج النصي مهام الغراء التالية:

1. mnli
2. qnli
3. SST-2
4. كولا

أشر إلى خوارزمية الضبط من خلال تمرير أحد ما يلي {'fo' ، 'Zo' ، 'Zosvrg'}. يتم توفير إعدادات الفائق الدقيق المستخدمة لإنشاء الجداول/الأشكال في الورقة في الملحق.

اقتباس

يرجى التفكير في الاستشهاد بالورقة إذا كنت تستخدم الكود الخاص بنا:

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

حماية

انظر المساهمة لمزيد من المعلومات.

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Apache-2.0.