Galore pytorch

[غير رسمي] الوطرة: تدريب LLM فعال الذاكرة عن طريق الإسقاط المتدرج منخفض الرتبة

تنفيذ غير رسمي لـ WIP لـ Galore: تدريب LLM فعال الذاكرة عن طريق الإسقاط المتدرج منخفض الرتبة

خريطة الطريق

• حيل التدريب طبقة
• عينة حلقة التدريب
• أضف سجلات التدريب على بيانات الألعاب
• تدريب على البيانات الحقيقية*

مرجع

 @article{zhao2024galore,
  title   = {GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection},
  author  = {Jiawei Zhao and Zhenyu Zhang and Beidi Chen and Zhangyang Wang and Anima Anandkumar and Yuandong Tian},
  year    = {2024},
  journal = {arXiv preprint arXiv: 2403.03507}
}