Wizard_QLoRA_Finetuning
1.0.0
Finituning بعض نماذج المعالج مع qlora
https://youtu.be/hkt5nz0buso؟si=hnmylp_z5sgzlmbm
يمكن أن يتم Finetuning مع البرنامج النصي finetune.py . في هذا البرنامج النصي ، سيتم تنزيل النموذج وتحقيقه على إحدى مجموعات البيانات بدقة 4 بت. مع إحراز تقدم فني ، يتم حفظ نقاط التفتيش في دليل الإخراج المحدد.
بعد تدريب النموذج ، يجب دمج أحد ملفات نقاط التفتيش بحيث يتم دمج أوزان Lora والأوزان القديمة في مصفوفة ذات وزن واحد ، مما يجعل الاستدلال أكثر كفاءة مما لو كنت قد انقسمت. merge.py يقوم بدمج ملف نقطة تفتيش محدد ونوع النموذج المحدد.
الاستدلال لديه بعض البرامج النصية. infer.py و infer.ipynb متشابهان وتشغيل الاستدلال المباشر على نموذج معين. infer_interface.ipynb لديه واجهة إضافية باستخدام Gradio.
يمكن استخدام upload.py لتحميل نماذج LuggingFace إلى المحور بسهولة اسم ريبو للتحميل. تأكد من الحصول على رمز write من LuggingFace لتحميل بشكل صحيح.
data_creation.ipynb هو مثال بسيط لإنشاء البيانات.
