Alpaca 350M Fine Tuned

الألباكا 350m-fine

مشروع مهني متعلق بالعمل

في هذا المشروع ، قدمت رمزًا ودفترًا كوليًا يسهل عملية ضبطها لنموذج الألبكة 350m الذي تم تطويره أصلاً في جامعة ستانفورد. يحتوي النموذج المعين الذي يتم ضبطه بشكل جيد على حوالي 350 مليون معلمة ، وهي واحدة من طرز الألبكة الأصغر (أصغر من طرازي السابق الذي تم ضبطه).

يستخدم النموذج Lora للتكيف منخفض الرتبة لتشغيله مع عدد أقل من الموارد الحسابية ومعلمات التدريب. نستخدم bitsandbytes لإعداد وتشغيل بتنسيق 8 بت بحيث يمكن استخدامه على colaboratory. علاوة على ذلك ، تم استخدام مكتبة PEFT من Huggingface لضبط النموذج.

المعلمات المفرطة:

1. micro_batch_size = 4 (4 يعمل مع وحدة معالجة الرسومات الأصغر)
2. batch_size = 32
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. الحقبة = 2 (يستخدم الألبكة في ستانفورد 3)
5. Learning_rate = 2e-5 (يستخدم Stanford's Alpaca 2E-5)
6. cutoff_len = 256 (يستخدم Stanford's Alpaca 512 ، لكن 256 حسابًا يمثل 96 ٪ من البيانات ويعمل بشكل أسرع بكثير)
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

الائتمان للنموذج الأصلي: Qiyuan GE

نموذج ضبط جيد: Ryanair/Alpaca-350m-Fine Tuned (Huggingface)