Alpaca 3B Fine Tuned

الألباكا -3B-فاين

مشروع مهني متعلق بالعمل

في هذا المشروع ، قدمت رمزًا ودفترًا كوليًا يسهل عملية التكييف لنموذج المعلمة الألباكا 3B الذي تم تطويره أصلاً في جامعة ستانفورد. يحتوي النموذج المعين الذي يتم ضبطه جيدًا على حوالي 3 مليارات من المعلمات ، وهو أحد طرز الألبكة الأصغر.

يستخدم النموذج Lora للتكيف منخفض الرتبة لتشغيله مع عدد أقل من الموارد الحسابية ومعلمات التدريب. نستخدم bitsandbytes لإعداد وتشغيل بتنسيق 8 بت بحيث يمكن استخدامه على colaboratory. علاوة على ذلك ، تم استخدام مكتبة PEFT من Huggingface لضبط النموذج.

المعلمات المفرطة:

1. micro_batch_size = 4 (4 يعمل مع وحدة معالجة الرسومات الأصغر)
2. batch_size = 256
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. الحقبة = 2 (يستخدم الألبكة في ستانفورد 3)
5. Learning_rate = 2e-5 (يستخدم Stanford's Alpaca 2E-5)
6. cutoff_len = 256 (يستخدم Stanford's Alpaca 512 ، لكن 256 حسابًا يمثل 96 ٪ من البيانات ويعمل بشكل أسرع بكثير)
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

الائتمان للنموذج الأصلي: Xinyang (Young) Geng و Hao Liu من OpenLM Research

نموذج ضبط جيد: Ryanair/Alpaca-3B-Fine Tuned (Huggingface)