distily

بصراحة

في أمر واحد ، قم بتقطير LLM الموجود في بنية أصغر أو مختلفة.

ثَبَّتَ

 pip install -U "git+https://github.com/lapp0/distily.git"

سمات

يسمح لك بتقديم تقطير نموذج مع

• الأوزان الكمية: مثل Trilm ، bitnet
• الهندسة المعمارية المميزة: نماذج فضاء الحالة مثل Mamba ، مزيج من الخبراء (MOE)
• العمارة المعدلة: انخفاض (أو زيادة)
  • عدد الطبقات
  • عرض وعمق رؤساء الاهتمام وطبقة كثيفة.
  • عدد الاهتمام ورؤوس KV.

الاستخدام

مثال على ذلك: distily_gpt2

أمر لإنشاء gpt2 المقطر مع 6 طبقات فقط:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

يحتوي نموذج distily_gpt2 الناتج على (TODO: شرح المقاييس).

لمزيد من الأمثلة ، راجع وثائق الأمثلة.

ملاحظة على بيانات اعتماد المحور

للضغط على المحور ، يجب عليك تحضير رمز المحور الخاص بك

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

مزيد من القراءة

TODO: ارتكب المستندات المرتبطة بمجرد اكتمال

باستخدام بصراحة

• كيف يعمل التقطير: الوصفة البعيدة
• QuickStart / أمثلة
• اختيار المعلمة

النماذج المتاحة

• نماذج رسمية بعيدة
• جميع نماذج HF التي تم إنشاؤها ببراعة

المساهمة

• الإرشادات المساهمة

خريطة الطريق

تحسين الأداء / كفاءة أخذ العينات:

• تقطير المعرفة القياسي باستخدام سجلات.
• تقطير باستخدام ميزات وسيطة بما في ذلك الحالات المخفية والانتباه.
• تنفيذ نقل القيمة (ببساطة فقدان التقطير على V من Q ، K ، V)
• تحسين كفاءة أخذ العينات من خلال توليد البيانات الاصطناعية.
• قم بتنفيذ فقدان تصنيف الدخول عبر (وظيفة فقدان LLM التقليدية)
• قم بتطبيق جهاز العرض على سجلات (https://arxiv.org/pdf/2310.17183)
• قم بتطبيق "تسجيل المعلم" ، وقم بتشغيل استنتاج المعلم مرة واحدة ، واستخدام مجموعة بيانات الميزات في أي عدد من المرات.

تقطير في شكل / حجم نموذج مختلف:

• تقطير إلى النموذج مع عدد أقل num_hidden_layers عن طريق تنفيذ تعيينات الطبقة.
• تقطير إلى نموذج مع أبعاد الوحدة المعدلة والسلوكيات (على سبيل المثال ، intermediate_size ، hidden_act ) عن طريق استخدام أجهزة العرض.
• تقطير إلى نموذج مع modified num_attention_heads و num_key_value_heads .

تقطير في بنية مختلفة:

• تقطير إلى Bitnet (B1.58)
• تقطير في الفضاء / مامبا
• تقطير إلى مو
• نموذج تقليص مشاركة المعلمات (على غرار ألبرت)

تقنيات إضافية:

• تقطير من نماذج متعددة في وقت واحد
• تشذيب