flan t5 fine tune
1.0.0
يهدف هذا المشروع إلى ضبط نموذج لغة Flan-T5 باستخدام مكتبة Transformers الخاصة بـ Hugging Face. باتباع هذه الخطوات ، يمكنك ضبط النموذج واستخدامه للاستدلال.
قبل البدء ، تأكد من أن لديك ما يلي:
استنساخ هذا المستودع إلى جهازك المحلي.
git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/قم بتثبيت الحزم المطلوبة باستخدام الأمر التالي:
pip install -r requirements.txtهناك أربع طرق للضغط المتاحة:
الضبط الإضافي المضافة : يضيف طبقات للتدريب.
python additive-fine-tuning.pyصقل كامل كامل : يدرب جميع أوزان النموذج.
python full-fine-tuning.pyصقل دقيق انتقائي : يختار طبقات محددة من النموذج الأصلي للتدريب.
python selective-fine-tuning.pyقالب الضبط الدقيق : يستخدم قالب محدد مسبقًا للتدريب. يمكن تعديل القالب حسب الحاجة.
لاستقبال بياناتك الخاصة من أجل صقلها ، قم بتعديل الكود في البرامج النصية لتحميل مجموعة البيانات الخاصة بك. إليك مثال على تحميل مجموعة بيانات نصية:
from transformers import LineByLineTextDataset
dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )لإجراء الاستدلال باستخدام نموذج Flan-T5 الذي تم ضبطه ، يمكنك استخدام البرامج النصية التالية:
توليد استخدام الأمام : يوضح هذا البرنامج النصي توليد النص باستخدام نهج تمرير الأمام.
python generate-using-forward.pyالبرنامج النصي للاستدلال الرئيسي : يوفر هذا البرنامج النصي طريقة مباشرة لإنشاء المخرجات من النموذج.
python main.py يمكنك تعديل نص الإدخال في ملف main.py لاختبار النموذج:
input_text = [ "What is FAANG?" ]سيؤدي ذلك إلى إنشاء إخراج بناءً على المدخلات المقدمة.
لا تتردد في تعديل البرامج النصية حسب الحاجة للمهام المحددة ومجموعات البيانات الخاصة بك. إذا واجهت أي مشكلات ، تحقق من وثائق الوجه المعانقة أو طلب المساعدة من المجتمع.
لا تتردد في ضبط أي أقسام أكثر بناءً على احتياجاتك المحددة!
