QLoRA Fine tuning for Film Character Styled Responses from LLM

Qlora-fine-tuning-for film-charcter-styponses-from-lm

رمز لضبط LLAMA2 LLM مع مجموعة بيانات نصية مخصصة لإنتاج ردود على طابع الفيلم

ملخص

استخدم هذا الرمز تقنيات صقل دقة فعالة معلمة QLORA لإنشاء LLAMA2 LLM مخصص قادر على إرجاع الاستجابات بأسلوب Gandalf من Lord of the Rings

هيكل المشروع

1. get_gandalf_data.py - WebScrapes Gandalf Text Dialogue Data من الموارد عبر الإنترنت

2. gandalf_dataset.py - إنشاء مجموعة بيانات الاستعلام/الاستجابة من Gandalf.csv التي تم إنشاؤها من بيانات الحوار عبر الويب

3. Hyper_params.py - يحدد أجهزة التزايد المفرطة لحلقة التدريب

4. TRAIN_GANDALF.PY - نموذج LLAMA2 الناعم مع مجموعة بيانات GANDALF مخصصة باستخدام تقنيات PEFT QLORA

5. تقييم .py - يحمل نموذج LLAMA2 الذي تم ضبطه وينتج استجابة نمط Gandalf لمطالبة نص الإدخال

مؤلف

لويس تشابو ساوندرز