Finetune_LLMs

FINETUNE LLMS

ملخص

يحتوي هذا الريبو على رمز لضبط نماذج اللغة الكبيرة (LLMS) مع مجموعة بيانات اقتباسات شهيرة.

الأساليب المدعومة من Finetuning هي السرعة العميقة أو Lora أو Qlora.

في الأصل ، قام Repo بتنزيل وتحويل أوزان النموذج لـ GPTJ عندما لم تتم إضافته بعد إلى حزمة Luggingface Transformer. لا يزال من الممكن رؤية هذا الرمز تحت فرع original_youtube .

/quotes_dataset يحتوي على مجموعة البيانات المنسقة بشكل صحيح للضبط. انظر REPO لصنع مجموعة البيانات هذه هنا

/finetuning_repo يحتوي على رمز في الأصل من الريبو هنا الذي قمت بتعديله للعمل مع المزيد من النماذج ومع المزيد من الطرق.

المساعدة المهنية

إذا كانت في حاجة إلى مساعدة مهنية مدفوعة الأجر ، فهذا متاح من خلال هذا البريد الإلكتروني

تجول الفيديو القديم (لا تستخدم في ظل الظروف العادية)

شاهد الفيديو القديم للحصول على رمز الريبو الأصلي هنا للحصول على برنامج تعليمي للفيديو.

يمكن رؤية مقطع فيديو أكثر تحديثًا لاستخدام نموذج HuggingFace هنا

انتقل إلى فرع original_youtube ، هل تريد رؤية الرمز ، لكنني أوصي بشدة باستخدام طرق أكثر حداثة

تحديث الإرشادات (استخدم هذا في ظل الظروف العادية)

يستخدم التجول المحدث NVIDIA-Docker لإخراج الصداع من معظم العملية.

متطلبات

1. وحدة معالجة الرسومات NVIDIA كافية (عادة ما لا يقل عن 24 جيجابايت من VRAM ودعم FP16). إذا كنت تستخدم العروض السحابية أوصي A100. على الرغم من أنها تكلف المزيد من السرعة و VRAM تعوض عن ذلك.
2. استخدم جهاز Linux. أوصي أوبونتو
3. نسخة حديثة بما فيه الكفاية من Docker (عندما تكون في شك تحديث إلى الأحدث)
4. NVIDIA-Docker للسماح بتمرير GPU إلى حاوية Docker. انظر دليل التثبيت هنا
5. تأكد من تثبيت أحدث برامج تشغيل NVIDIA. تحقق من الأداة هنا

مثال على السائقين CUDA

إذا كان لديك نظام Linux 64 بت وتحتاج إلى برامج تشغيل لـ A100 ، فيمكنك تشغيل أمر مثل هذا لإعداده.

wget https://us.download.nvidia.com/tesla/515.86.01/NVIDIA-Linux-x86_64-515.86.01.run

ستقوم بعد ذلك بتشغيل البرنامج الذي تم تنزيله مع Sudo.

chmod 777 NVIDIA-Linux-x86_64-515.86.01.run

sudo ./NVIDIA-Linux-x86_64-515.86.01.run

الاستخدام

1. أولاً ، قم ببناء صورة Docker عن طريق تشغيل build_image.sh . إذا تلقيت خطأً حول عدم القدرة على العثور على صورة Docker ، فتحديث إلى إصدار CUDA الأحدث. يتم إهمال الصور بشكل دوري. ثم افتح العلاقات العامة حتى تتمكن من إصلاح هذه المشكلة للآخرين. يمكن أن يستغرق بناء صورة Docker عدة دقائق.
2. Run run_image.sh . يقوم هذا البرنامج النصي بتشغيل صورة Docker التي تم بناؤها للتو وتركيب الدليل الحالي إلى /workspace داخل حاوية Docker. سيتم تمرير جميع وحدات معالجة الرسومات في النظام. بالإضافة إلى ذلك ، لمنع تنزيل النماذج في كل مرة يتم فيها تشغيل هذه الحاوية ، سيتم أيضًا تمرير .cache الخاص بك.
3. يمكن الآن استخدام هذه الصورة لتصنيع نموذج مع وحدات معالجة الرسومات ، أو لاستخدام Deepspeed. انتقل إلى مجلد آخر لمزيد من المعلومات