FineTune_T5_on_imdb

مستودع المشروع: صقل T5 مع طرق مختلفة

ملخص

يحتوي هذا المستودع على رمز وأجهزة الكمبيوتر المحمولة لضبط نموذج T5 باستخدام طرق مختلفة. الأهداف الأساسية لهذا المشروع هي:

1. قم بتنفيذ واستكشاف أساليب الضبط الدقيقة مثل المطالبة الناعمة والمحول و Lora والضبط الكامل من نقطة الصفر.
2. Tune T5 مع الأساليب المذكورة أعلاه باستخدام PEFT (صقل هندسي موجه) ، Opendelta ، و AdapterHub.
3. قم بإجراء مقارنة شاملة للدقة وعدد المعلمات المدربة لكل طريقة صقل.

هيكل المستودع

• 01_full finetune.ipynb : دفتر ملاحظات Jupyter تنفيذ طريقة صقل كاملة كاملة من نقطة الصفر.
• 02_Soft Promper.ipynb : Jupyter Notebook تنفيذ عملية ضبط دقيقة باستخدام مطالبة Soft.
• 03_adapter.ipynb : دفتر Noteber jupyter تطبيق الضبط الدقيق مع طريقة المحول.
• 04_adapterhub.ipynb : Jupyter Notebook Tuning T5 باستخدام AdapterHub.
• 05_lora.ipynb : دفتر Noteber Jupyter تطبيق الضبط الدقيق مع طريقة Lora.
• 402212503_hosnaoyarhoseini_report.pdf : ملف التقارير الذي يوفر رؤى وتحليل ونتائج التجارب.

المكتبات

• Pytorch
• PEFT
• Opendelta
• AdapterHub