BachelorProject

التصنيف والتقييم القائم على عاتق AYA

يوفر هذا المستودع إطارًا للتصنيف المستند إلى النماذج اللغوية التي تم تدريبها مسبقًا ، مع التركيز على مهام تصنيف النص الفارسي. ويشمل البرامج النصية وأجهزة الكمبيوتر المحمولة لتوليد المطالبات ، ومطالبات الضبط للتصنيف ، وتقييم النتائج ، وتحليل مقاييس أداء النموذج مثل درجة F1 والدقة والاستدعاء. يدعم المستودع أيضًا تعلم K-Shot لتعزيز القدرة على التكيف من خلال دمج الأمثلة ذات الصلة.

هيكل المشروع

• الرموز : يحتوي على الكود الأساسي وأجهزة الكمبيوتر المحمولة للتدريب النموذجي ، والتوليد المطالبات ، والتقييم.

  • AYA-Colab.ipynb : دفتر ملاحظات رئيسي للتدريب وصياغة المطالبات مع طرز AYA على كولاب.
  • Classification_report.ipynb : يولد مقاييس التصنيف ، بما في ذلك درجة F1 ، والدقة ، واستدعاء لإعدادات سريعة مختلفة.
  • Creating_dataset.ipynb : إعداد البيانات وإنشاء مجموعة البيانات للتعلم القائم على المطالبة.
  • f1-calculation.py : البرنامج النصي Python لحساب وتصور درجات F1.
  • news-aya-symbol-tuning.ipynb : دفتر ملاحظات لضبط الرموز مع نماذج AYA لتصنيف النص.
  • news-aya-system-user-prompt.ipynb : البرنامج النصي لإنشاء نظام ومستخدم المستخدم باستخدام نموذج لغة تم تدريبه مسبقًا.
  • Symbol_tuning_aya.ipynb : دفتر توليف الرمز لتحسين فعالية المطالبة.

• مجموعات البيانات : يحتوي على مجموعات بيانات تستخدم للتدريب والتقييم.

• مطالبات : يحتوي على قوالب سريعة تستخدم لمهام التصنيف المختلفة.

• الشرائح : ملفات التوثيق والعرض التي تشرح التعلم داخل السياق ، والتصميم السريع ، وتعلم K-Shot ، وضبط الرموز.

  • In-Context Learning.pptx In-Context Learning.pdf
  • System-User Prompt Design.pptx و System-User Prompt Design.pdf : دليل لتصميم النظام ومطالبات المستخدمين.
  • Symbol Tuning.pptx & Symbol Tuning.pdf : تعليمات حول استخدام ضبط الرمز لتحسين أداء المطالبة.

الميزات الرئيسية

• التصنيف المستند إلى المطالبة : إطار لتصنيف النص باستخدام مطالبات مع نموذج لغة. يتيح النظام توليد ديناميكي من المطالبات ، ودمج المدخلات المعرفة من قبل المستخدم ومطالبات النظام لتصنيف النص المرن.
• تعلم K-Shot : يدعم تعلم K-Shot حيث يتم تزويد النموذج بأمثلة K ذات صلة لتحسين الأداء في مهام محددة.
• مقاييس التقييم : توفر أدوات للتقييم الشامل ، بما في ذلك الدقة ، ونتيجة F1 ، والدقة ، والاستدعاء. يتم حفظ النتائج ويمكن تصورها من خلال مصفوفات الارتباك وتقارير التصنيف.
• ضبط الرموز : تقنيات لضبط وتحسين المطالبات باستخدام الرموز والتعديلات القائمة على المطالبة الأخرى ، مما يعزز استجابة النموذج للاستعلامات المحددة.
• التعلم داخل السياق : توثيق ودعم للتعلم داخل السياق لتحسين القدرة على التكيف مع النموذج المستند إلى الأمثلة في السياق السريع.

تعليمات الإعداد

1. استنساخ المستودع:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. تثبيت الحزم المطلوبة:

   pip install -r requirements.txt

3. المصادقة بوجه معانقة (إذا لزم الأمر) وتثبيت مكتبات إضافية:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. قم بتشغيل أي من أجهزة الكمبيوتر المحمولة أو البرامج النصية Python في دليل Codes لتنفيذ مهام مثل إنشاء مجموعة البيانات ، أو ضبط موجه ، أو تقييم.

الاستخدام

توليد المطالبات وتصنيف التشغيل

• news-aya-system-user-prompt.ipynb : يوفر دفتر الملاحظات خط أنابيب شامل لإنشاء نظام ومطالبات المستخدم وإجراء التصنيف على مجموعات بيانات الأخبار. تقوم فئة Generator بتحميل نموذج لغة تم تدريبه مسبقًا ، ويطالب التنسيقات ، وينشئ تنبؤات. يدعم البرنامج النصي تقدير 4 بت لاستخدام الذاكرة الفعال ويعزز المطالبات التي يقدمها المستخدم لتصنيف بيانات الأخبار الفارسية على أنها "مهمة" أو "غير مهمة".

التقييم والمقاييس

• classification_report.ipynb : يقيم أداء النموذج بمقاييس مثل الدقة والدقة والاستدعاء ودرجة F1. ويشمل التحقق من صحة K-Fold وينتج تقارير تصنيف مفصلة.
• F1-Calculation.py : يحسب ويتصور درجات F1 لنتائج التصنيف ، مع انهيار الفئة. يمكن إنشاء مصفوفات الارتباك والجداول الموجزة لفهم أداء النموذج عبر الفئات.

التعلم K-Shot

• يدعم خط أنابيب الجيل المطبق التعلم K-Shot ، حيث يتم استرداد K معظم الأمثلة المماثلة من مجموعة التدريب باستخدام تشابه TF-IDF. وهذا يعزز التصنيف المستند إلى المقدمة من خلال تزويد النموذج بأمثلة ذات صلة بالسياق.

ضبط الرمز

• تم تصميم أجهزة الكمبيوتر المحمولة مثل news-aya-symbol-tuning.ipynb و Symbol_tuning_aya.ipynb لضبط الرموز المطالبة ، والتي يمكن أن تحسن تفسير النموذج واتساق الاستجابة. يقدم توليف الرموز تعديلات طفيفة على المطالبات ، مما يعزز فهم النموذج للاستعلامات الدقيقة.

مثال سير العمل

1. إعداد البيانات : استخدم Creating_dataset.ipynb للمعالجة المسبقة وتنسيق مجموعة البيانات الخاصة بك.
2. جيل البرامج : تحميل news-aya-system-user-prompt.ipynb لتحديد المطالبات والمستخدم ، وتشغيل التصنيف على مجموعة البيانات.
3. التقييم : استخدم Classification_report.ipynb لحساب المقاييس مثل الدقة ودرجة F1 و f1-calculation.py لتصور الأداء.
4. توليف الرمز : قم بتشغيل news-aya-symbol-tuning.ipynb لتحسين التصميم السريع مع ضبط الرموز.

التحسينات المستقبلية

• التحسين الفوري : مزيد من تحسين طرق توليد المطالبة لدعم مهام التصنيف الأكثر تعقيدًا.
• النقل الدقيق : دمج صقل النموذج على مجموعات البيانات المخصصة لتحسين القدرة على التكيف النموذجية.
• التعلم الممتد K-Shot : تجربة مع قيم K المتغيرة لتحسين التعلم داخل السياق.
• تحسينات ضبط الرموز : تمديد تقنيات ضبط الرموز للتعامل مع نطاق أوسع من المهام وسياقات المستخدم.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

المساهمة

المساهمات مرحب بها! لا تتردد في تقديم المشكلات أو طلبات الميزات أو سحب طلبات تحسين هذا المشروع.