الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

المدرسة الصيفية الدولية في التقدم في الذكاء الاصطناعي

نماذج لغة كبيرة وكيفية تعليمها لضبطها (بطريقة مستدامة)

المؤلفون : دانيلو كروس

شكراً جزيلاً لـ: Claudiu Daniel Hromei لدعمها لتطوير (معظم) رمز)

يستضيف هذا المستودع مواد من المحاضرة التي عقدت في المدرسة الصيفية في AI 2024 التي تنظمها Aixia.

الهدف من هذه المحاضرة هو:

  • أدخل بنيات قائمة على المحولات ، بما في ذلك ترميز الترميز ، والتشفير فقط ، والهياكل Decoder فقط.
  • إظهار ضبط نماذج اللغة الكبيرة (LLMS) على مجموعات بيانات متنوعة في إطار متعدد المهام.
  • الاستفادة من التكيف منخفض الرتبة (LORA) لضبط مستدام وفعال على الأجهزة "المتواضعة" (على سبيل المثال ، وحدة معالجة الرسومات RAM واحدة 16 جيجا بايت).

يتضمن المستودع رمزًا لضبط نموذج لغة كبير (استنادًا إلى LLAMA) لحل مهام NLP ، مثل تلك المقترحة في Evalita 2023.

شفرة

المختبر: نموذج لطفلة LLAMA لجميع المهام من Evalita 2023

في النهاية ، توضح هذه المحاضرة كيفية تشفير البيانات من مهام مختلفة إلى مطالبات محددة وضبط LLM باستخدام Q-lora. يمكن استخدام الرمز أيضًا في Google Colab باستخدام GPU NVIDIA-T4 مع ذاكرة 15 جيجابايت.

يعتمد الرمز بشكل كبير على الكود المستخدم في نظام Extremita المشارك في Evalita 2023:

  • ورقة Extremita
  • رمز Github Extremita

العملية الكلية مقسمة في أربع خطوات:

  • الخطوة 1 - ترميز البيانات : يوضح كيفية تشفير البيانات من مهمة Evalita لإنشاء مطالبات لـ LLM
  • الخطوة 2-صقل طراز Llama : يوضح كيفية ضبط LLMs بالنظر إلى المطالبات
  • الخطوة 3 - الاستدلال: توليد إجابات : يوضح كيفية استخدام النموذج الذي تم تغريمه
  • الخطوة 4 - تفكيك البيانات : يوضح كيفية تحويل البيانات المراد تقييمها في تحدي Evalta

الشرائح

يتميز المستودع أيضًا بالشرائح (الرابط).

تمرين

تم اقتراح تمرين في الشرائح الأخيرة من العرض التقديمي.

جهات الاتصال

للاستعلامات أو الاقتراحات ، قم بتجنب مشكلة في هذا المستودع أو إرسال بريد إلكتروني إلى [email protected]

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل