الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

مولد العنوان مع LLM & PEFT (Lora)

[تحديث]: سيتم إضافة LLAMA2 المضبوط مع Qlora قريبًا!

يهدف هذا المشروع إلى إنشاء عنوان من الملخص المحدد للمقالات الأكاديمية. تم ضبط النماذج مع PEFT باستخدام مجموعة بيانات ARXIV. تم ضبط نموذجين مختلفين مع Lora (Hu et al. ، 2021). تم اختيار المقالات فقط في فئة علوم الكمبيوتر في مجموعة بيانات ARXIV . تم تقليل هذا الرقم أيضًا بسبب الذاكرة والحدود الزمنية. تتوفر النماذج التي تم ضبطها عبر مساحات Huggingface:

  • المساحات المعانقة بارت
  • المساحات المعانقة T5

يشمل المشروع:

  • طريقة التكيف منخفضة الرتبة (Lora)
  • المعلمة فعالة للضبط الدقيق (PEFT)
  • التدريبات النموذجية المعانقة (T5-Base ، BART-BASE)
  • مقياس التقييم Rouge Score
  • طلقة واحدة ، تقييم الصفر الطلق وإضافة موجه التعليمات
  • دمج النموذج وتحميله على Luggingface
  • سجلات التتبع ، واستخدام الذاكرة ، والوقت المنقضي للمعالجة المسبقة ، والتدريب ، وعمليات التقييم ، وتصور التدريب/الاختبار
  • EDA و Script لتصفية مجموعة بيانات ARXIV مع مقالات علوم الكمبيوتر فقط (CS).
  • تصفية وتحويل مجموعة بيانات .json إلى .CSV Format

المكتبات والحزم الخارجية:

  • الشعلة
  • luggingface
  • محولات
  • bitsandbytes
  • PEFT
  • تسريع
  • تقييم (درجة روج)
  • لوراليب
  • TRL
  • pandas ، numpy ، matplotlib ، tqdm ، time

معلمات التدريب والقيود

  • 6000 عينة تدريب ، 1000 عينة التحقق من الصحة ، يتم ترشيح 250 عينة اختبار من مجموعة البيانات.
  • (عدد الأوراق ذات الصلة CS هو 299131. ومع ذلك ، فإن أحد أهداف هذا المشروع هو التحقق من كفاءة LLMs الصغيرة مع PEFT/LORA. وبالتالي ، يتم النظر في عينات بيانات التدريب الأقل وأعمل تدريب أقل.)
  • يتم تدريب النماذج لمدة 6 عصر.
  • Lora Lunting R=8 ، alpha=64 ، dropout=0.01 ، learning rate=2e-4 ، paged_adamW_32bit optimizer

نتائج

بارت ضبطها

  • ذاكرة مخبأة: 11.2 غيغابايت
  • وقت التدريب: 11423.89 s

ضبط T5

  • الذاكرة المخبأة: 13.7 جيجابايت
  • وقت التدريب: 9793.74 s

مخرجات BART ذات ضبطها

العنوان الأصلي العنوان المولد
1 الدوائر الكمومية لأنظمة الكم المرتبطة بقوة المحاكاة الكمومية للعديد
2 Teko: الرسم البياني الغني بالنص الشبكات العصبية ذات المعرفة الخارجية الرسم البياني الغني بالنص الشبكات العصبية ذات المعرفة الخارجية
3 البضائع: تخزين مضغوط فعال خالي من التنسيق للمعلومات الجينية البضائع: أرشفة مضغوطة للجينوم
4 مكافحة الطاقة الموفرة للطاقة في اتصالات MMWAVER للقطار كفاءة الطاقة للاتصالات MMWAVER للقطارات للقطارات عالية السرعة
5 دراسة استقصائية حول التحيز في أبحاث التعلم الآلي فهم مصادر وعواقب التحيز في التعلم الآلي
6 SA-unet: الاهتمام المكاني U-Net لتجزئة أوعية الشبكية الاهتمام المكاني U-Net: الاهتمام المكاني للأمراض المتعلقة بالعين
7 خوارزمية مجلية جديدة للتجزئة K السريعة خوارزمية مجلية رواية للتجميع K.
8 تقدم وتحديات إنترنت الأشياء في الرعاية الصحية: مراجعة قصيرة الرعاية الصحية الذكية والرعاية الصحية: تحليل مقارن للرعاية الصحية والأمن الذكي
9 FVC: إطار جديد نحو ضغط الفيديو العميق في مساحة الميزة ضغط الفيديو الميزات للفضاء لتعلم ترميز الفيديو

لقطات الشاشة

  • خسارة التدريب/الاختبار BART (6 عصر)

  • T5 التدريب/الاختبار فقدان (6 عصر)

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل