LLM Recommendation Systems

LLM Recommendation-Systems

LLMs لضبط التوصيات المستندة إلى النص

يستكشف هذا المشروع إمكانات صياغة نماذج اللغة الكبيرة (LLMS) خصيصًا للتوصيات المستندة إلى النص ، بهدف تحسين الدقة ورضا المستخدم. يقدم آلية سريعة جديدة تحول معلومات العلاقة إلى نص اللغة الطبيعية ، وتمكين LLM من تفسير تفاعلات المستخدم وتقديم المزيد من التوصيات المستنيرة.

نظرة عامة على المشروع

النقاط الرئيسية:

1. استخدمت مجموعة بيانات مراجعة Amazon 2018 لتطوير نظام توصية مخصصة للمنتج.
2. نفذت ومقارنة أداء نموذجين لغوي كبير: MISTRAL-7B و Tinyllama.
3. التقنيات المتقدمة المطبقة مثل Lora (التكيف منخفض الرتبة) و qlora (LORA الكمية) لضرب النموذج الفعال.
4. طورت استراتيجية تطالب جديدة لتحويل تاريخ تفاعل المستخدم إلى مدخلات اللغة الطبيعية للنماذج.
5. حقق أكثر من 98 ٪ دقة في التنبؤ بمشتريات المنتجات التالية للمستخدمين باستخدام نموذج Tinyllama الذي تم ضبطه.
6. أثبتت أن النماذج الأصغر والمتخصصة يمكن أن تتفوق على نماذج أكبر لمهام محددة عند ضبطها بشكل صحيح.
7. أجري تحليل الخطأ لتحديد الأنماط في التنبؤات غير الصحيحة والمجالات المحتملة للتحسين.
8. استكشاف التوازن بين حجم النموذج ، والكفاءة الحسابية ، ودقة التنبؤ في أنظمة التوصية.

يركز المشروع على إظهار كفاءة LLMs لضرب مهام التوصية باستخدام مجموعة بيانات متنوعة ومتوسعة. يتضمن التنفيذ المراحل التالية:

1. استخراج البيانات والمعالجة المسبقة :

   • مجموعات فرعية مستخرجة من بيانات مراجعة Amazon وتحويلها إلى إطارات البيانات.
   • إزالة الأعمدة غير الضرورية.
   • تم تصفية المستخدمين مع تاريخ شراء غير كاف.
   • حولت البيانات المتبقية إلى مطالبات ، وتشكيل المدخلات لـ LLM.

2. هندسة سريعة :

   • استكشاف العديد من تقنيات المطالبة.
   • استقر على بنية من ثلاثة أجزاء لكل موجه: التعليمات وتفاصيل الإدخال وإخراج الحقيقة الأرضية.
   • يوفر هذا الهيكل للنموذج مهمة واضحة ومعلومات ذات صلة وتنسيق الإخراج المطلوب.

3. تنفيذ النموذج :

   • استخدم مكتبات AI و Luggingface للموديلات وأدوات التخصيص مسبقًا.
   • تعتبر qlora ، وهي تقنية لتحسين أداء النموذج.
   • تم إنشاء الأشياء الموحدة SFTTrainer و TrainingArguments الكائنات لتركيز تعديلات الفائقة على مقياسها أثناء التدريب.