faq llm
1.0.0
يحتوي هذا المستودع على الرمز والموارد لبناء شاث عن طريق الأسئلة الشائعة للتجارة الإلكترونية باستخدام ضبط دقيق فعال مع المعلمة مع تقنية LORA. يهدف المشروع إلى تطوير برنامج chatbot لموقع التجارة الإلكترونية من خلال الاستفادة من نماذج اللغة الكبيرة (LLMS) واعتماد نهج ضبط دقيق باستخدام نموذج Falcon-7B. يتم تنفيذ عملية التكييف باستخدام ضبط دقيق فعال للمعلمة (PEFT) وتقنية LORA (التكيف منخفض الرتبة) لتعزيز أداء النموذج.
في عالم التجارة الإلكترونية سريعة الخطى ، يعد التعامل مع استفسارات العملاء أمرًا بالغ الأهمية. يقدم هذا المشروع حل ChatBot للاستفادة من نماذج اللغة المتقدمة لأتمتة الإجابات على الأسئلة التي يتم طرحها بشكل متكرر. يتم تدريب النموذج الذي تم ضبطه ، Falcon-7B ، على مجموعة بيانات مخصصة مستخرجة من Kaggle ، معالجة استعلامات المستخدم الشائعة في مجال التجارة الإلكترونية.
يعتمد المشروع على نماذج مدربة مسبقًا ، بما في ذلك نماذج GPT من Openai ونماذج Llama's Meta. كما أنه يستكشف chatbots الحالية مثل IBM Watson Assistant و ADA Healthcare chatbot. وتناقش المقارنة بين RAG (الجيل المعزز للاسترجاع) والنماذج التي تم ضبطها.
تضم مجموعة البيانات ، التي يتم الحصول عليها من Kaggle ، 79 عينة مع الأسئلة والإجابات المقابلة. يتضمن الانقسام 67 عينة للتدريب (85 ٪) و 12 عينة للاختبار (15 ٪).
رابط إلى مجموعة البيانات على Kaggle
تتضمن المنهجية استخدام نموذج Falcon-7B ، والضبط مع تقنية PEFT و Lora ، والاستفادة من المكتبات الرئيسية مثل المحولات و PEFT عن طريق المعانقة. تتضمن العملية المعالجة المسبقة لمجموعة البيانات ، وتكوين محولات LORA ، والتدريب على النماذج.
يوضح النموذج انخفاض قيم الخسارة عبر الحقبة ، مما يشير إلى اتجاهات التدريب الإيجابية. تعرض درجة BLEU ، المستخدمة للتقييم ، كفاءة النموذج في توليد الاستجابات التي تتماشى مع النتائج المتوقعة.
يساهم المشروع في تعزيز دعم العملاء في التجارة الإلكترونية من خلال نماذج اللغة المتقدمة. في حين أن النتائج المحققة واعدة ، يوصى بتجارب أخرى مع مجموعات بيانات أكبر وصقل النموذج المستمر.
يتم تمديد شكر وتقدير إلى مطوري طراز Falcon-7B ، ومجتمع Hugging Face ، و Kaggle لاستضافة مجموعة البيانات ، وأعضاء هيئة التدريس في جامعة نيو هافن.
تم تطوير تطبيق بديل للاستخدام المحلي ، ويتطلب وحدة معالجة الرسومات مع ما لا يقل عن 16 جيجا بايت من ذاكرة الوصول العشوائي للفيديو (VRAM) للأداء الأمثل. التطبيق في هذا المستودع. الخروج في STERMILIT-APP DIR
لا تتردد في استكشاف وتجربة والمساهمة في مزيد من التحسينات.
