الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

بناء قاعدة معرفة كبيرة من الصفر من الصفر

ينفذ هذا المشروع عملية استخدام قاعدة المعرفة الخارجية للنماذج الكبيرة من الصفر:

  1. معالجة مجموعة البيانات الصينية
  2. تدريب نموذج ناقلات الكلمات
  3. وثيقة التقييم
  4. قاعدة معرفة تخزين قاعدة بيانات المتجهات
  5. نشر chatglm2-6b النشر النموذج الكبير
  6. تطبيق قاعدة معرفة بسيطة

هيكل المشروع

  • Corpus: المجلد حيث يتم تخزين وثائق قاعدة المعرفة
  • البيانات: البيانات المتعلقة بالتدريب على نموذج Vector Word (ملف النموذج كبير ، يرجى تنزيل النموذج بنفسك)
  • DOC: رمز المصدر والوثائق للتدريب على نموذج Vector Word
  • llm_server: تطبيق قاعدة معرفة بسيطة
  • Vector_DB: حفظ المستند في Corpus في قاعدة بيانات Qdrant Vector
  • config.json: بعض تكوينات المشروع
    • Openai_api_key: مفتاح API Openai's
    • inmbeddding_model_type: نموذج ناقل النموذج Openai أو Word2Vec
    • chat_model_type: حوار Mockup Openai أو ChatGlm
    • chatglm_port: منفذ للنشر المحلي لـ ChatGlm
    • ** المسار: بعض المسارات ، بدءًا من دليل جذر المشروع
    • Collection_name: اسم مجموعة قاعدة بيانات المتجه

يجري

توليد قاعدة معرفة مستمرة 

 cd vector_db
pip install -r requirements.txt
python main.py

ستقوم Main.py تلقائيًا بإنشاء قاعدة بيانات متجه تسمى Collection_Name وتخزين متجهات المستند في مجلد Corpus في قاعدة البيانات

تشغيل التطبيق 

 cd llm_server
pip install -r requirements.txt
python main.py

قم بتشغيل chatGLM2-6B المنشور محليًا

الرجوع إلى المستند الرسمي من chatglm2-6b

درس تعليمي

  • تدريب Word2Vec

  • يعلمك خطوة بخطوة من نقطة الصفر لبناء قاعدة للمعرفة للنماذج الكبيرة

  • document.ai

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل