airgapped offfline rag

قطعة أرض غير متصلة بالإنترنت

هذا المشروع الذي قام به Vincent KOC ينفذ نظام إجادة أسئلة قائم على الاسترجاع (RAG) للوثائق. يستخدم نماذج Llama 3 و Mistral و Gemini للاستدلال المحلي مع Llama C ++ و Langchain للتنسيق والكروماد لتخزين المتجهات والتدفق لواجهة المستخدم.

جدول المحتويات

• قطعة أرض غير متصلة بالإنترنت
  • جدول المحتويات
  • يثبت
  • تشغيل التطبيق
    • محليا
    • باستخدام Docker
  • الاستخدام
  • إعدادات
  • سمات
    • الميزات المدعومة
    • الميزات المستقبلية
  • المساهمة
  • رخصة
  • شكر وتقدير

يثبت

1. تأكد من تثبيت Python 3.9 : يمكنك استخدام pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. إنشاء بيئة افتراضية وتثبيت التبعيات :

    make setup
   

3. تنزيل النماذج : قم بتنزيل نماذج Llama 3 (8b) و Mistral (7b) بتنسيق GGUF ووضعها في models/ الدليل. شاركت TheBloke على الوجه المعانقة النماذج هنا:

   • MISTRAL-7B-instruct-v0.2-gguf
   • Llama-Pro-8b-instruct-gguf

   كما تم اختبار النماذج من unsloth ويمكن العثور عليها هنا:

   • gemma-2-2b-it.q2_k.gguf
   • llama-3.2-3b-instruct-q2_k.gguf

4. طراز محول الجملة QDrant : سيتم تنزيل هذا تلقائيًا في المدى الأول. إذا قامت تشغيل RAG Airgped محليًا ، فمن الأفضل تشغيل قاعدة البيانات مع الوصول إلى الإنترنت في البداية لتنزيل النموذج.

تشغيل التطبيق

محليا

 make run

باستخدام Docker

 make docker-build
make docker-run

الاستخدام

1. قم بتحميل مستندات PDF باستخدام ملف تحميل الملف.
2. حدد النموذج الذي تريد استخدامه (على سبيل المثال ، Mistral).
3. أدخل سؤالك في إدخال النص.
4. انقر فوق "إنشاء الإجابة" للحصول على استجابة بناءً على محتوى المستند.

إعدادات

اضبط الإعدادات في config.yaml لتعديل مسارات النموذج ، وأحجام القطع ، وغيرها من المعلمات.

سمات

الميزات المدعومة

• الاستدلال المحلي مع Llama C ++
• دعم النموذج لـ Llama 3 (3 و 3.1)
• دعم النموذج لسوء
• دعم النموذج للجرميني
• دعم النماذج الكمية
• تحميل المستندات ومعالجتها
• نظام الإجابة على الأسئلة
• نموذج محول الجملة لتخزين المتجهات
• التكامل مع STREMLIT لمواجهة واجهة المستخدم
• دعم استجابات البث

الميزات المستقبلية

• التكامل مع نماذج إضافية (قريبا)
• دعم المستندات غير PDF (قريبًا)
• دعم مستندات الصورة (قريبًا)
• دعم لتصور التضمينات (قريبا)
• دعم سجل الدردشة (قريبا)
• واجهة المستخدم المحسّنة (قريبًا)
• دعم الوثائق متعددة الوسائط (قريبًا)
• تصدير واستيراد تكوينات الخرقة (قريبا)
• كشف واجهة برمجة تطبيقات REST (قريبًا)
• قابلية الملاحظة (قريبا)

المساهمة

المساهمات مرحب بها! يرجى تورك المستودع وتقديم طلب سحب. للتغييرات الرئيسية ، يرجى فتح مشكلة أولاً لمناقشة ما تريد تغييره.

رخصة

تم ترخيص هذا المشروع بموجب ترخيص GNU العام الإصدار 3.0 (GPLV3). انظر ملف الترخيص للحصول على التفاصيل.

هذا يعنى:

• يمكنك استخدام هذا البرنامج وتعديله وتوزيعه بحرية.
• إذا قمت بتعديل هذا البرنامج أو تمديده ، فيجب عليك إصدار التغييرات الخاصة بك تحت GPL.
• يجب عليك تضمين إشعار حقوق الطبع والنشر الأصلي والنص الكامل لترخيص GPL.
• لا يوجد ضمان لهذا البرنامج المجاني.

لمزيد من المعلومات ، يرجى زيارة GNU GPL V3.

شكر وتقدير

• بفضل thebloke و unloth لمشاركة النماذج الكمية.
• يستخدم هذا المشروع العديد من المكتبات مفتوحة المصدر. انظر المتطلبات. txt للحصول على التفاصيل.