VectorDB Plugin for KoboldAI

KoboldCPP قاعدة بيانات ناقلات

• بسبب قيود الوقت والقدرة على الاختبار ، تدعم فقط على أنظمة Windows مع Nvidia GPU .

متطلبات

1. ؟ Python 3.11 (Pytorch غير متوافق مع Python 3.12 حتى الآن)

2. ؟ غيت

3. ؟ git تخزين الملفات الكبيرة.

4. باندوك.

5. CUDA "مطلوب" من الناحية الفنية ولكن البرنامج النصي للتثبيت يقوم بتثبيته تلقائيًا. لا تحتاج إلى تثبيت النظام على مستوى النظام.

6. بناء الأدوات.

   بعض التبعيات لا تحتوي على "عجلات" مُجسدة مسبقًا ، لذا يجب عليك بناءها بشيء مثل Microsoft Build Tools و/أو Visual Studio. أوصي Visual Studio ، ولكن تأكد من تحديد امتداد "Desktop Development مع C ++" وتحقق من الصناديق الأربعة على اليمين "SDK".

   مثال خطأ على Windows

   
   حل مثال على Windows

   

تثبيت

الخطوة 1

قم بتنزيل أحدث "إصدار" ، استخراج محتوياته ، وانتقل إلى المجلد "SRC" لتشغيل الأوامر أدناه.

• ملاحظة: إذا قمت باستنساخ هذا المستودع ، فلن تحصل على أحدث إصدار. بدلاً من ذلك ، ستقوم بتطوير إصدارات من هذا البرنامج والتي قد تكون مستقرة أو لا تكون مستقرة.

الخطوة 2

انتقل إلى مجلد src ، وفتح موجه الأوامر ، وإنشاء بيئة افتراضية:

 python -m venv .

الخطوة 3

تنشيط البيئة الافتراضية:

 .Scriptsactivate

الخطوة 4

تشغيل الإعداد:

 python setup_windows.py

إذا كنت بحاجة إلى محاولة إعادة التثبيت لأي سبب من الأسباب ، قم بتشغيل هذا الأمر لإلغاء تثبيت كل شيء ومحاولة مرة أخرى: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

الخطوة 5

 python gui.py

الاستخدام

ابدأ Kobold

• انتقل إلى github من Koboldcpp وقم بتنزيل ملف .exe المناسب أو تشغيل python download_kobold.py من بيئتك الافتراضية بدلاً من ذلك.
• حدد أي/جميع الخيارات التي تريدها وابدأ البرنامج ، ولكن تأكد من إلغاء تحديد خيار المستعرض المفتوح. يمكنك أيضًا التحقق من الوضع "الهادئ" ، والذي يمنع نافذة موجه أوامر Kobold من طباعة كل شيء بتكرار.