simpleChat_llama2_mac_silicon

Simplechat_llama2_mac_silicon

** ملاحظة ** لقد قمت برؤشفة هذا الريبو ، كما هو مسنين! ؟؟؟؟؟

تطبيق دردشة بسيط مع تضمينات وقاعدة بيانات المتجهات ، حصريًا للتنفيذ المحلي على سيليكون Mac/Apple.

هذا الريبو هو تقطير و riff يعتمد على PrivateD و LocalGPT الذي أنشأته لتشغيله حصريًا على سيليكون Apple وخاصةً MacBook Pro (M1). كان الدافع الخاص بي هو إنشاء الحد الأدنى لدردشة LLM القابلة للحياة تعمل بشكل كامل على جهازي ، لأغراض التعلم.

سمات

• Llamacpp من Llama.cpp
• نماذج من معانقة الوجه
• التضمينات من معانقة الوجه
• قاعدة بيانات المتجهات من Chroma
• Langchain Framework Langchain
• واجهة المستخدم عن طريق جاجيو

متطلبات

• كمبيوتر MAC مع سيليكون Apple
• كوندا

إنشاء وتفعيل بيئة كوندا جديدة

conda create -n simpleChat python=3.11
conda activate simpleChat

استنساخ الريبو

git clone https://github.com/ziligy/simpleChat_llama2_mac_silicon simpleChat
cd simpleChat

تثبيت

لانجشين

conda install -c conda-forge langchain==0.0.239

ترقية Llama-CPP-Python للمعادن

CMAKE_ARGS= " -DLLAMA_METAL=on " FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python==0.1.77 --no-cache-dir

المتطلبات

pip install -r requirements.txt

قم بتنزيل نموذج GGML وضبط Model_Path

قم بتنزيل هذا النموذج أو نموذج GGML (مطلوب) 4 بت (مطلوب)

llama-2-13b-chat.ggmlv3.q4_1.bin

حدد model_path في constants.py لتعيين موقع واسم النموذج الذي تستخدمه.

(على سبيل المثال في Constants.py ) model_path = os.path.expanduser ('~') + "/models/llama-2-13b-ghat.ggmlv3.q4_1.bin"

بدء الدردشة على خادم Gradio

gradio app.py

يجب أن ترى: الجري على عنوان URL المحلي: http://127.0.0.1:7861

CMD + انقر على الرابط لبدء واجهة المستخدم في المتصفح الخاص بك

انتقل إلى متصفحك للدردشة مع الذكاء الاصطناعي.

ملاحظة قد تستغرق ردود الدردشة من دقيقة إلى دقيقتين ، لذلك ستحتاج إلى التحلي بالصبر

---

تعليمات لاستقبال مجموعة البيانات الخاصة بك اختياريا

ملاحظة: مكون Incest.py هو شوكة من LocalGpt

ضع أي وجميع ملفات .txt أو .pdf أو .csv في دليل Source_Documents

أنواع الملفات الافتراضية الحالية هي .txt و .pdf و .csv و .xlsx ، إذا كنت ترغب في استخدام أي نوع ملف آخر ، فستحتاج إلى تحويله إلى أحد أنواع الملفات الافتراضية.

قم بتشغيل الأمر التالي لتلوين جميع البيانات.

python ingest.py

سيقوم بإنشاء فهرس يحتوي على ناقل المحلي. سوف يستغرق بعض الوقت ، اعتمادًا على حجم مستنداتك.

إذا كنت ترغب في البدء من قاعدة بيانات فارغة ، فاحذف مجلد DB.

rm -r ./DB

سيقوم تنفيذ برنامج Ingest.py بإعادة إنشاء دليل DB جديد