ALP

Alp

ملخص

ALP عبارة عن نظام محادثة مفتوح المصدر وقائم على المعرفة ، مصنوع لإنتاج استجابات متجذرة في المعلومات ذات الصلة من المصادر الخارجية. ؟

يتيح لك ALP بناء قاعدة معرفة كبيرة يمكن الاستعلام عنها أثناء التفاعل مع chatbot. تتيح إنشاءات السياق القائمة على التشابه أهمية أفضل للمواد المستخرجة من قاعدة البيانات. يحتوي chatbot على ذاكرة محادثة غير محدودة والقدرة على تصدير المحادثة والتضمينات المصدر لتنسيق JSON.

يحافظ ALP على تاريخ المحادثة والتضمينات في قاعدة بيانات SQLite المحلية؟ ️. نتيجة لذلك ، يلزم عمليات تحميل المستندات وتضمينها مرة واحدة فقط ، مما يتيح للمستخدمين استئناف المحادثات بسلاسة.

يهدف ALP إلى تشغيله عبر LocalHost. كل ما تحتاجه هو Python وعدد قليل من الأوامر لإعداد البيئة. لا تتردد في شوكة ، واستكشاف الكود ، والتكيف مع احتياجاتك؟

جدول المحتويات

• Alp
  • جدول المحتويات
  • Changelog
  • مقدمة
  • سمات
  • تثبيت
  • إعدادات
  • الاستخدام
  • العرض التوضيحي
  • تودو

Changelog

• 20240815-قائمة النماذج التي تم تحديثها إلى: gpt-4o' ، gpt-4o-mini
• 20231226- gpt-4-1106-preview المضافة كنموذج توليدي افتراضي. يمكن للمستخدم تغييره في ./lib/params.py في prod_model . إنشاء صفحات إنشاء عدد الأخطاء.
• 20230911 - حدد سلوك الوكيل المخصص في ./static/data/simulacra.json واختره في مدير الجلسة من قائمة منسدلة.
• 20230406 - Bug -Fix الذي منع البرنامج لتهيئة قاعدة البيانات ضمن/ثابت/بيانات/DBS/؛ متطلبات
• 20230705 - نموذج بيانات جديد ، التضمينات المستندة إلى Sbert
• 20230411 - ترقية الواجهة ، تحسينات UX ، إبعاد bugs
• 20230405 - مخازن البرامج تاريخ التقارب

مقدمة

يعزز ALP دقة استجابات النماذج المستندة إلى GPT بالنسبة لمستندات PDF المعطاة باستخدام طريقة زيادة الاسترجاع. يضمن هذا النهج أن يتم نقل السياق الأكثر صلة دائمًا إلى النموذج. تتمثل النية وراء ALP في المساعدة في استكشاف قاعدة المعرفة الساحقة لأوراق البحث والكتب والملاحظات ، مما يسهل الوصول إلى المحتوى وهضمه.

يستخدم ALP حاليًا النماذج التالية:

1. تضمين النص: multi-qa-MiniLM-L6-cos-v1
2. الجيل: gpt-4o' ، gpt-4o-mini

سمات

• مساعد أبحاث المحادثة : التفاعل والحصول على معلومات من مجموعات ملفات PDF.
• ذاكرة محادثة غير محدودة : الاحتفاظ بالمعلومات من المحادثات السابقة لاستجابات السياق.
• عد إلى المحادثات السابقة : التقط محادثتك مباشرة حيث غادرت.
• نموذج بيانات مرن : يسمح للمحادثة مع أكثر من مستند في جلسة واحدة.
• يستخدم نماذج المصدر المفتوح : يسمح محولون الجملة بتضمين نص سريع وسريع.
• دعم المستندات الطويلة : تحميل الكتب وغيرها من ملفات PDF طويلة.
• زيادة الاسترجاع : استخدم تقنيات زيادة الاسترجاع لتحسين الدقة. اقرأ المزيد هنا.
• حدد سلوك الوكيل الخاص بك : تعيين رسالة النظام التي تحدد وكلاءك في ./static/data/simulacra.json. يمكنك بعد ذلك ضبط نموذج HTML لاختيار الأسماء من قائمة منسدلة.
• النشر المحلي : الدوران على ALP محليًا على جهازك.
• تصدير JSON : محادثة تصدير كملف JSON.
• مفتوح المصدر : الرمز الخاص بك لقراءة واختبار وكسر والبناء عليه.

تثبيت

لإعداد ALP على جهازك المحلي ، اتبع هذه الخطوات:

1. تثبيت Python:

تأكد من تثبيت Python على جهازك. أوصي Anaconda بإعداد سهل.

هام: يعمل ALP على Python 3.10

2. شوكة واستنساخ المستودع:

بعد صياغة استنساخ الريبو في سطر الأوامر:

git clone https://github.com/yourusername/alp.git 
cd ALP

3. قم بإنشاء بيئة افتراضية وتفعيلها:

من داخل ALP/ الدليل المحلي استدعاء الأوامر التالية

لمستخدمي Linux في باش:

python3 -m venv venv
source venv/bin/activate

لمستخدمي Windows في CMD:

 python -m venv venv
venvScriptsactivate.bat

هذا يجب أن يخلق ALP/ VENV/ الدليل وتفعيل البيئة الافتراضية. بطبيعة الحال ، يمكنك استخدام برامج أخرى للتعامل مع VirtualEnvs.

4. تثبيت التبعيات المطلوبة على البيئة الافتراضية:

pip install -r requirements.txt

إعدادات

بشكل افتراضي ، يعمل ALP في localhost . يتطلب مفتاح API للتواصل مع نموذج GPT عبر API Open AI. في ALP/ Directory ، قم بإنشاء api_key.txt ولصق مفتاح API الخاص بك هناك. تأكد من إضافة api_key.txt إلى ملف .gitignore الخاص بك حتى لا يتسرب إلى github. يمكنك الحصول على مفتاح API Open الخاص بك هنا https://platform.openai.com

الاستخدام

5. قم بتشغيل تطبيق ALP:

python alp.py

6. الوصول إلى التطبيق:

يجب أن يفتح التطبيق في متصفح الويب الافتراضي. إذا لم يحدث ذلك ، انتقل إلى http: // localhost: 5000. يتضمن الاستخدام أولاً إنشاء ملف app.db ضمن ALP/static/data/dbs/. هذا هو ملف قاعدة بيانات SQLite الخاص بك والذي سيحمل سجل المحادثة والتضمينات. أيضًا ، سيقوم البرنامج النصي بتنزيل "Multi-Minilm-L6-COS-V1" (80 ميجابايت) على جهاز الكمبيوتر الخاص بك من مستودعات الوجه المعانقة. سيحدث تلقائيًا عند الإطلاق الأول.

7. ابدأ في استخدام ALP:

تتكون واجهة تطبيق ALP من أقسام:

• يتيح لك HUB إنشاء مجموعة جديدة ضمن "مجموعات" أو إنشاء/متابعة جلسة محادثة ضمن "Sessions".
• مدير المجموعات: قم بإنشاء مجموعة جديدة عن طريق تحديد اسمها وتحميل ملف PDF.
• مدير الجلسة:
  • تابع الجلسة الحالية عن طريق تحديدها من القائمة المنسدلة والضرب "ابدأ".
  • قم بإنشاء جلسة جديدة هناك أيضًا عن طريق تحديد اسمها واختيار المجموعات المرتبطة بالجلسة.
  • حدد دور الوكيل المحدد مسبقًا للمحادثة. يعمل أيضا للدردشات التاريخية.
• نافذة الجلسة: تحدث إلى نموذج GPT عبر المجموعات المرتبطة بالجلسة. في كل مرة يتم فيها حساب درجة التشابه بين استعلام المستخدم وتضمينات المجموعات ، تتم طباعة قائمة بمعظم بيانات البيانات المتشابهة في وحدة التحكم في البرنامج. سيتم تمرير هذه المصادر كسياق مع سؤال المستخدم إلى نموذج GPT.

لقطات الشاشة

تودو

• السماح للمستخدم بمواصلة المحادثات في جلسات أخرى.
• حفظ سجل الدردشة في جدول منفصل
• تحميل المستند إلى جدول السياق
• السماح للمستخدم باختيار سياق للمحادثة ، أو متابعة السياق السابق
• تنفيذ نماذج التضمين البديلة (محولات الجملة)
• السماح للمستخدم بتحميل أكثر من مستند واحد
• تفسير بيانات المحادثة من بيانات التجميع
• تنفيذ محولات الجملة لتضمين النص
• عرض مصادر المستخدمة من قبل الوكيل للإجابة
• قدم العديد من الوكلاء في chatbot
• يمكن للمستخدم حذف التقارب غير المرغوب فيه من قاعدة البيانات
• قائمة الإعدادات العالمية (حاليًا في params.py)
• المستخدم قادر على تحميل النص من مصادر أخرى غير PDF
• تحسين تصميم واجهة المستخدم الرسومية
• أضف Whisper لنص الصوت