LLM MEM

LLM-MEM؟

نموذج لغة محسّن مع تخزين الذاكرة الدلالية

التنفيذ القائم على بيثون يزيد من نماذج اللغة مع الذاكرة الدلالية المستمرة باستخدام تضمينات المتجهات والبحث عن التشابه.

؟ سمات

• التقطيع الدلالي للمحادثات باستخدام NLTK
• توليد التضمينات المتجهة باستخدام محولات الجملة
• استرجاع السياق القائم على تشابه جيب التجربة
• تخزين الذاكرة المستمر باستخدام قاعدة بيانات المتجه
• حقن السياق التلقائي لمزيد من الاستجابات المتماسكة
• تصحيح النص الذكي مع الحفاظ على كتلة الكود

كومة تقنية

• sentence-transformers : لتوليد التضمينات الدلالية
• nltk : مجموعة أدوات معالجة اللغة الطبيعية لمعالجة النص
• تكامل مخصص LLM
• متجر المتجهات لتخزين واسترجاع التضمينات
• استراحة نقاط نهاية API لعمليات المتجهات

؟ المتطلبات الأساسية

• محولات الجملة
• NLTK
• الطلبات
• Google-Generativeai

بداية سريعة

1. استنساخ المستودع:

git clone https://github.com/Abhigyan126/LLM-MEM.git
cd LLM-MEM

2. تثبيت التبعيات:

pip install sentence-transformers nltk requests google-generativeai

3. إنشاء ملف .env

   key = your_llm_key

4. قم بتشغيل البرنامج النصي الرئيسي:

python main.py

كيف تعمل

1. معالجة النص : تتم معالجة الرسائل الواردة وتنظيفها
2. توليد التضمين : يحول النص إلى تضمينات ناقلات
3. البحث الدلالي : يجد السياقات السابقة ذات الصلة باستخدام تشابه جيب التمام
4. تكامل السياق : دمج التاريخ ذي الصلة مع الاستعلام الحالي
5. توليد الاستجابة : يولد الاستجابة باستخدام LLM مع سياق محسن
6. تخزين الذاكرة : يخزن تفاعلات جديدة للرجوع إليها في المستقبل

؟ إعدادات

يستخدم النظام عدة معلمات قابلة للتكوين:

• الحد الأقصى لطول الجزء: 2000 حرف
• الحد الأدنى لحجم الجزء: 100 حرف
• عتبة التشابه: 0.5
• الافتراضي أقرب الجيران: 10