الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تحدث إلى مدونات Redis باستخدام تشابه Redis Vector وتخزين التخزين المؤقت الدلالي

نقوم ببناء chatbot التي يمكن أن تلخص وتوصي المدونات على موقع Redis.com على موقع Quarety على استعلام المستخدم.

ذروة التسلل

يستخدم هذا المشروع الصغير نماذج من الذكاء الاصطناعي

  • All-MPNET-Base-V2
  • بارت (طراز كبير الحجم) ، تم ضبطه على شبكة سي إن إن ديلي ميل

في هذا المشروع ، نهدف إلى التظاهر

  • باستخدام Redis Vector Thankity Search ، الذي يعمل على محتوى البيانات ويساعدنا على العثور على المدونات ذات المحتوى المشابه للمطالبة التي أدخلها المستخدم
  • باستخدام REDIS كذاكرة التخزين المؤقت الدلالية ، والتي تستخدم مرة أخرى تشابه المتجه ، ولكن في هذه الحالة ، يعمل بحث التشابه على الأسئلة السابقة للمستخدمين التي يتم تخزينها في Redis. هذا يمنحنا فوائد هائلة من حيث الفعالية والاستجابات السريعة للآلاف من المستخدمين المتزامنين الذين لديهم أسئلة مماثلة

تدور حول مثيل redis ممكّن مع redisstack!

أسهل طريقة لاستخدام صورة Docker باستخدام الأمر أدناه 

docker run -d -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

إذا كنت لا ترغب في استخدام صورة Docker ، فيمكنك الاشتراك في اشتراك Redis Cloud مجاني هنا.

قم بإعداد المشروع

قم بتنزيل المستودع 

 git clone https://github.com/mar1boroman/ask-redis-blogs.git && cd ask-redis-blogs

إعداد وتفعيل البيئة الافتراضية 

 python3 -m venv .env && source .env/bin/activate

تثبيت المكتبات والتبعيات اللازمة 

 pip install -r requirements.txt

الخطوة 1: دعنا نستخرج المدونات من موقع Redis الرسمي. (خياري)

لدينا قاعدة معرفة واسعة في مدونة REDIS ، LETNE First Script وهو عبارة عن WebScraper ، سيؤدي هذا البرنامج النصي إلى كشافة موقع الويب وإنشاء ملف CSV يحتوي على بيانات جميع المدونات المتاحة. 

python 0_ext_redis_blogs.py

لاحظ أن هذا المستودع قد تم تحديث المدونات حتى 19 سبتمبر 2023 ، فإن تشغيل هذا البرنامج النصي سيقوم فقط بتنزيل المدونات الجديدة. يتم حفظ ملف CSV في Redis_blogs.csv

الخطوة 2: قم بتشغيل ملف CSV من خلال All-MPNET-Base-V2

في هذه الخطوة ، نقوم بإنشاء التضمين لمحتوى النص لكل مدونة وتخزينها بتنسيق التجزئة 

python 1_load_redis_blogs.py

يمكنك استكشاف محتوى قاعدة بيانات Redis الخاصة بك في Redisinsight على متصفحك على http: // localhost: 8001

الخطوة 3

الآن بعد أن قمنا بتخزين المدونات وتضميناتها في Redis ، حان الوقت لرؤية chatbot في العمل!. 

 streamlit run 3_ui.py

الخطوة 3.1 - تلخيص تلقائي

دعنا ندير بحثًا بسيطًا عن تشابه المتجه على مدوناتنا.

تشابه متجه بسيط

تأكد من أن مربع الاختيار "التلقائي الملخص" لم يتم تحديده

أدخل مطالبة. على سبيل المثال 

 Triggers and Functions

ستحصل على 3 توصيات مدونة ضمن مللي ثانية. يتضمن الاستجابة أيضًا الوقت المستغرق لإعادة الاستجابة. في هذه الحالة ، يحدث البحث بالكامل في redis ، باستثناء أن المطالبة يتم تشغيلها من خلال All-MPNET-Base-V2 قبل تشغيل البحث عن التشابه

الخطوة 3.2 - تلخيص تلقائي

دعونا نحصل على المزيد من التقدم.

LLM البحث الدلالي

تأكد من فحص مربع اختيار "تلخيص تلقائي"

أدخل مطالبة. على سبيل المثال 

 Triggers and Functions

عند إدخال هذه المطالبة لأول مرة ، ستحدث الأشياء التالية

  • يتم تشغيل المطالبة من خلال All-MPNET-Base-V2
  • سوف يؤدي البحث عن التشابه بين التضمين للمطالبة والتضمينات المخزنة في Redis إلى 3 توصيات مدونة
  • يتم تشغيل المحتوى النصي لجميع المدونات الثلاثة الموصى بها من قبل الخطوة السابقة من خلال BART (نموذج كبير الحجم) ، تم ضبطه على CNN Daily Mail Summarizer لإنشاء ملخص قصير لكل من المدونة
  • يتم إرسال توصيات المدونة الثلاثة ، جنبا إلى جنب مع ملخصاتها مرة أخرى إلى chatbot.

هذا يستغرق وقتًا طويلاً للغاية ، حوالي 30 ثانية

وبالتالي ، نحن نخزن الاستجابة والمطالبة في redis. تحقق من redisinsight في المتصفح وسترى مفتاحًا تم إنشاؤه مع البادئة LLM_CACHE

بمجرد إرجاع الاستجابة ، يتم تخزين المطالبة والاستجابة ، والأهم من ذلك أن المطالبة يتم تشغيلها من خلال All-MPNET-Base-V2 ويتم تخزين التضمين المقابل لها أيضًا

حاول الآن تشغيل نفس الموجه (أو موجه مماثل مرة أخرى). على سبيل المثال 

 About Triggers and functions

ستحصل على الاستجابة المخزنة مؤقتًا بناءً على بحث تشابه المتجه السريع بين المطالبات والاستجابة التي تم تخزينها في الخطوة السابقة.

يمكننا أن نرى بوضوح فوائد استخدام التخزين المؤقت الدلالي هنا

  • يتم تقليل الوقت المستغرق للرد على استفسارات مماثلة بشكل كبير
  • ليس عليك العودة إلى نموذج الذكاء الاصطناعي لإنشاء ملخصات لاستعلامات مماثلة. (حفظ بعض الرموز!)
  • يمكن للاستجابة المخزنة مؤقتًا أن تخدم آلاف المستخدمين المتزامنين (وفر المزيد من الرموز!)

الخطوة 4 (اختياري)

يتوفر إصدار من chatbot في إصدار CLI 

python 2_vecsim_redis_blogs.py
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل