openai elasticsearch rag

تطبيق الجيل المعزز للاسترجاع (RAG) باستخدام Openai و Elasticsearch كما ناقل DB

تطبيق RAG (الجيل المتمثل في الاسترجاع) لتقديم الأسئلة والأجوبة على نص تنسيق طويل باستخدام Openai و Elasticsearch. نحن هنا

• باستخدام Elasticsearch كـ VectordB لتخزين البيانات المفهرسة واستخدامها للاسترجاع.
• باستخدام Openai لإنشاء التضمينات وإنشاء إجابات على الأسئلة بعد استرداد chuncks ذات الصلة من ES.

ابدء

المتطلبات الأساسية:

1. بيثون 3.9 أو فوق
2. pip
3. VirtualEnv
4. Elasticsearch - 7.14.0 (https://www.elastic.co/Downloads/elasticsearch)
5. مفتاح Openai API (https://platform.openai.com/)

خطوات التثبيت:

• إنشاء وتفعيل البيئة الافتراضية

python -m venv venv

 source venv/bin/activate

• تثبيت التبعيات

pip install -r requirements.txt

• قم بتنزيل نموذج Spacy لـ NLP وتقسيم النص إلى جمل.

python -m spacy download en_core_web_sm

• إعداد Elasticsearch (https://www.elastic.co/downloads/elasticsearch)
  1. تنزيل وفك ضغط Elasticsearch
  2. ابدأ Elasticsearch bin/elasticsearch (أو binelasticsearch.bat على Windows)
  3. اختبره عن طريق تشغيل curl -X GET "localhost:9200/" في المحطة

تشغيل التطبيق

قبل تشغيل التطبيق ، قم بإنشاء ملف .env باستخدام .env-template وأضف Openai API مفتاح وبيانات اعتماد Elasticsearch.

python run.py

سيبدأ التطبيق على localhost على المنفذ 8081 . فحص العقل من خلال الجري في المحطة. يجب أن تعيد رسالة Hello .

curl -X GET " localhost:8081 " 

لفهرس البيانات والاستعلام

1. إنشاء فهرس ES

curl --location --request PUT ' http://localhost:9200/first-index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
    "mappings": {
        "properties": {
            "text": {
                "type": "text"
            },
            "embedding": {
                "type": "dense_vector",
                "dims": 1536
            }
        }
    }
} '

إذا كنت ترغب في حذف الفهرس للبدء النظيف ، فاستخدم الأمر التالي.

curl --location --request DELETE ' http://localhost:9200/first-index '

2. فهرس البيانات

لفهرسة البيانات ، استخدم الأمر curl التالي. يرسل هذا الأمر طلبًا نشرًا إلى نقطة النهاية المحددة مع حمولة JSON التي تحتوي على النص المراد فهرسته واسم الفهرس.

تأكد من أن الخادم يعمل على localhost على المنفذ 8081 .

curl --location --request POST ' localhost:8081/api/index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "text": "Ajeet is an engineer turned product entrepreneur with experience in AI, SaaS, HealthTech and EdTech. He is a technology enthusiast and loves to work on new technologies. He was a founding member of leading health-tech startups HealthKart and TATA 1mg in India. He was the founder of Joe Hukum, a chatbot platform which was acquired by Freshworks. After Freshworks, he founded Seekho.ai to solve for the skill gap in Indian higher education. Currently, he is on a break and is exploring GenAI to solve for the next meaningful problem. He is passionate about solving zero to one problems and building products that can impact millions of lives.",
  "index_name": "first-index"
} '

3. بيانات الاستعلام

مثال 1:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Who is Ajeet?",
  "index_name": "first-index"
} '

مثال 2:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Joe Hukum was acquired by which company?",
  "index_name": "first-index"
} ' 

بنيت من قبل ajeet مع ☕ و ❤