openai elasticsearch rag

แอปพลิเคชั่น Augmented Generation (RAG) ดึงข้อมูลโดยใช้ OpenAI และ Elasticsearch เป็น DB เวกเตอร์

RAG (Generation-uugmented Retrieval-Augmented) เพื่อเสนอคำถามและคำตอบบนข้อความรูปแบบยาวโดยใช้ OpenAI และ Elasticsearch ที่นี่เราอยู่

• การใช้ ElasticSearch เป็น vectordb เพื่อจัดเก็บข้อมูลที่จัดทำดัชนีและใช้สำหรับการดึงข้อมูล
• การใช้ OpenAI เพื่อสร้าง EMBEDDINGS และสร้างคำตอบสำหรับคำถามหลังจากดึง chuncks ที่เกี่ยวข้องจาก ES

เริ่มต้น

ข้อกำหนดเบื้องต้น:

1. Python 3.9 หรือสูงกว่า
2. ปิ๊ก
3. virtualenv
4. Elasticsearch - 7.14.0 (https://www.elastic.co/downloads/elasticsearch)
5. คีย์ OpenAI API (https://platform.openai.com/)

ขั้นตอนการติดตั้ง:

• สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง

python -m venv venv

 source venv/bin/activate

• ติดตั้งการพึ่งพา

pip install -r requirements.txt

• ดาวน์โหลดโมเดล Spacy สำหรับ NLP และแยกข้อความออกเป็นประโยค

python -m spacy download en_core_web_sm

• การตั้งค่า Elasticsearch (https://www.elastic.co/downloads/elasticsearch)
  1. ดาวน์โหลดและคลาย Zip Elasticsearch
  2. เริ่ม Elasticsearch bin/elasticsearch (หรือ binelasticsearch.bat บน Windows)
  3. ทดสอบโดยใช้ curl -X GET "localhost:9200/" ในเทอร์มินัล

เรียกใช้แอพ

ก่อนที่จะเรียกใช้แอพให้สร้างไฟล์ .env โดยใช้ .env-template และเพิ่มคีย์ OpenAI API และข้อมูลรับรอง Elasticsearch

python run.py

แอพจะเริ่มต้นที่ localhost บนพอร์ต 8081 ตรวจสอบสติโดยทำงานในเทอร์มินัล ควรส่งคืนข้อความ Hello

curl -X GET " localhost:8081 " 

เพื่อจัดทำดัชนีและข้อมูลสอบถามข้อมูล

1. สร้างดัชนี ES

curl --location --request PUT ' http://localhost:9200/first-index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
    "mappings": {
        "properties": {
            "text": {
                "type": "text"
            },
            "embedding": {
                "type": "dense_vector",
                "dims": 1536
            }
        }
    }
} '

หากคุณต้องการลบดัชนีสำหรับการเริ่มต้นที่สะอาดให้ใช้คำสั่งต่อไปนี้

curl --location --request DELETE ' http://localhost:9200/first-index '

2. ข้อมูลดัชนี

ในการจัดทำดัชนีข้อมูลให้ใช้คำสั่ง curl ต่อไปนี้ คำสั่งนี้จะส่งคำขอโพสต์ไปยังจุดสิ้นสุดที่ระบุด้วยเพย์โหลด JSON ที่มีข้อความที่จะจัดทำดัชนีและชื่อของดัชนี

ตรวจสอบให้แน่ใจว่าคุณให้เซิร์ฟเวอร์ทำงานบน localhost บนพอร์ต 8081

curl --location --request POST ' localhost:8081/api/index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "text": "Ajeet is an engineer turned product entrepreneur with experience in AI, SaaS, HealthTech and EdTech. He is a technology enthusiast and loves to work on new technologies. He was a founding member of leading health-tech startups HealthKart and TATA 1mg in India. He was the founder of Joe Hukum, a chatbot platform which was acquired by Freshworks. After Freshworks, he founded Seekho.ai to solve for the skill gap in Indian higher education. Currently, he is on a break and is exploring GenAI to solve for the next meaningful problem. He is passionate about solving zero to one problems and building products that can impact millions of lives.",
  "index_name": "first-index"
} '

3. ข้อมูลสอบถามข้อมูล

ตัวอย่างที่ 1:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Who is Ajeet?",
  "index_name": "first-index"
} '

ตัวอย่างที่ 2:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Joe Hukum was acquired by which company?",
  "index_name": "first-index"
} ' 

สร้างโดย ajeet ด้วย☕และ❤