openai elasticsearch rag

Приложение для получения дополнительного поколения (RAG) с использованием OpenAI и ElasticSearch в качестве Vector DB

Рэг (поиск-аугированный поколение) приложение, чтобы предложить Q & A в течение длинного текста формата с использованием OpenAI и Elasticsearch. Вот мы

• Использование Elasticsearch в качестве Vectordb для хранения индексированных данных и использования их для поиска.
• Использование OpenAI для создания встраиваний и получения ответов на вопросы после получения соответствующих чучелов из ES.

Начиная

Предварительные условия:

1. Python 3.9 или выше
2. пип
3. Virtualenv
4. Elasticsearch - 7.14.0 (https://www.elastic.co/downloads/elasticsearch)
5. OpenAI API -ключ (https://platform.openai.com/)

Шаги установки:

• Создать и активировать виртуальную среду

python -m venv venv

 source venv/bin/activate

• Установить зависимости

pip install -r requirements.txt

• Загрузите модель SPACY для NLP и разделить текст на предложения.

python -m spacy download en_core_web_sm

• Настройка ElasticSearch (https://www.elastic.co/downloads/elasticsearch)
  1. Скачать и раскапывать Elasticsearch
  2. Start Elasticsearch bin/elasticsearch (или binelasticsearch.bat в Windows)
  3. Проверьте его, запустив curl -X GET "localhost:9200/" в терминале

Запустить приложение

Перед запуском приложения создайте файл .env с использованием .env-template и добавьте ключ API OpenAI и учетные данные ElasticSearch.

python run.py

Приложение начнется на localhost на порту 8081 . Проверка здравомыслия, работая в терминале. Это должно вернуть сообщение Hello .

curl -X GET " localhost:8081 " 

Индексировать и данные запроса

1. Создать индекс ES

curl --location --request PUT ' http://localhost:9200/first-index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
    "mappings": {
        "properties": {
            "text": {
                "type": "text"
            },
            "embedding": {
                "type": "dense_vector",
                "dims": 1536
            }
        }
    }
} '

Если вы хотите удалить индекс для чистого запуска, используйте следующую команду.

curl --location --request DELETE ' http://localhost:9200/first-index '

2. Индекс данных

Чтобы индексировать данные, используйте следующую команду curl . Эта команда отправляет запрос POST в указанную конечную точку с полезной нагрузкой JSON, содержащей текст, который будет представлен, и имя индекса.

Убедитесь, что у вас есть сервер, работающий на localhost на порту 8081 .

curl --location --request POST ' localhost:8081/api/index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "text": "Ajeet is an engineer turned product entrepreneur with experience in AI, SaaS, HealthTech and EdTech. He is a technology enthusiast and loves to work on new technologies. He was a founding member of leading health-tech startups HealthKart and TATA 1mg in India. He was the founder of Joe Hukum, a chatbot platform which was acquired by Freshworks. After Freshworks, he founded Seekho.ai to solve for the skill gap in Indian higher education. Currently, he is on a break and is exploring GenAI to solve for the next meaningful problem. He is passionate about solving zero to one problems and building products that can impact millions of lives.",
  "index_name": "first-index"
} '

3. Данные запроса

Пример 1:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Who is Ajeet?",
  "index_name": "first-index"
} '

Пример 2:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Joe Hukum was acquired by which company?",
  "index_name": "first-index"
} ' 

Построен AJEET с ☕ и ❤