openai elasticsearch rag

openaiおよびelasticsearchを使用したベクターdbを使用した検索拡張生成（RAG）アプリケーション

RAG （検索された生成）アプリケーションOpenAIおよびElasticSearchを使用して、長い形式のテキストでQ＆Aを提供します。ここにいます

• ElasticSearchをVectordBとして使用してインデックスデータを保存し、検索に使用します。
• OpenAIを使用して、ESから関連するチュンクを取得した後、埋め込みを作成し、質問に対する回答を生成します。

はじめる

前提条件：

1. Python 3.9以上
2. ピップ
3. Virtualenv
4. Elasticsearch -7.14.0（https://www.elastic.co/downloads/elasticsearch）
5. Openai APIキー（https://platform.openai.com/）

インストール手順：

• 仮想環境を作成およびアクティブ化します

python -m venv venv

 source venv/bin/activate

• 依存関係をインストールします

pip install -r requirements.txt

• NLPのSpacyモデルをダウンロードし、テキストを文に分割します。

python -m spacy download en_core_web_sm

• Elasticsearchセットアップ（https://www.elastic.co/downloads/elasticsearch）
  1. ElasticSearchをダウンロードして解凍します
  2. Elasticsearch bin/elasticsearch （またはbinelasticsearch.bat on windows）を開始
  3. curl -X GET "localhost:9200/"ターミナルで取得します

アプリを実行します

APPを実行する前に、 .env-templateを使用して.envファイルを作成し、OpenAI APIキーとElasticSearch資格情報を追加します。

python run.py

アプリは、ポート8081のlocalhostで開始されます。ターミナルで実行して、正気確認。こんにちはHelloを返すはずです。

curl -X GET " localhost:8081 " 

データのインデックスとクエリのデータ

1。ESインデックスを作成します

curl --location --request PUT ' http://localhost:9200/first-index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
    "mappings": {
        "properties": {
            "text": {
                "type": "text"
            },
            "embedding": {
                "type": "dense_vector",
                "dims": 1536
            }
        }
    }
} '

クリーンスタートのためにインデックスを削除する場合は、次のコマンドを使用します。

curl --location --request DELETE ' http://localhost:9200/first-index '

2。インデックスデータ

データをインデックス化するには、次のcurlコマンドを使用します。このコマンドは、指定されたテキストを含むJSONペイロードとインデックスの名前を含むJSONペイロードを使用して、指定されたエンドポイントにPOSTリクエストを送信します。

ポート8081のlocalhostでサーバーを実行していることを確認してください。

curl --location --request POST ' localhost:8081/api/index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "text": "Ajeet is an engineer turned product entrepreneur with experience in AI, SaaS, HealthTech and EdTech. He is a technology enthusiast and loves to work on new technologies. He was a founding member of leading health-tech startups HealthKart and TATA 1mg in India. He was the founder of Joe Hukum, a chatbot platform which was acquired by Freshworks. After Freshworks, he founded Seekho.ai to solve for the skill gap in Indian higher education. Currently, he is on a break and is exploring GenAI to solve for the next meaningful problem. He is passionate about solving zero to one problems and building products that can impact millions of lives.",
  "index_name": "first-index"
} '

3。クエリデータ

例1：

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Who is Ajeet?",
  "index_name": "first-index"
} '

例2：

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Joe Hukum was acquired by which company?",
  "index_name": "first-index"
} ' 

ajeetによって☕️と❤️で構築されています