openai elasticsearch rag

RAB -Anwendung (Abrufener Augmented Generation) mit OpenAI und Elasticsearch als Vektor DB

Anwendung von RAG (ARRAVEAL-AUGmented Generation), um Fragen und Antworten auf einem Langformattext mit OpenAI und Elasticsearch anzubieten. Hier sind wir

• Verwenden von Elasticsearch als VectordB zum Speichern indexierten Daten und verwenden Sie sie zum Abrufen.
• Verwenden von OpenAI zum Erstellen von Einbetten und Antworten auf die Fragen nach dem Abrufen von relevanten Tichtern von ES.

Erste Schritte

Voraussetzungen:

1. Python 3.9 oder höher
2. Pip
3. virtualenv
4. Elasticsearch - 7.14.0 (https://www.elastic.co/downloads/elasticsarch)
5. OpenAI -API -Schlüssel (https://platform.openai.com/)

Installationsschritte:

• Virtuelle Umgebung erstellen und aktivieren

python -m venv venv

 source venv/bin/activate

• Abhängigkeiten installieren

pip install -r requirements.txt

• Laden Sie das Spacy -Modell für NLP herunter und teilen Sie den Text in Sätze auf.

python -m spacy download en_core_web_sm

• Elasticsearch Setup (https://www.elastic.co/downloads/elasticsarch)
  1. Laden Sie Elasticsearch herunter und entpacken Sie
  2. Starten Sie Elasticsearch bin/elasticsearch (oder binelasticsearch.bat unter Windows)
  3. Testen Sie es, indem Sie curl -X GET "localhost:9200/" im Terminal

App ausführen

Erstellen Sie vor der Ausführung der App .env Datei mit .env-template und fügen Sie den OpenAI-API-Schlüssel und die Elasticsearch-Anmeldeinformationen hinzu.

python run.py

Die App startet in localhost auf Port 8081 . Vernunftprüfung durch Laufen im Terminal. Es sollte Hello -Nachricht zurückgeben.

curl -X GET " localhost:8081 " 

Daten indexieren und abfragen

1. Erstellen Sie den es Index

curl --location --request PUT ' http://localhost:9200/first-index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
    "mappings": {
        "properties": {
            "text": {
                "type": "text"
            },
            "embedding": {
                "type": "dense_vector",
                "dims": 1536
            }
        }
    }
} '

Wenn Sie den Index für sauberes Start löschen möchten, verwenden Sie den folgenden Befehl.

curl --location --request DELETE ' http://localhost:9200/first-index '

2. Indexdaten

Verwenden Sie zum Index von Daten den folgenden curl -Befehl. Dieser Befehl sendet eine Postanforderung an den angegebenen Endpunkt mit einer JSON -Nutzlast, die den zu indizierenden Text und den Namen des Index enthält.

Stellen Sie sicher, dass der Server auf localhost auf Port 8081 ausgeführt wird.

curl --location --request POST ' localhost:8081/api/index ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "text": "Ajeet is an engineer turned product entrepreneur with experience in AI, SaaS, HealthTech and EdTech. He is a technology enthusiast and loves to work on new technologies. He was a founding member of leading health-tech startups HealthKart and TATA 1mg in India. He was the founder of Joe Hukum, a chatbot platform which was acquired by Freshworks. After Freshworks, he founded Seekho.ai to solve for the skill gap in Indian higher education. Currently, he is on a break and is exploring GenAI to solve for the next meaningful problem. He is passionate about solving zero to one problems and building products that can impact millions of lives.",
  "index_name": "first-index"
} '

3.. Abfragendaten

Beispiel 1:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Who is Ajeet?",
  "index_name": "first-index"
} '

Beispiel 2:

curl --location --request POST ' localhost:8081/api/query ' 
--header ' Content-Type: application/json ' 
--data-raw ' {
  "question": "Joe Hukum was acquired by which company?",
  "index_name": "first-index"
} ' 

Gebaut von Ajeet mit ☕️ und ❤️