rag with amazon opensearch serverless and sagemaker Download - rag with amazon opensearch serverless and sagemaker Source Code Download

rag with amazon opensearch serverless and sagemaker

Anderer Quellcode

1.0.0

Herunterladen

QA mit LLM und Lag (Abruf Augmented Generation)

Dieses Projekt ist eine Frage, die die Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon OpenSearch serverloser Service hat. Eine Anwendung, die den Ansatz von RAG (Abrufener Augmented Generation) verwendet, ruft Informationen für die Anfrage des Benutzers von der Unternehmensbasis oder des Inhalts des Benutzers ab, bündelt sie zusammen mit der Anfrage des Benutzers als Aufforderung und sendet sie dann an die LLM, um eine Genai -Antwort zu erhalten.

LLMs haben Einschränkungen hinsichtlich der maximalen Wortanzahl für die Eingabeaufforderung. Daher hat die Auswahl der richtigen Passagen zwischen Tausenden oder Millionen von Dokumenten im Unternehmen direkte Auswirkungen auf die Genauigkeit des LLM.

In diesem Projekt wird Amazon OpenSearch Serverless Service für die Wissensbasis verwendet.

Die Gesamtarchitektur ist wie folgt:

Gesamt -Workflow

Stellen Sie die CDK -Stapel ein (weitere Informationen finden Sie hier).
- Ein Sagemaker -Endpunkt für die Textgenerierung.
- Ein Sagemaker -Endpunkt für die Erzeugung von Einbettungen.
- Ein Amazon OpenSearch serverlos zum Speichern von Einbettungen.
Öffnen Sie JupyterLab im Sagemaker Studio und öffnen Sie dann ein neues Terminal.
Führen Sie die folgenden Befehle auf dem Terminal aus, um das Code -Repository für dieses Projekt zu klonen:
```
 git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
```
Öffnen Sie data_ingestion_to_opensearch_serverless.ipynb Notebook und führen Sie es aus. (Weitere Informationen finden Sie hier)
Führen Sie die Stromanwendungsanwendung aus. (Weitere Informationen finden Sie hier)

Referenzen

Erstellen Sie einen leistungsstarken Frage, der Bot mit Amazon Sagemaker, Amazon OpenSearch Service, Streamlit und Langchain (2023-05-25) beantworten kann.
Verwenden Sie Proprietary Foundation-Modelle von Amazon Sagemaker Jumpstart im Amazon Sagemaker Studio (2023-06-27)
Erstellen Sie Streamlit-Apps im Amazon Sagemaker Studio (2023-04-11)
Erstellen Sie mit Amazon Kendra, Langchain und großsprachigen Modellen schnell generative KI-Anwendungen mit hoher Genauigkeit auf Unternehmensdaten (2023-05-03).
- (Github) Amazon Kendra Retriver Proben
Frage Beantwortung mit Abruf Augmented Generation mit Foundation-Modellen im Amazon Sagemaker Jumpstart (2023-05-02)
Die Vector -Datenbankfunktionen von Amazon OpenSearch Service erläutert
Langchain - Ein Rahmen für die Entwicklung von Anwendungen, die von Sprachmodellen betrieben werden.
Streamlit - Eine schnellere Möglichkeit, Daten -Apps zu erstellen und zu teilen
Verbesserung der Suchrelevanz mit ML im Amazon OpenSearch -Service Workshop - Modul 7. Abrufer Augmented Generation
RAG-WITH-AMAZON-KENDRA-Beantwortung der Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon Kendra
RAG-WITH-AMAZON-POSTGRESQL-UNS-PGVECTOR-Beantwortung der Beantwortung der Anwendung mit großen Sprachmodellen (LLMs) und Amazon Aurora PostgreSQL
RAG-WITH-AMAZON-OPENSEARCH-Beantwortung der Beantwortung der Anwendung mit großen Sprachmodellen (LLMs) und Amazon OpenSearch-Service mit Langchain
RAG-WITH-HAYSTACK-UND-AMAZON-OPENSEARCH-Fragen zur Beantwortung von Anwendungen mit großsprachigen Modellen (LLMs) und Amazon OpenSearch-Service mit Haystack