QA mit LLM und Lag (Abruf Augmented Generation)
Dieses Projekt ist eine Frage, die die Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon OpenSearch -Dienst beantwortet. Eine Anwendung, die den Ansatz von RAG (Abrufener Augmented Generation) verwendet, ruft Informationen für die Anfrage des Benutzers von der Unternehmensbasis oder des Inhalts des Benutzers ab, bündelt sie zusammen mit der Anfrage des Benutzers als Aufforderung und sendet sie dann an die LLM, um eine Genai -Antwort zu erhalten.
LLMs haben Einschränkungen hinsichtlich der maximalen Wortanzahl für die Eingabeaufforderung. Daher hat die Auswahl der richtigen Passagen zwischen Tausenden oder Millionen von Dokumenten im Unternehmen direkte Auswirkungen auf die Genauigkeit des LLM.
In diesem Projekt wird der Amazon OpenSearch -Service für die Wissensbasis verwendet.
Die Gesamtarchitektur ist wie folgt:
Gesamt -Workflow
- Stellen Sie die CDK -Stapel ein (weitere Informationen finden Sie hier).
- Ein Sagemaker -Endpunkt für die Textgenerierung.
- Ein Sagemaker -Endpunkt für die Erzeugung von Einbettungen.
- Ein Amazon OpenSearch -Cluster zum Speichern von Einbettungen.
- OpenSearch-Cluster-Zugriffsanmeldeinformationen (Benutzername und Kennwort) in AWS Secrets Mananger als Name wie
OpenSearchMasterUserSecret1-xxxxxxxxxxxx gespeichert.
- Öffnen Sie Sagemaker Studio und öffnen Sie dann ein neues Terminal.
- Führen Sie die folgenden Befehle auf dem Terminal aus, um das Code -Repository für dieses Projekt zu klonen:
git clone --depth=1 https://github.com/ksmin23/rag-with-amazon-opensearch-and-sagemaker.git
- Öffnen Sie das Notebook
data_ingestion_to_opensearch und führen Sie es aus. (Weitere Informationen finden Sie hier) - Führen Sie die Stromanwendungsanwendung aus. (Weitere Informationen finden Sie hier)
Referenzen
- Erstellen Sie einen leistungsstarken Frage, der Bot mit Amazon Sagemaker, Amazon OpenSearch Service, Streamlit und Langchain (2023-05-25) beantworten kann.
- Verwenden Sie Proprietary Foundation-Modelle von Amazon Sagemaker Jumpstart im Amazon Sagemaker Studio (2023-06-27)
- Erstellen Sie Streamlit-Apps im Amazon Sagemaker Studio (2023-04-11)
- Erstellen Sie mit Amazon Kendra, Langchain und großsprachigen Modellen schnell generative KI-Anwendungen mit hoher Genauigkeit auf Unternehmensdaten (2023-05-03).
- (Github) Amazon Kendra Retriver Proben
- Frage Beantwortung mit Abruf Augmented Generation mit Foundation-Modellen im Amazon Sagemaker Jumpstart (2023-05-02)
- Die Vector -Datenbankfunktionen von Amazon OpenSearch Service erläutert
- Langchain - Ein Rahmen für die Entwicklung von Anwendungen, die von Sprachmodellen betrieben werden.
- Streamlit - Eine schnellere Möglichkeit, Daten -Apps zu erstellen und zu teilen
- Verbesserung der Suchrelevanz mit ML im Amazon OpenSearch -Service Workshop - Modul 7. Abrufer Augmented Generation
- RAG-WITH-AMAZON-KENDRA-Beantwortung der Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon Kendra
- RAG-WITH-POSTGRESQL-PGVECTOR-Frage zur Beantwortung der Anwendung mit großen Sprachmodellen (LLMs) und Amazon Aurora PostgreSQL
