QA mit LLM und Lag (Abruf Augmented Generation)
Dieses Projekt ist eine Frage, die die Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon Aurora PostgreSQL unter Verwendung von PGVector. Eine Anwendung, die den Ansatz von RAG (Abrufener Augmented Generation) verwendet, ruft Informationen für die Anfrage des Benutzers von der Unternehmensbasis oder des Inhalts des Benutzers ab, bündelt sie zusammen mit der Anfrage des Benutzers als Aufforderung und sendet sie dann an die LLM, um eine Genai -Antwort zu erhalten.
LLMs haben Einschränkungen hinsichtlich der maximalen Wortanzahl für die Eingabeaufforderung. Daher hat die Auswahl der richtigen Passagen zwischen Tausenden oder Millionen von Dokumenten im Unternehmen direkte Auswirkungen auf die Genauigkeit des LLM.
In diesem Projekt wird Amazon Aurora PostgreSQL mit PGVector für die Wissensbasis verwendet.
Die Gesamtarchitektur ist wie folgt:
Gesamt -Workflow
- Stellen Sie die CDK -Stapel ein (weitere Informationen finden Sie hier).
- Ein Sagemaker -Studio in einem privaten VPC.
- Ein Sagemaker -Endpunkt für die Textgenerierung.
- Ein Sagemaker -Endpunkt für die Erzeugung von Einbettungen.
- Ein Amazon Aurora Postgresql -Cluster zum Speichern von Einbettungen.
- Aurora postgresql clusters Zugriffsanmeldeinformationen (Benutzername und Passwort) in AWS Secrets Mananger als Name wie
RAGPgVectorStackAuroraPostg-xxxxxxxxxxxx gespeichert.
- Öffnen Sie JupyterLab im Sagemaker Studio und öffnen Sie dann ein neues Terminal.
- Führen Sie die folgenden Befehle auf dem Terminal aus, um das Code -Repository für dieses Projekt zu klonen:
git clone --depth=1 https://github.com/aws-samples/rag-with-amazon-postgresql-using-pgvector.git
- Öffnen Sie
data_ingestion_to_pgvector.ipynb Notebook und führen Sie es aus. (Weitere Informationen finden Sie hier) - Führen Sie die Stromanwendungsanwendung aus. (Weitere Informationen finden Sie hier)
Referenzen
- Nutzen Sie PGVector und Amazon Aurora Postgresql für die Verarbeitung natürlicher Sprache, Chatbots und Stimmungsanalyse (2023-07-13)
- Beschleunigen Sie die HNSW-Indexierung und Suche mit PGVector bei Amazon Aurora PostgreSQL-kompatibler Edition und Amazon RDS für PostgreSQL (2023-11-06)
- Optimieren Sie generative AI-Anwendungen mit PGVector-Indexierung: Ein tiefes Eintauchen in die IVFFLAT- und HNSW-Techniken (2024-03-15)
- Verbessern Sie die Leistung generativer KI-Workloads bei Amazon Aurora mit optimierten Lesevorgängen und PGVector (2024-02-09)
- Erstellung von AI-betriebenen Suche in PostgreSQL mit Amazon Sagemaker und PGVector (2023-05-03)
- Erstellen Sie Streamlit-Apps im Amazon Sagemaker Studio (2023-04-11)
- Erstellen Sie mit Amazon Kendra, Langchain und großsprachigen Modellen schnell generative KI-Anwendungen mit hoher Genauigkeit auf Unternehmensdaten (2023-05-03).
- (Github) Amazon Kendra Retriver Proben
- Frage Beantwortung mit Abruf Augmented Generation mit Foundation-Modellen im Amazon Sagemaker Jumpstart (2023-05-02)
- Verwenden Sie Proprietary Foundation-Modelle von Amazon Sagemaker Jumpstart im Amazon Sagemaker Studio (2023-06-27)
- Langchain - Ein Rahmen für die Entwicklung von Anwendungen, die von Sprachmodellen betrieben werden.
- Streamlit - Eine schnellere Möglichkeit, Daten -Apps zu erstellen und zu teilen
- RAG-WITH-AMAZON-KENDRA-SAGEMAKER-Beantwortung der Beantwortung von Anwendungen mit großen Sprachmodellen (LLMs) und Amazon Kendra
- RAG-WITH-AMAZON-OPENSEARCH-SAGEMAKER-Beantwortung der Beantwortung der Anwendung mit Großsprachemodellen (LLMs) und Amazon OpenSearch-Dienst
- RAG-WITH-AMAZON-OPENSEARSE-SERVERLEA-Beantwortung der Beantwortung der Anwendung mit Großsprachemodellen (LLMs) und Amazon OpenSearch Serverless Service
- PGVector Changelog-v0.4.0 (2023-01-11)
Erhöhte maximale Abmessungen für Vektor von 1024 auf 16000
Erhöhte maximale Abmessungen für den Index von 1024 auf 2000
Sicherheit
Weitere Informationen finden Sie unter Beitrag.
Lizenz
Diese Bibliothek ist im Rahmen der MIT-0-Lizenz lizenziert. Siehe die Lizenzdatei.
