advanced rag router with amazon bedrock

Bauen Sie einen fortgeschrittenen Assistenten mit einem fortgeschrittenen Rag -Router mit Amazon -Grundgestein

Dieses Repository enthält die Code-Beispiele, mit denen die Teilnehmer mit der RAGER-Basis der Amazon-Grundgestein und der Amazon OpenSearch Serverless (AOSS) lernen können, wie sie die Architektur Amazon und Amazon OpenSearch (AOSS) verwenden, um schnell einen sicheren Assistenten zu erstellen, der die aktuellsten Informationen verwendet, um sich mit Benutzern zu unterhalten. Die Teilnehmer erfahren auch, wie dieser Assistent dialoggesteuerte Informationen zum Abrufen von Informationen verwendet, um auf Benutzer zu reagieren.

Überblick

Amazon Bedrock ist ein vollständig verwalteter Service, der eine Auswahl an leistungsstarken Fundamentmodellen (FMS) von führenden KI-Unternehmen bietet, die über eine einzelne API zugänglich sind, sowie eine breite Anzahl von Funktionen, die Sie zum Aufbau generativer KI-Anwendungen benötigen, um die Entwicklung zu vereinfachen und gleichzeitig die Privatsphäre und Sicherheit aufrechtzuerhalten.

Große Sprachmodelle (LLMs) sind eine Art Fundamentmodell, das natürliche Langauge als Eingabe annehmen kann, mit der Fähigkeit, es zu verarbeiten und zu verstehen und natürliche Sprache als Ausgabe zu erzeugen. LLMs können auch Aufgaben wie Klassifizierung, Zusammenfassung, Vereinfachung, Entitätserkennung usw. ausführen.

LLMs werden normalerweise offline mit Daten geschult, die bis zu diesem Zeitpunkt verfügbar sind. Infolgedessen wird LLMs nach diesem Datum keine Kenntnis der Welt haben. Zusätzlich werden LLMs auf sehr allgemeinen Domänenkorpora geschult, wodurch sie bei domänenspezifischen Aufgaben weniger effektiv sind. Und dann haben LLMs die Tendenz, zu halluzinieren, wo das Modell zu einem falschen, unsinnigen oder nicht realen Text erzeugt wird. Die Verwendung eines RAG -Mechanismus (Abrufener Augment Generation) kann dazu beitragen, all diese Probleme zu mildern. Eine Lag -Architektur beinhaltet das Abrufen von Daten, die den Text in der Eingabeaufforderung des Benutzers von einer externen Datenquelle genau übereinstimmen und die Eingabeaufforderung vor dem Senden an die LLM erhöhen. Diese schnelle Augmentation liefert den Kontext, mit dem das LLM auf die Eingabeaufforderung reagieren kann.

Wenn es mulitple Datenquellen gibt, müssen die Relivalanforderung an die entsprechende Datenquelle weitergeleitet werden, bevor das tatsächliche Abruf durchgeführt wird. Dies ist ein Lag -Router -Muster.

Dieses Repository enthält Code, der Sie durch den Prozess des Erstellens eines erweiterten Assistenten mit Rag -Router -Basis mit einem großen Sprachmodell (LLM) führt, das auf Amazon -Grundgestein gehostet wird und Wissensbasis für Amazon -Grundgestein zum vektorisierenden, gespeicherten und abgerufenen Daten durch semantische Suche verwendet wird. Amazon OpenSearch Serverless wird als Vektorindex verwendet.

Anfangen

1. Wählen Sie ein AWS -Konto aus, um sie zu verwenden, und erstellen Sie alle Ressourcen in diesem Konto.
2. Identifizieren Sie eine AWS -Region, die Amazon -Grundgestein mit anthropischen Claude 3 und Titan -Einbettung G1 - Textmodellen hat.
3. Erstellen Sie in dieser Region einen neuen oder verwenden Sie einen vorhandenen Amazon S3 -Eimer Ihrer Wahl. Stellen Sie sicher, dass dieser Eimer von AWS CloudFormation gelesen werden kann.
4. Create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip using the following procedure and upload it to the same Amazon S3 bucket as in step 3.
   • Unter Windows 10 oder höher:
     1. Stellen Sie sicher, dass Python 3.12 und PIP installiert und in der Pfadvariablen des Benutzers eingestellt sind.
     2. Download 7-zip and install it in C:/Program Files/7-Zip/ .
     3. Öffnen Sie die Windows -Eingabeaufforderung.
     4. Create a new directory and cd into it.
     5. Führen Sie die lambda_layer_file_create.bat aus diesem Verzeichnis aus.
     6. This will create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • Unter Linux:
     1. Stellen Sie sicher, dass Python 3.12 und PIP installiert und in der Pfadvariablen des Benutzers eingestellt sind.
     2. Öffnen Sie die Linux -Eingabeaufforderung.
     3. Create a new directory and cd into it.
     4. Führen Sie die lambda_layer_file_create.sh aus diesem Verzeichnis aus.
     5. This will create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Nehmen Sie die bereitgestellte AWS-CloudFormation-Vorlage RAG-Router-cfn.yaml und aktualisieren Sie den folgenden Parameter.
   • DeploymentArtifactsS3BucketName - set this to the name of the Amazon S3 bucket from step 3.
6. Erstellen Sie einen AWS -CloudFormation -Stapel mit der aktualisierten Vorlage.
7. Open the Jupyter notebook named rag-router.ipynb by navigating to the Amazon SageMaker notebook instances console and clicking on the Open Jupyter link on the instance named rag-router-instance .

Repository -Struktur

Dieses Repository enthält

• Ein Jupyter -Notizbuch zum Einstieg.

• Eine Reihe von Helferfunktionen für das Notizbuch

• Architekturdiagramme, die die verschiedenen in dieser Sitzung verwendeten Komponenten zusammen mit ihren Interaktionen zeigen.

Sicherheit

Weitere Informationen finden Sie unter Beitrag.

Lizenz

Diese Bibliothek ist im Rahmen der MIT-0-Lizenz lizenziert. Siehe die Lizenzdatei.