advanced rag router with amazon bedrock

Construisez un assistant avancé basé sur Rag Router avec Amazon Bedrock

Ce référentiel contient les échantillons de code qui permettra aux participants d'apprendre à utiliser l'architecture basée sur le routeur de génération augmentée (RAG) de récupération avec Amazon Bedrock et Amazon OpenSesearch Serverless (AOS) pour créer rapidement un assistant sécurisé qui utilise les informations les plus à jour pour Converse avec les utilisateurs. Les participants apprendront également comment cet assistant utilisera la récupération d'informations guidées par le dialogue pour répondre aux utilisateurs.

Aperçu

Amazon Bedrock est un service entièrement géré qui offre un choix de modèles de fondation (FMS) très performants des principales sociétés d'IA accessibles via une seule API, ainsi qu'un large ensemble de capacités dont vous avez besoin pour créer des applications d'IA génératives, simplifiant le développement tout en maintenant la confidentialité et la sécurité.

Les modèles de grands langues (LLM) sont un type de modèle de fondation qui peut prendre le langauge naturel comme entrée, avec la capacité de le traiter et de le comprendre, et de produire un langage naturel comme sortie. Les LLM peuvent également effectuer des tâches comme la classification, le résumé, la simplification, la reconnaissance des entités, etc.

Les LLM sont généralement formées hors ligne avec des données disponibles jusqu'au moment. En conséquence, les LLM n'auront pas de connaissance du monde après cette date. De plus, les LLM sont formées sur des corpus de domaine très généraux, ce qui les rend moins efficaces pour les tâches spécifiques au domaine. Et puis, les LLM ont tendance à halluciner où le modèle génère du texte incorrect, absurde ou pas réel. L'utilisation d'un mécanisme de génération d'augmentation (RAG) de récupération peut aider à atténuer tous ces problèmes. Une architecture de chiffon implique la récupération de données qui correspondent étroitement au texte dans l'invite de l'utilisateur, à partir d'une source de données externe, et en l'utilisant pour augmenter l'invite avant d'envoyer au LLM. Cette augmentation invite fournira le contexte que le LLM peut utiliser pour répondre à l'invite.

Lorsqu'il y a des données de données Mulitple, il est nécessaire d'acheter la demande de retreival vers la source de données appropriée avant d'effectuer la récupération réelle. Ceci est un motif de routeur de chiffon.

Ce référentiel contient du code qui vous guidera à travers le processus de création d'un assistant avancé basé sur un routeur de chiffon à l'aide d'un modèle de langage grand (LLM) hébergé sur le fondement d'Amazon et à l'aide de bases de connaissances pour le substratum rocheux d'Amazon pour la vectorisation, le stockage et la récupération des données par la recherche sémantique. Amazon OpenSesearch Serverless sera utilisé comme index vectoriel.

Pour commencer

1. Choisissez un compte AWS à utiliser et assurez-vous de créer toutes les ressources de ce compte.
2. Identifiez une région AWS qui a un fondement amazon avec des modèles anthropiques Claude 3 et Titan Embeddings G1 - Text Modèles.
3. Dans cette région, créez un nouveau ou utilisez un seau Amazon S3 existant de votre choix. Assurez-vous que ce seau peut être lu par AWS Cloudformation.
4. Create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip using the following procedure and upload it to the same Amazon S3 bucket as in step 3.
   • Sur Windows 10 ou plus:
     1. Assurez-vous que Python 3.12 et PIP sont installés et définis dans la variable de chemin de l'utilisateur.
     2. Download 7-zip and install it in C:/Program Files/7-Zip/ .
     3. Ouvrez l'invite de commande Windows.
     4. Create a new directory and cd into it.
     5. Exécutez le lambda_layer_file_create.bat de l'intérieur de ce répertoire.
     6. This will create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • Sur Linux:
     1. Assurez-vous que Python 3.12 et PIP sont installés et définis dans la variable de chemin de l'utilisateur.
     2. Ouvrez l'invite de commande Linux.
     3. Create a new directory and cd into it.
     4. Exécutez le lambda_layer_file_create.sh à l'intérieur de ce répertoire.
     5. This will create the Lambda layer file named py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Prenez le modèle AWS CloudFormation fourni Rag-Router-Cfn.yaml et mettez à jour le paramètre suivant,
   • DeploymentArtifactsS3BucketName - set this to the name of the Amazon S3 bucket from step 3.
6. Créez une pile AWS Cloudformation avec le modèle mis à jour.
7. Open the Jupyter notebook named rag-router.ipynb by navigating to the Amazon SageMaker notebook instances console and clicking on the Open Jupyter link on the instance named rag-router-instance .

Structure de référentiel

Ce référentiel contient

• Un cahier Jupyter pour commencer.

• Un ensemble de fonctions d'assistance pour le cahier

• Diagrammes d'architecture qui montrent les différents composants utilisés dans cette session avec leurs interactions.

Sécurité

Voir contribuer pour plus d'informations.

Licence

Cette bibliothèque est autorisée sous la licence MIT-0. Voir le fichier de licence.