amazon bedrock claude3.5 sonnet

Construire un chiffon d'application Génératif AI avec Amazon Aurora et Base de connaissances sur le substratum rocheux d'Amazon

Le substratum rocheux d'Amazon est le moyen le plus simple de construire et d'échelle des applications d'IA génératives avec des modèles fondamentaux (FMS) sur AWS. Les FMS sont formés sur de grandes quantités de données, ce qui leur permet de répondre à des questions sur une variété de sujets. Cependant, si vous souhaitez utiliser un FM pour répondre à des questions sur vos données privées que vous avez stockées dans votre section Amazon Simple Storage Service (Amazon S3) ou Amazon Aurora Postgresql Compatible Edition Database, vous devez utiliser une technique connue sous le nom de génération augmentée (RAG) de récupération pour fournir des réponses pertinentes à vos clients.

Architecture

Comme le fichier de test, le didacticiel PostgreSQL PDF est utilisé.

Exigences

• Créez un compte AWS si vous n'en avez pas déjà un et connectez-vous. L'utilisateur IAM que vous utilisez doit avoir des autorisations suffisantes pour passer des appels de service AWS nécessaires et gérer les ressources AWS.
• AWS CLI installé et configuré
• Git installé
• Terraform installé

Instructions de configuration du fondement Amazon

Vous devez demander l'accès à un modèle avant de pouvoir l'utiliser. Si vous essayez d'utiliser le modèle (avec l'API ou la console) avant d'y avoir demandé l'accès, vous recevez un message d'erreur. Pour plus d'informations, voir l'accès au modèle.

1. Dans la console AWS, sélectionnez la région à partir de laquelle vous souhaitez accéder au substratum rocheux d'Amazon. Nous vous recommandons d'utiliser la région US-East-1 (N. Virginia) où tous les modèles de substratum rocheux sont disponibles.

   

2. Trouvez le substratum rocheux d'Amazon en recherchant dans la console AWS.

   

3. Développez le menu latéral et sélectionnez l'accès du modèle .

   

4. Sélectionnez le bouton Modifier .

5. Utilisez les cases à cocher pour sélectionner les modèles que vous souhaitez activer. Cette directive nécessite des modèles Titan Text Embeddings V2 et Claude 3.5 Sonnet . Cliquez sur Enregistrer les modifications pour activer les modèles de votre compte. N'hésitez pas à expérimenter d'autres modèles si vous le souhaitez.

6. Attendez que les modèles soient disponibles.

   

Déploiement

1. Créez un nouveau répertoire, accédez à ce répertoire dans un terminal et clonez le référentiel GitHub:

   git clone [email protected]:set-university/genai-workshops.git

2. Changer le répertoire dans le répertoire des modèles:

    cd workshop4

3. Init Terraform:

   terraform init

4. Télécharger les modules Terraform:

   terraform get

5. Déployer l'infrastructure:

   terraform plan
   terraform apply --auto-approve 

6. Si nécessaire, personnalisez les variables Terraform à l'aide du fichier .tfwars personnalisé
7. Attendez que ce soit complété. Cela prend environ 15 minutes.
8. Une fois le déploiement terminé, jetez un œil à la section des sorties. Il y aura une entrée «lambda_function_url» contenant l'URL lambda pour tester l'infrastructure. Copiez cette URL car vous en aurez besoin pour vos tests.

Synchronisez la base de connaissances du fondement avec la source de données dans S3

1. Allez au service du substratum rocheux dans la console AWS.

2. Cliquez sur les bases de connaissances élément de menu de navigation de la Nav.

3. Cliquez sur la base de connaissances créée via Terraform.

   

4. Sélectionnez la source de données S3 et cliquez sur le bouton Sync .

   

5. Attendez l'achèvement de la synchronisation (~ 5-10 minutes).

Essai

Suivez l'exemple ci-dessous et remplacez {your-lambda-url} par votre URL Lambda à partir de l'étape 8 du déploiement.

 curl -X POST ' https://{your-lambda-url}/ ' 
   -H ' content-type: application/json ' 
   -d ' { "prompt": "what are the postgres versions?" } '

La réponse peut ressembler comme suit:

 {"genai_response": "Current PostgreSQL version numbers consist of a major and a minor version number. For example, in version 10.1, 10 is the major version and 1 is the minor version. This indicates it's the first minor release of major version 10.nnFor PostgreSQL versions before 10.0, the version numbers consisted of three numbers, such as 9.5.3. In these cases, the major version is represented by the first two digit groups (e.g., 9.5), and the minor version is the third number (e.g., 3).nnMinor releases are always compatible with earlier and later minor releases of the same major version. For instance, version 10.1 is compatible with 10.0 and 10.6. Similarly, 9.5.3 is compatible with 9.5.0, 9.5.1, and 9.5.6."}

Nettoyage

1. Exécuter la commande de détruire Terraform.

   terraform destroy
   # type 'yes' to confirm

2. Attendez que l'infrastructure AWS soit détruite (~ 10-15 minutes).

Ressources supplémentaires

• Récupérer les données et générer des réponses en IA avec des bases de connaissances
• Terraform Docs