advanced rag router with amazon bedrock

Создайте усовершенствованный помощник на основе Rag Router с Amazon Bedrock

Этот репозиторий содержит образцы кода, которые позволят участникам научиться использовать архитектуру на основе маршрутизатора с дополнительным поколением (RAG) с помощью Amazon Bedrock и Amazon Opensearch Serverless (AOSS), чтобы быстро создать безопасного помощника, который использует самую современную информацию для общения с пользователями. Участники также узнают, как этот помощник будет использовать поиск информации с диалогом, чтобы ответить пользователям.

Обзор

Amazon Bedrock-это полностью управляемый сервис, который предлагает выбор высокопроизводительных моделей фондов (FMS) от ведущих компаний по искусственному искусству, доступным через один API, а также широкий набор возможностей, необходимых для создания генеративных приложений искусственного интеллекта, упрощения разработки, сохраняя при этом конфиденциальность и безопасность.

Большие языковые модели (LLMS) - это тип модели фундамента, которая может принять естественный Langauge в качестве входных данных, с возможностью обработки и понимания ее и производить естественный язык в качестве вывода. LLMS также может выполнять такие задачи, как классификация, суммирование, упрощение, распознавание сущности и т. Д.

LLM обычно обучаются в автономном режиме с данными, которые доступны до этой точки времени. В результате LLMS не будет иметь знания о мире после этой даты. Кроме того, LLM обучаются на очень общих доменах, что делает их менее эффективными для конкретных доменных задач. И затем, LLM имеют тенденцию к галлюцинации, когда модель генерирует текст, который является неверным, бессмысленным или не реальным. Использование механизма получения увеличения поиска (RAG) может помочь смягчить все эти проблемы. Рэг -архитектура включает в себя извлечение данных, которые тесно соответствуют тексту в приглашении пользователя, из внешнего источника данных и использование их для увеличения подсказки перед отправкой в ​​LLM. Это быстрое увеличение обеспечит контекст, который LLM может использовать для ответа на подсказку.

Когда существуют Mulitple DataSources, необходимо направить запрос на репресс на соответствующий источник данных перед выполнением фактического поиска. Это тряпичный роутер.

Этот репозиторий содержит код, который проведет вас через процесс создания усовершенствованного помощника на основе тряпичного маршрутизатора, использующего большую языковую модель (LLM), размещенную на коренной пород Amazon и использует базы знаний для Amazon Bedrock для векторизации, хранения и получения данных с помощью семантического поиска. Amazon Opensearch Serverless будет использоваться в качестве векторного индекса.

Начать

1. Выберите учетную запись AWS для использования и не забудьте создать все ресурсы в этой учетной записи.
2. Определите область AWS, в которой Amazon Bedrock с антропным Claude 3 и Titan Entgeddings G1 - текстовые модели.
3. В этом регионе создайте новое или используйте существующее ведро Amazon S3 по вашему выбору. Убедитесь, что это ведро может быть прочитано AWS Cloudformation.
4. Создайте файл Lambda Layer с именем py312_opensearch-py_requests_and_requests-aws4auth.zip , используя следующую процедуру и загрузите его в то же ковш Amazon S3, что и на шаге 3.
   • В Windows 10 или выше:
     1. Убедитесь, что Python 3.12 и PIP установлены и установлены в переменной пути пользователя.
     2. Загрузите 7-Zip и установите его в C:/Program Files/7-Zip/ .
     3. Откройте командную строку Windows.
     4. Создайте новый каталог и cd в него.
     5. Запустите Lambda_layer_file_create.bat изнутри этого каталога.
     6. Это создаст файл слоя лямбда с именем с именем py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • На Linux:
     1. Убедитесь, что Python 3.12 и PIP установлены и установлены в переменной пути пользователя.
     2. Откройте командную строку Linux.
     3. Создайте новый каталог и cd в него.
     4. Запустите Lambda_layer_file_create.sh изнутри этого каталога.
     5. Это создаст файл слоя лямбда с именем с именем py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Возьмите предоставленный шаблон AWS CloudFormation Rag-Router-Cfn.yaml и обновите следующий параметр,
   • DeploymentArtifactss3bucketName - установите это на имя ведра Amazon S3 с шага 3.
6. Создайте стек AWS CloudFormation с обновленным шаблоном.
7. Откройте ноутбук Jupyter под названием Rag-router.ipynb , перейдя на консоли ноутбуков Amazon Sagemaker и нажмите на ссылку Open Jupyter на экземпляре с именем Rag-Router-Instance .

Структура репозитория

Этот репозиторий содержит

• Тетрадь Юпитера, чтобы начать.

• Набор вспомогательных функций для ноутбука

• Архитектурные диаграммы, которые показывают различные компоненты, используемые в этом сеансе вместе с их взаимодействиями.

Безопасность

Смотрите Anploying для получения дополнительной информации.

Лицензия

Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.