advanced rag router with amazon bedrock

Construye un asistente avanzado basado en el enrutador de trapo con el roca madre de Amazon

Este repositorio contiene las muestras de código que permitirán a los participantes aprender cómo usar la arquitectura de enrutador de generación aumentada de recuperación (RAG) basada en el enrutador con Amazon Bedrock y Amazon OpenSearch Servidor (AOSS) para construir rápidamente un asistente seguro que use la información más actualizada para conversar con los usuarios. Los participantes también aprenderán cómo este asistente utilizará la recuperación de información guiada por diálogo para responder a los usuarios.

Descripción general

Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos de base de alto rendimiento (FMS) de las principales compañías de IA accesibles a través de una sola API, junto con un amplio conjunto de capacidades que necesita para crear aplicaciones generativas de IA, simplificando el desarrollo mientras mantiene la privacidad y la seguridad.

Los modelos de lenguaje grande (LLM) son un tipo de modelo de base que puede tomar el languge natural como entrada, con la capacidad de procesarlo y comprenderlo, y producir un lenguaje natural como salida. LLMS también puede realizar tareas como clasificación, resumen, simplificación, reconocimiento de entidades, etc.

Los LLM generalmente están entrenados fuera de línea con datos disponibles hasta ese momento. Como resultado, LLM no tendrá conocimiento del mundo después de esa fecha. Además, los LLM están capacitados en corpus de dominio muy general, lo que los hace menos efectivos para tareas específicas de dominio. Y luego, los LLM tienden a alucinar dónde genera texto incorrecto, sin sentido o no real. El uso de un mecanismo de generación de aumento de recuperación (RAG) puede ayudar a mitigar todos estos problemas. Una arquitectura de RAG implica recuperar datos que coinciden estrechamente con el texto en el aviso del usuario, desde una fuente de datos externa, y usarlo para aumentar el mensaje antes de enviar a la LLM. Este avance rápido proporcionará el contexto que el LLM puede usar para responder a la solicitud.

Cuando hay platos de datos Mulitple, es necesario enrutar la solicitud de retreal a la fuente de datos apropiada antes de realizar la recuperación real. Este es un patrón de enrutador de trapo.

Este repositorio contiene un código que lo guiará a través del proceso de construcción de un asistente de enrutador de trapo avanzado que utiliza un modelo de lenguaje grande (LLM) alojado en la roca madre de Amazon y utilizando bases de conocimiento para la base de Amazon para vectorizar, almacenar y recuperar datos a través de la búsqueda semántica. Amazon OpenSearch Serverless se utilizará como el índice Vector.

Para empezar

1. Elija una cuenta de AWS para usar y asegúrese de crear todos los recursos en esa cuenta.
2. Identifique una región de AWS que tiene un lecho de roca de Amazon con los modelos de texto de Titan Claude 3 y Titan G1.
3. En esa región, cree una nueva o use un cubo de Amazon S3 existente de su elección. Asegúrese de que este cubo pueda ser leído por AWS CloudFormation.
4. Cree el archivo de capa Lambda llamado py312_opensearch-py_requests_and_requests-aws4auth.zip usando el siguiente procedimiento y cárguelo al mismo cubo de Amazon S3 que en el paso 3.
   • En Windows 10 o superior:
     1. Asegúrese de que Python 3.12 y PIP estén instalados y configurados en la variable de ruta del usuario.
     2. Descargue 7-ZIP e instálelo en C:/Program Files/7-Zip/ .
     3. Abra el símbolo del sistema de Windows.
     4. Cree un nuevo directorio y cd en él.
     5. Ejecute lambda_layer_file_create.bat desde el interior de ese directorio.
     6. Esto creará el archivo de capa Lambda llamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • En Linux:
     1. Asegúrese de que Python 3.12 y PIP estén instalados y configurados en la variable de ruta del usuario.
     2. Abra el símbolo del sistema Linux.
     3. Cree un nuevo directorio y cd en él.
     4. Ejecute lambda_layer_file_create.sh desde el interior de ese directorio.
     5. Esto creará el archivo de capa Lambda llamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Tome la plantilla de AWS CloudFormation Rag-Router-Cfn.yaml y actualice el siguiente parámetro,
   • ImplementmentArtifactss3bucketName : configure esto en el nombre del amazon S3 Bucket desde el paso 3.
6. Cree una pila AWS CloudFormation con la plantilla actualizada.
7. Abra el cuaderno Jupyter llamado Rag-Router.ipynb navegando a la consola de instancias de Notebook de Amazon Sagemaker y haciendo clic en el enlace Open Jupyter en la instancia llamada Rag-Router-Instance .

Estructura de repositorio

Este repositorio contiene

• Un cuaderno de Jupyter para comenzar.

• Un conjunto de funciones auxiliar para el cuaderno

• Diagramas de arquitectura que muestran los diversos componentes utilizados en esta sesión junto con sus interacciones.

Seguridad

Ver contribuyendo para más información.

Licencia

Esta biblioteca tiene licencia bajo la licencia MIT-0. Ver el archivo de licencia.