Qa con LLM y RAG (generación de recuperación aumentada)
Este proyecto es una aplicación de respuesta a preguntas con grandes modelos de idiomas (LLM) y el servicio de Amazon OpenSearch. Una aplicación que utiliza el enfoque RAG (Recuperación de generación aumentada) recupera la información más relevante para la solicitud del usuario de la base o contenido de conocimiento empresarial, lo inclina como contexto junto con la solicitud del usuario como un mensaje, y luego la envía a la LLM para obtener una respuesta de Genai.
Los LLM tienen limitaciones en torno al recuento de palabras máximo para el mensaje de entrada, por lo tanto, elegir los pasajes correctos entre miles o millones de documentos en la empresa, tiene un impacto directo en la precisión de la LLM.
En este proyecto, el servicio Amazon OpenSearch se utiliza para la base de conocimiento.
La arquitectura general es así:
Flujo de trabajo general
- Implemente las pilas CDK (para obtener más información, ver aquí).
- Un punto final de Sagemaker para la generación de texto.
- Un punto final de Sagemaker para generar embedidas.
- Un clúster de Amazon OpenSearch para almacenar incrustaciones.
- Las credenciales de acceso de OpenSearch Cluster (nombre de usuario y contraseña) almacenadas en AWS Secrets Mananger como un nombre como
OpenSearchMasterUserSecret1-xxxxxxxxxxxx .
- Abra Sagemaker Studio y luego abra una nueva terminal.
- Ejecute los siguientes comandos en el terminal para clonar el repositorio de código para este proyecto:
git clone --depth=1 https://github.com/ksmin23/rag-with-amazon-opensearch-and-sagemaker.git
- Abra
data_ingestion_to_opensearch Notebook y ejecutarlo. (Para más información, ver aquí) - Ejecute la aplicación Streamlit. (Para más información, ver aquí)
Referencias
- Cree una poderosa pregunta respondiendo a Bot con Amazon Sagemaker, Amazon OpenSearch Service, Streamlit y Langchain (2023-05-25)
- Use modelos de base patentados de Amazon Sagemaker JumpStart en Amazon Sagemaker Studio (2023-06-27)
- Construya aplicaciones a Stiplit en Amazon Sagemaker Studio (2023-04-11)
- Cree rápidamente aplicaciones de IA generativas de alta precisión en datos empresariales utilizando Amazon Kendra, Langchain y modelos de idiomas grandes (2023-05-03)
- (Github) muestras de retriver de Amazon Kendra
- Respuesta de preguntas utilizando la generación de recuperación aumentada con modelos de base en Amazon Sagemaker JumpStart (2023-05-02)
- Las capacidades de base de datos vectoriales del servicio de Amazon OpenSearch explican
- Langchain: un marco para desarrollar aplicaciones alimentadas por modelos de idiomas.
- Streamlit: una forma más rápida de construir y compartir aplicaciones de datos
- Mejorar la relevancia de búsqueda con ML en Amazon OpenSearch Service Workshop - Módulo 7. Recuperación de generación aumentada
- RAG-With-Amazon-Kendra-Aplicación de respuesta de preguntas con modelos de idiomas grandes (LLMS) y Amazon Kendra
- RAG-With-Postgresql-PGVector-Aplicación de respuesta de preguntas con modelos de idiomas grandes (LLM) y Amazon Aurora Postgresql
