rag with amazon opensearch serverless and sagemaker - rag with amazon opensearch serverless and sagemaker descarga

rag with amazon opensearch serverless and sagemaker

Otro código fuente

1.0.0

Descargar

Qa con LLM y RAG (generación de recuperación aumentada)

Este proyecto es una aplicación de respuesta a preguntas con modelos de idiomas grandes (LLMS) y el servicio sin servidor de Amazon OpenSearch. Una aplicación que utiliza el enfoque RAG (Recuperación de generación aumentada) recupera la información más relevante para la solicitud del usuario de la base o contenido de conocimiento empresarial, lo inclina como contexto junto con la solicitud del usuario como un mensaje, y luego la envía a la LLM para obtener una respuesta de Genai.

Los LLM tienen limitaciones en torno al recuento de palabras máximo para el mensaje de entrada, por lo tanto, elegir los pasajes correctos entre miles o millones de documentos en la empresa, tiene un impacto directo en la precisión de la LLM.

En este proyecto, el servicio sin servidor de Amazon OpenSearch se utiliza para la base de conocimiento.

La arquitectura general es así:

Flujo de trabajo general

Implemente las pilas CDK (para obtener más información, ver aquí).
- Un punto final de Sagemaker para la generación de texto.
- Un punto final de Sagemaker para generar embedidas.
- Un Amazon OpenSearch Servidor sin almacenar incrustaciones.
Abra Jupyterlab en Sagemaker Studio y luego abra una nueva terminal.
Ejecute los siguientes comandos en el terminal para clonar el repositorio de código para este proyecto:
```
 git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
```
Abra data_ingestion_to_opensearch_serverless.ipynb cuaderno y ejecutarlo. (Para más información, ver aquí)
Ejecute la aplicación Streamlit. (Para más información, ver aquí)

Referencias

Cree una poderosa pregunta respondiendo a Bot con Amazon Sagemaker, Amazon OpenSearch Service, Streamlit y Langchain (2023-05-25)
Use modelos de base patentados de Amazon Sagemaker JumpStart en Amazon Sagemaker Studio (2023-06-27)
Construya aplicaciones a Stiplit en Amazon Sagemaker Studio (2023-04-11)
Cree rápidamente aplicaciones de IA generativas de alta precisión en datos empresariales utilizando Amazon Kendra, Langchain y modelos de idiomas grandes (2023-05-03)
- (Github) muestras de retriver de Amazon Kendra
Respuesta de preguntas utilizando la generación de recuperación aumentada con modelos de base en Amazon Sagemaker JumpStart (2023-05-02)
Las capacidades de base de datos vectoriales del servicio de Amazon OpenSearch explican
Langchain: un marco para desarrollar aplicaciones alimentadas por modelos de idiomas.
Streamlit: una forma más rápida de construir y compartir aplicaciones de datos
Mejorar la relevancia de búsqueda con ML en Amazon OpenSearch Service Workshop - Módulo 7. Recuperación de generación aumentada
RAG-With-Amazon-Kendra-Aplicación de respuesta de preguntas con modelos de idiomas grandes (LLMS) y Amazon Kendra
Rag-with-amazon-postgresql-using-pgvector-aplicación de respuesta con modelos de idiomas grandes (LLM) y Amazon Aurora Postgresql
RAG-With-Amazon-OpenSearch-Aplicación de respuesta de preguntas con modelos de idiomas grandes (LLMS) y Amazon OpenSearch Service con Langchain
Rag-with-jaystack-and-amazon-opensearch-Aplicación de respuesta de preguntas con modelos de idiomas grandes (LLMS) y Amazon OpenSearch Service con Haystack