rag with amazon opensearch and sagemaker

QA com LLM e RAG (geração aumentada de recuperação)

Este projeto é um aplicativo de resposta a perguntas com grandes modelos de idiomas (LLMS) e serviço do Amazon OpenSearch. Um aplicativo usando a abordagem RAG (geração aumentada de recuperação) recupera as informações mais relevantes para a solicitação do usuário da base ou conteúdo do conhecimento corporativo, agrupa -o como contexto junto com a solicitação do usuário como um prompt e o envia ao LLM para obter uma resposta Genai.

Os LLMs têm limitações em torno da contagem máxima de palavras para o prompt de entrada, escolhendo as passagens corretas entre milhares ou milhões de documentos na empresa, tem um impacto direto na precisão do LLM.

Neste projeto, o serviço Amazon OpenEarch é usado para base de conhecimento.

A arquitetura geral é assim:

Fluxo de trabalho geral

1. Implante as pilhas CDK (para mais informações, veja aqui).
   • Um terminal de sagemaker para geração de texto.
   • Um terminal de sagema para gerar incorporações.
   • Um cluster da Amazon OpenSearch para armazenar incorporações.
   • As credenciais de acesso do OpenSearch Cluster (nome de usuário e senha) armazenadas no AWS Secrets Mananger como um nome como OpenSearchMasterUserSecret1-xxxxxxxxxxxx .
2. Open Sagemaker Studio e depois abra um novo terminal.
3. Execute os seguintes comandos no terminal para clonar o repositório de código para este projeto:

    git clone --depth=1 https://github.com/ksmin23/rag-with-amazon-opensearch-and-sagemaker.git
   

4. Open data_ingestion_to_opensearch Notebook e execute -o. (Para mais informações, veja aqui)
5. Execute o aplicativo StreamLit. (Para mais informações, veja aqui)

Referências

• Construa um poder de resposta de perguntas poderosas com a Amazon Sagemaker, o Amazon OpenEarch Service, o Streamlit e o Langchain (2023-05-25)
• Use modelos de fundação proprietários do Amazon Sagemaker Jumpstart no Amazon Sagemaker Studio (2023-06-27)
• Construa aplicativos Streamlit no Amazon Sagemaker Studio (2023-04-11)
• Construa rapidamente aplicativos de IA generativos de alta precisão em dados corporativos usando Amazon Kendra, Langchain e grandes modelos de linguagem (2023-05-03)
  • (Github) Amazon Kendra Retriver Amostras
• Resposta de perguntas usando a geração aumentada de recuperação com modelos de fundação no Amazon Sagemaker Jumpstart (2023-05-02)
• Recursos de banco de dados vetoriais do Amazon OpenEarch Service explicados
• Langchain - Uma estrutura para o desenvolvimento de aplicativos alimentados por modelos de idiomas.
• Streamlit - uma maneira mais rápida de construir e compartilhar aplicativos de dados
• Melhorar a relevância da pesquisa com o ML no Amazon OpenEarch Service Workshop - Módulo 7. Geração Aumentada de Recuperação
• Rag-With-Amazon-Kendra-Aplicação de perguntas de perguntas com grandes modelos de idiomas (LLMS) e Amazon Kendra
• Rag-with-PostGresql-PGVector-Aplicativo de resposta a perguntas com grandes modelos de idiomas (LLMS) e Amazon Aurora PostgreSQL