QA com LLM e RAG (geração aumentada de recuperação)
Este projeto é um aplicativo de resposta a perguntas com grandes modelos de idiomas (LLMS) e serviço sem servidor do Amazon Opensearch. Um aplicativo usando a abordagem RAG (geração aumentada de recuperação) recupera as informações mais relevantes para a solicitação do usuário da base ou conteúdo do conhecimento corporativo, agrupa -o como contexto junto com a solicitação do usuário como um prompt e o envia ao LLM para obter uma resposta Genai.
Os LLMs têm limitações em torno da contagem máxima de palavras para o prompt de entrada, escolhendo as passagens corretas entre milhares ou milhões de documentos na empresa, tem um impacto direto na precisão do LLM.
Neste projeto, o serviço Amazon OpenSearch sem servidor é usado para base de conhecimento.
A arquitetura geral é assim:
Fluxo de trabalho geral
- Implante as pilhas CDK (para mais informações, veja aqui).
- Um terminal de sagemaker para geração de texto.
- Um terminal de sagema para gerar incorporações.
- Um Amazon OpenSearch sem servidor para armazenar incorporações.
- Abra o Jupyterlab no Sagemaker Studio e depois abra um novo terminal.
- Execute os seguintes comandos no terminal para clonar o repositório de código para este projeto:
git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
- Abra
data_ingestion_to_opensearch_serverless.ipynb Notebook e execute -o. (Para mais informações, veja aqui) - Execute o aplicativo StreamLit. (Para mais informações, veja aqui)
Referências
- Construa um poder de resposta de perguntas poderosas com a Amazon Sagemaker, o Amazon OpenEarch Service, o Streamlit e o Langchain (2023-05-25)
- Use modelos de fundação proprietários do Amazon Sagemaker Jumpstart no Amazon Sagemaker Studio (2023-06-27)
- Construa aplicativos Streamlit no Amazon Sagemaker Studio (2023-04-11)
- Construa rapidamente aplicativos de IA generativos de alta precisão em dados corporativos usando Amazon Kendra, Langchain e grandes modelos de linguagem (2023-05-03)
- (Github) Amazon Kendra Retriver Amostras
- Resposta de perguntas usando a geração aumentada de recuperação com modelos de fundação no Amazon Sagemaker Jumpstart (2023-05-02)
- Recursos de banco de dados vetoriais do Amazon OpenEarch Service explicados
- Langchain - Uma estrutura para o desenvolvimento de aplicativos alimentados por modelos de idiomas.
- Streamlit - uma maneira mais rápida de construir e compartilhar aplicativos de dados
- Melhorar a relevância da pesquisa com o ML no Amazon OpenEarch Service Workshop - Módulo 7. Geração Aumentada de Recuperação
- Rag-With-Amazon-Kendra-Aplicação de perguntas de perguntas com grandes modelos de idiomas (LLMS) e Amazon Kendra
- rag-with-amazon-postgresql-using-pgvector-Aplicativo de resposta a perguntas com grandes modelos de idiomas (LLMS) e Amazon Aurora postgreSql
- Rag-With-Amazon-OpenSearch-Aplicação de perguntas de perguntas com grandes modelos de idiomas (LLMS) e Amazon OpenEarch Service com Langchain
- Rag-with-haystack-and-amazon-opensearch-Aplicativo de resposta a perguntas com grandes modelos de idiomas (LLMS) e serviço de opensearch da Amazon com Haystack
Segurança
Consulte contribuindo para mais informações.
Licença
Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.
