advanced rag router with amazon bedrock

Construa um assistente avançado baseado no roteador de trapos com a Amazon Bedrock

Esse repositório contém as amostras de código que permitirão que os participantes aprendam a usar a arquitetura baseada no roteador de geração aumentada de recuperação (RAG) com a Amazon Bedrock e a Amazon OpenSearch Sem Server (AOSS) para criar rapidamente um assistente seguro que usa as informações mais atualizadas para converse com os usuários. Os participantes também aprenderão como esse assistente usará a recuperação de informações guiadas por diálogo para responder aos usuários.

Visão geral

A Amazon Bedrock é um serviço totalmente gerenciado que oferece uma escolha de modelos de fundação de alto desempenho (SFMs) das principais empresas de IA acessíveis através de uma única API, juntamente com um amplo conjunto de recursos necessários para criar aplicativos de IA generativos, simplificando o desenvolvimento, mantendo a privacidade e a segurança.

Os grandes modelos de linguagem (LLMs) são um tipo de modelo de fundação que pode tomar o Langauge natural como entrada, com a capacidade de processar e entendê -lo e produzir linguagem natural como saída. Os LLMs também podem executar tarefas como classificação, resumo, simplificação, reconhecimento de entidades, etc.

Os LLMs geralmente são treinados offline com dados disponíveis até aquele momento. Como resultado, os LLMs não terão conhecimento do mundo após essa data. Além disso, os LLMs são treinados em corpora de domínio muito geral, tornando-os menos eficazes para tarefas específicas de domínio. E então, os LLMs tendem a alucinar onde o modelo gera texto incorreto, absurdo ou não real. O uso de um mecanismo de geração de aumento de recuperação (RAG) pode ajudar a mitigar todos esses problemas. Uma arquitetura RAG envolve a recuperação de dados que correspondem de perto ao texto no prompt do usuário, de uma fonte de dados externa e usá -los para aumentar o prompt antes de enviar para o LLM. Esse aumento de um aumento fornecerá o contexto que o LLM pode usar para responder ao prompt.

Quando existem fontes de dados Mulitple, é necessário rotear a solicitação de retraca para a fonte de dados apropriada antes de executar a recuperação real. Este é um padrão de roteador de pano.

Esse repositório contém código que o levará ao processo de criação de um assistente avançado baseado no roteador de trapos usando um modelo de idioma grande (LLM) hospedado no Amazon Bedrock e usando bases de conhecimento para a Amazon Bedrock para vetorização, armazenamento e retirada de dados por meio de pesquisa semântica. O Amazon OpenSearch Serverless será usado como índice de vetor.

Para começar

1. Escolha uma conta da AWS para usar e crie todos os recursos nessa conta.
2. Identifique uma região da AWS que possui a Amazon Bedrock com modelos de texto Antropic Claude 3 e Titan Incorberdings G1 - Text.
3. Nessa região, crie um novo ou use um balde Amazon S3 existente de sua escolha. Verifique se este balde pode ser lido pela AWS CloudFormation.
4. Crie o arquivo da camada lambda chamado py312_opensearch-py_requests_and_requests-aws4auth.zip usando o procedimento a seguir e enviá-lo para o mesmo balde do Amazon S3 da Etapa 3.
   • No Windows 10 ou acima:
     1. Verifique se o Python 3.12 e o PIP estão instalados e definidos na variável do caminho do usuário.
     2. Faça o download do 7-ZIP e instale-o em C:/Program Files/7-Zip/ .
     3. Abra o prompt de comando do Windows.
     4. Crie um novo diretório e cd nele.
     5. Execute o lambda_layer_file_create.bat de dentro desse diretório.
     6. Isso criará o arquivo da camada lambda chamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • No Linux:
     1. Verifique se o Python 3.12 e o PIP estão instalados e definidos na variável do caminho do usuário.
     2. Abra o prompt de comando linux.
     3. Crie um novo diretório e cd nele.
     4. Execute o lambda_layer_file_create.sh de dentro desse diretório.
     5. Isso criará o arquivo da camada lambda chamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Pegue o modelo de formação de nuvem da AWS fornecido rag-router-cfn.yaml e atualize o seguinte parâmetro,
   • Implantingartifactss3bucketname - defina -o com o nome do balde Amazon S3 da etapa 3.
6. Crie uma pilha do AWS CloudFormation com o modelo atualizado.
7. Abra o notebook Jupyter chamado rag-router.ipynb Navegando para o console de instâncias do Amazon Sagemaker Notebook e clicando no link aberto Jupyter na instância chamada Rag-Router-Instance .

Estrutura do repositório

Este repositório contém

• Um caderno Jupyter para começar.

• Um conjunto de funções auxiliares para o caderno

• Diagramas de arquitetura que mostram os vários componentes usados ​​nesta sessão, juntamente com suas interações.

Segurança

Consulte contribuindo para mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.