RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

Interação inteligente baseada em trapulcational agente para extração de conhecimento usando Langchain Gemini LLM

No Google Colab acima, contém código detalhado

A geração de recuperação de recuperação (RAG) é uma estrutura que combina a recuperação de informações com a IA generativa. Ele permite que os modelos recuperem informações relevantes de fontes ou bancos de dados externos e usem esses dados para gerar respostas mais precisas e contextualmente relevantes. Ao alavancar a recuperação e a geração, o RAG melhora a precisão e a confiabilidade dos modelos de IA, particularmente no fornecimento de informações atualizadas ou no tratamento de perguntas complexas.

Fluxo de trabalho

Este projeto fornece um assistente de conversação baseado em IA que aproveita a geração de recuperação de recuperação (RAG) para extrair conhecimento de documentos em PDF. O sistema combina incorporações de texto, pesquisa de vetores e um LLM para fornecer respostas às perguntas do usuário. Abaixo está um fluxo de trabalho passo a passo detalhado de como o aplicativo opera:

1. Carregando o documento PDF

• Os usuários carregam um arquivo PDF através do caminho mencionado no notebook. O arquivo carregado é processado para extrair o texto usando pdfplumber , uma biblioteca Python para extrair texto do PDFS.

2. Extração de texto

• O notebook utiliza a biblioteca pdfplumber para extrair texto bruto do PDF carregado. Cada página do documento é analisada e o texto resultante é preparado para um processamento adicional.

3. Chunking de texto

• O texto extraído é dividido em pedaços menores usando RecursiveCharacterTextSplitter . Isso garante que o conteúdo seja gerenciável para incorporações e recuperação, normalmente com um tamanho de interrupção de 500 caracteres e uma sobreposição de 50 caracteres.

4. Geração de incorporação

• O texto em chunked é convertido em incorporações numéricas usando SpacyEmbeddings . Essas incorporações representam o significado semântico dos pedaços, permitindo pesquisas eficientes.

5. loja de vetores com Chroma

• Um banco de dados vetorial é criado usando a biblioteca Chroma , onde as incorporações são armazenadas. O banco de dados vetorial permite uma recuperação rápida e eficiente de informações relevantes com base nas consultas do usuário.

6. Cadeia de recuperação de conversação

• O ConversationalRetrievalChain é estabelecido usando LangChain , combinando as incorporações armazenadas no Chroma com um buffer de memória de conversação para rastrear o histórico e o contexto do bate -papo.

7. Interação LLM

• O notebook integra o ChatGoogleGenerativeAI (Gemini LLM do Google) para gerar respostas relevantes e inteligentes às perguntas do usuário com base nos pedaços recuperados de texto da loja de vetores.

8. Consulta de usuário e resposta da IA

• Os usuários podem inserir suas perguntas sobre o documento PDF enviado, e o sistema responde recuperando os pedaços mais relevantes da loja de vetores e gerando uma resposta usando o LLM. O histórico de conversas é preservado para o contexto.

9. Exibição do histórico de conversas

• Os recursos de uma seção expansível onde os usuários podem visualizar o histórico de conversas. Essa transparência permite que os usuários revisem consultas e respostas anteriores, promovendo uma melhor compreensão do contexto e do fluxo da interação.

Fluxo de pano no processo

Importância

1. Recuperação de conhecimento eficiente : Ao alavancar o poder do RAG, o sistema combina recuperação e geração para responder a perguntas específicas com precisão com base no conteúdo dos documentos PDF enviados.

2. Escalabilidade e flexibilidade : com a crise e incorporação de texto, o aplicativo pode lidar com documentos grandes, garantindo uma recuperação de informações rápidas e precisas.

3. A IA conversacional : a memória do histórico de conversas torna o sistema mais interativo, pois mantém o controle de perguntas e respostas anteriores, mantendo o contexto em longas conversas.

4. Integração das ferramentas modernas da IA : Este projeto demonstra o uso de ferramentas avançadas como Chroma for Vector Storage, LangChain para gerenciamento de conversas e Gemini LLM do Google para gerar respostas humanas.