document assistant

Assistente de documentos por Ash

Este aplicativo Python cria um assistente de documento simples usando o streamlit, Pinecone (Vector Store) e um modelo de idioma (OpenAI) para gerar respostas às consultas do usuário.

Comando para baixar documentos em formato html

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent -P langchain-docs --execute robots=off --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" https://api.python.langchain.com/en/latest/

1. Main.py

Este script cria um aplicativo da web usando o streamlit. Ele fornece uma interface do usuário para assistência ao documento, permitindo que os usuários enviem perguntas e recebam respostas que incluem fontes.

Principais recursos

• Interface do streamlit: usa o streamlit para a interface do usuário, incluindo campos de entrada e gerenciamento de sessão.
• Classificação de URL de origem: inclui uma função create_sources_string que pega um conjunto de URLs, classifica -os e formata -os como uma lista numerada.

2. Ingestão.py

Esse script é responsável por ingerir e processar documentos, possivelmente para um aplicativo de aprendizado de máquina ou pesquisa. Ele usa variáveis ​​de ambiente e interfaces com um serviço chamado Pinecone.

Principais recursos

• Carregamento e divisão de documentos: carrega documentos de uma fonte especificada e os divide em pedaços.
• Integração do Pinecone: Inserções documentam vetores em uma loja de vetores Pinecone.

3. Core.py

Este arquivo define as principais funcionalidades para executar consultas de modelo de idioma usando um sistema de recuperação. Parece estar bem integrado ao Pinecone para armazenamento e recuperação de vetores.

Principais recursos

• Configuração do ambiente: carrega variáveis ​​de ambiente.
• Processamento de consulta: fornece uma função run_llm que processa uma consulta usando uma cadeia de conversação com um modelo de idioma e um retriever de documento.