documentmentor rag

Documor

O documentor é um sistema RAG (Geração Aumentada de Recuperação) que atua como um assistente de documentação técnica. Usando a arquitetura RAG, o sistema combina o poder do GPT-3.5 do OpenAI com uma base de conhecimento local para fornecer respostas precisas e contextualizadas em documentos técnicos em espanhol.

Principais tecnologias

• Python 3.10+ : linguagem base do projeto

  • Suporte para características modernas
  • Gerenciamento de dependências eficientes
  • Compatibilidade com estruturas de IA
    • Langchain
    • Transformadores de frases
    • FAISS

• Langchain : estrutura principal para a construção do sistema de pano

  • Integração com o OpenAI GPT-3.5
  • Cadeias de processamento personalizadas
  • Gerenciamento de memória de conversação
  • Prompts otimizados

• API Openai :

  • Modelo GPT-3.5-Turbo para geração de respostas
  • Ajuste fino de avisos para contexto técnico
  • Respostas espanholas naturais

• RAG (geração aumentada de recuperação) :

  • Incorporações locais com transformadores de frases
  • Pesquisa semântica através do Faiss
  • Recuperação contextual inteligente
  • Enriquecimento do conhecimento do LLM

Interface do usuário com streamlit

O documentor usa o Streamlit como uma estrutura para a interface do usuário, fornecendo:

Características da interface do usuário

• Chat interativo :

  • Interface de conversação fluida
  • Mensagens persistentes
  • Entrada de texto intuitivo

• Gerenciamento de documentos :

  • PDFs carrega via arrasto e solteira
  • Visualização de documentos processados
  • Status de processamento real de tempo

• Painel de controle :

  • Barra lateral para configuração
  • Indicadores de status do sistema
  • Opções de personalização

Vantagens simplitadas

• Desenvolvimento rápido e eficiente
• Atualização real de tempo
• Integração perfeita com Python
• Exibição simples

Estrutura do projeto?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

Operação

Processamento de documentos?

1. Carga em PDF :

   • Carregue seus documentos técnicos em formato PDF
   • O sistema processa automaticamente cada documento
   • Os textos em pedaços otimizados são extraídos e segmentados

2. Indexação :

   • Cada segmento se torna incorporado
   • Eles são armazenados no banco de dados do FAISS Vector
   • Metadados e referências são preservados

Fluxo de consulta?

1. Perguntas sobre o usuário :

   • Escreva sua pergunta no chat
   • O sistema analisa a consulta
   • Uma incorporação da pergunta é gerada

2. Pesquisa semântica :

   • Os segmentos mais relevantes são procurados
   • O FAISS é usado para pesquisa eficiente
   • O contexto mais apropriado é recuperado

3. Geração de respostas :

   • GPT-3.5 recebe o contexto relevante
   • Uma resposta precisa é gerada
   • O contexto da conversa é mantido

Exemplo de uso

1. Preparação :

   • Carregue um manual técnico em pdf
   • Aguarde a confirmação do processamento
   • O documento está pronto para consultas

2. Consultas :

   • Pergunta: "Que requisitos a instalação tem?"
   • O sistema busca seções relevantes
   • Responda com informações específicas do documento

3. Seguir :

   • Você pode fazer perguntas -Siga -up
   • O sistema mantém o contexto
   • As respostas são consistentes e relacionadas

Vantagens?

• Processamento de documentos locais
• Respostas com base em sua documentação
• Contexto conversacional mantido
• Pesquisa semântica precisa
• Interface intuitiva

Requisitos?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

Instalação?

1. Clone o repositório

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. Crie ambiente virtual

python -m venv venv

3. Ative o ambiente virtual

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. Instalar dependências

pip install -r requirements.txt

5. Configure variáveis ​​de ambiente

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

Usar

1. Inicie o aplicativo

python main.py

O script main.py executa as seguintes tarefas:

• Carregar carga variável de .env
• Verifique a presença de OPENAI_API_KEY
• Inicializa as pastas necessárias:
  • data/processed/ para documentos processados
  • data/vector_store/ para índices vetoriais
• Lança a interface simplitada

Estado atual

• ✅ Processamento de documentos
• ✅ Sistema de incorporação local
• ✅ Pesquisa semântica
• ✅ Interface do usuário
• ✅ Gerenciamento de memória
• ✅ Persistência de dados

Notas importantes ️

• Requer conexão à Internet para GPT-3.5
• Os documentos são processados ​​localmente
• Mantenha o ambiente virtual atualizado
• Revisão de logs para diagnóstico