documentmentor rag

Documentant

Le documentant est un système de chiffon (génération augmentée de récupération) qui agit comme un assistant de documentation technique. En utilisant l'architecture de chiffon, le système combine la puissance de GPT-3.5 d'OpenAI avec une base de connaissances locale pour fournir des réponses précises et contextualisées sur les documents techniques en espagnol.

Technologies principales

• Python 3.10+ : langue de base de projet

  • Support aux caractéristiques modernes
  • Gestion des dépendances efficaces
  • Compatibilité avec les cadres IA
    • Lubriole
    • Transformers de phrase
    • Fais

• Langchain : cadre principal pour la construction du système de chiffon

  • Intégration avec Openai GPT-3.5
  • Chaînes de traitement personnalisées
  • Gestion de la mémoire conversationnelle
  • Invites optimisées

• API OpenAI :

  • Modèle GPT-3.5-Turbo pour la génération de réponse
  • Ajustement fin des invites pour le contexte technique
  • Réponses espagnoles naturelles

• Rag (récupération de génération augmentée) :

  • Intérêts locaux avec transformateurs de phrase
  • Recherche sémantique via Faish
  • Récupération contextuelle intelligente
  • Enrichissement des connaissances LLM

Interface utilisateur avec rationalisation

Le documentor utilise Streamlit comme framework pour l'interface utilisateur, en fournissant:

Caractéristiques de l'interface utilisateur

• Chat interactif :

  • Interface conversationnelle fluide
  • Messages persistants
  • Entrée de texte intuitive

• Gestion des documents :

  • PDFS Charge via Drag & Drop
  • Visualisation des documents traités
  • Statut de traitement du temps réel

• Panneau de contrôle :

  • Barre latérale pour la configuration
  • Indicateurs d'état du système
  • Options de personnalisation

Rationaliser les avantages

• Développement rapide et efficace
• Mise à jour réelle
• Intégration parfaite avec Python
• Affichage simple

Structure du projet?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

Opération

Traitement des documents?

1. Charge PDF :

   • Téléchargez vos documents techniques au format PDF
   • Le système traite automatiquement chaque document
   • Les textes en morceaux optimisés sont extraits et segmentés

2. Indexation :

   • Chaque segment devient des intérêts
   • Ils sont stockés dans la base de données vectorielle FAISS
   • Les métadonnées et les références sont préservées

Flux de consultation?

1. Questions de l'utilisateur :

   • Écrivez votre question au chat
   • Le système analyse la consultation
   • Une intégration de la question est générée

2. Recherche sémantique :

   • Les segments les plus pertinents sont recherchés
   • FAISS est utilisé pour une recherche efficace
   • Le contexte le plus approprié est récupéré

3. Génération de réponses :

   • GPT-3.5 reçoit le contexte pertinent
   • Une réponse précise est générée
   • Le contexte de la conversation est maintenu

Exemple d'utilisation

1. Préparation :

   • Télécharger un manuel technique en PDF
   • Attendre la confirmation de traitement
   • Le document est prêt pour les consultations

2. Consultations :

   • Question: "Quelles exigences l'installation a-t-elle?"
   • Le système recherche des sections pertinentes
   • Répondre avec des informations spécifiques sur le document

3. Suivi :

   • Vous pouvez poser des questions de suivi
   • Le système maintient le contexte
   • Les réponses sont cohérentes et liées

Avantages?

• Traitement des documents locaux
• Réponses basées sur votre documentation
• Contexte conversationnel maintenu
• Recherche sémantique précise
• Interface intuitive

Exigences ?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

Facilité ?

1. Cloner le référentiel

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. Créer un environnement virtuel

python -m venv venv

3. Activer l'environnement virtuel

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. Installer des dépendances

pip install -r requirements.txt

5. Configurer les variables d'environnement

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

Utiliser

1. Démarrer la demande

python main.py

Le script main.py effectue les tâches suivantes:

• Charge de charge variable de .env
• Vérifiez la présence d' OPENAI_API_KEY
• Initialise les dossiers nécessaires:
  • data/processed/ pour les documents traités
  • data/vector_store/ pour les indices vectoriels
• Lancer l'interface rationalisée

État actuel

• ✅ Traitement des documents
• ✅ Système d'intégration locale
• ✅ Recherche sémantique
• ✅ Interface utilisateur
• ✅ Gestion de la mémoire
• ✅ Persistance des données

Notes importantes ️

• Nécessite une connexion Internet pour GPT-3.5
• Les documents sont traités localement
• Gardez l'environnement virtuel à jour
• Passez en revue les journaux de diagnostic