documentmentor rag

Dokumentator

Dokumentor ist ein System mit Rag (Abruf Augmented Generation), das als technischer Dokumentationsassistent fungiert. Mithilfe von Lag-Architektur kombiniert das System die Kraft von GPT-3.5 von OpenAI mit einer lokalen Wissensbasis, um präzise und kontextualisierte Antworten auf technische Dokumente auf Spanisch zu liefern.

Haupttechnologien

• Python 3.10+ : Projektbasissprache

  • Unterstützung für moderne Merkmale
  • Effizientes Abhängigkeitsmanagement
  • Kompatibilität mit IA -Frameworks
    • Langchain
    • Satztransformatoren
    • Faiss

• Langchain : Hauptgerüst für den Bau des Lappensystems

  • Integration mit OpenAI GPT-3.5
  • Personalisierte Verarbeitungsketten
  • Gesprächsgedächtnisverwaltung
  • Optimierte Eingabeaufforderungen

• OpenAI -API :

  • Modell GPT-3,5-Turbo zur Reaktionsgenerierung
  • Feinabstimmung von Eingabeaufforderungen für den technischen Kontext
  • Natürliche spanische Antworten

• RAG (Abruf Augmented Generation) :

  • Lokale Einbettungen mit Satztransformatoren
  • Semantische Suche durch Faiss
  • Intelligente kontextbezogene Genesung
  • LLM -Wissensanreicherung

Benutzeroberfläche mit Streamlit

Der Dokument verwendet Streamlit als Framework für die Benutzeroberfläche, sofern:

UI -Eigenschaften

• Interaktiver Chat :

  • Fluid -Konversationsschnittstelle
  • Anhaltende Nachrichten
  • Intuitive Texteingabe

• Dokumentverwaltung :

  • PDFS laden über Drag & Drop
  • Visualisierung verarbeiteter Dokumente
  • Real -Time -Verarbeitungsstatus

• Bedienfeld :

  • Seitenleiste für die Konfiguration
  • Systemstatusindikatoren
  • Anpassungsoptionen

Stromlitische Vorteile

• Schnelle und effiziente Entwicklung
• Real -Time Update
• Perfekte Integration in Python
• Einfaches Display

Projektstruktur?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

Betrieb

Dokumentverarbeitung?

1. PDF -Last :

   • Laden Sie Ihre technischen Dokumente im PDF -Format hoch
   • Das System verarbeitet jedes Dokument automatisch
   • Die Texte in optimierten Stücken werden extrahiert und segmentiert

2. Indexierung :

   • Jedes Segment wird Einbettung
   • Sie werden in der Faiss Vector -Datenbank gespeichert
   • Metadaten und Referenzen bleiben erhalten

Beratungsfluss?

1. Benutzerfragen :

   • Schreiben Sie Ihre Frage beim Chat
   • Das System analysiert die Beratung
   • Eine Einbettung der Frage wird erstellt

2. Semantische Suche :

   • Die relevantesten Segmente werden gesucht
   • Faiss wird für eine effiziente Suche verwendet
   • Der am besten geeignete Kontext wird wiederhergestellt

3. Generation von Antworten :

   • GPT-3.5 erhält den relevanten Kontext
   • Eine genaue Antwort wird erzeugt
   • Der Kontext des Gesprächs wird aufrechterhalten

Beispiel der Verwendung

1. Vorbereitung :

   • Laden Sie ein technisches Handbuch in PDF hoch
   • Warten Sie auf die Verarbeitungsbestätigung
   • Das Dokument ist für Konsultationen bereit

2. Konsultationen :

   • Frage: "Welche Anforderungen hat die Installation?"
   • Das System sucht relevante Abschnitte
   • Antworten Sie mit spezifischen Dokumentinformationen

3. Nachverfolgen :

   • Sie können Follow -up -Fragen stellen
   • Das System behält den Kontext bei
   • Die Antworten sind konsistent und verwandt

Vorteile ?

• Lokale Dokumentverarbeitung
• Antworten basierend auf Ihrer Dokumentation
• Konversationskontext beibehalten
• Präzise semantische Suche
• Intuitive Schnittstelle

Anforderungen ?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

Einrichtung ?

1. Klonen Sie das Repository

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. Virtuelle Umgebung erstellen

python -m venv venv

3. Aktivieren Sie die virtuelle Umgebung

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. Abhängigkeiten installieren

pip install -r requirements.txt

5. Konfigurieren von Umgebungsvariablen

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

Verwenden

1. Starten Sie die Anwendung

python main.py

Das main.py -Skript führt die folgenden Aufgaben aus:

• Lastvariablenlast von .env
• Überprüfen Sie das Vorhandensein von OPENAI_API_KEY
• Initialisiert die erforderlichen Ordner:
  • data/processed/ für verarbeitete Dokumente
  • data/vector_store/ für Vektorindizes
• Speer der optimistischen Schnittstelle

Aktueller Zustand

• ✅ Dokumentverarbeitung
• ✅ Lokales Einbettungssystem
• ✅ Semantische Suche
• ✅ Benutzeroberfläche
• ✅ Speicherverwaltung
• ✅ Datendauer

Wichtige Anmerkungen Euen

• Benötigt eine Internetverbindung für GPT-3.5
• Dokumente werden lokal verarbeitet
• Halten Sie die virtuelle Umgebung auf dem neuesten Stand
• Überprüfungsprotokolle für die Diagnose