documentmentor rag

Докутор

Документатор - это система тряпичной (поисковой добытой добычи), которая выступает в качестве помощника по технической документации. Используя архитектуру RAG, система объединяет силу GPT-3.5 OpenAI с местной базой знаний, чтобы предоставить точные и контекстуализированные ответы на технические документы на испанском языке.

Основные технологии

• Python 3.10+ : базовый язык проекта

  • Поддержка современных характеристик
  • Эффективное управление зависимостями
  • Совместимость с рамками IA
    • Лангхейн
    • Предложения трансформаторы
    • Файсс

• Langchain : основная структура для построения тряпичной системы

  • Интеграция с OpenAI GPT-3.5
  • Персонализированные обработки цепочек
  • Управление разговорной памятью
  • Оптимизированные подсказки

• OpenAI API :

  • Модель GPT-3.5-Turbo для генерации ответов
  • Тонкая настройка подсказок для технического контекста
  • Естественные испанские ответы

• Тряпка (поиск дополненного поколения) :

  • Местные встраивания с трансформаторами предложений
  • Семантический поиск через Файс
  • Интеллектуальное контекстуальное восстановление
  • LLM обогащение знаний

Пользовательский интерфейс с потоковой личкой

Документатор использует Streamlit в качестве структуры для пользовательского интерфейса, предоставляя:

Характеристики пользовательского интерфейса

• Интерактивный чат :

  • Жидкий разговорной интерфейс
  • Постоянные сообщения
  • Интуитивно понятная текстовая запись

• Управление документами :

  • Загрузка PDF -файлов через перетаскивание
  • Визуализация обработанных документов
  • Состояние реального времени обработки

• Панель управления :

  • Боковая панель для конфигурации
  • Индикаторы состояния системы
  • Параметры настройки

Преимущества потока

• Быстрое и эффективное развитие
• Реальное время обновление
• Идеальная интеграция с Python
• Простой дисплей

Структура проекта?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

Операция

Обработка документов?

1. Нагрузка в PDF :

   • Загрузите свои технические документы в формате PDF
   • Система автоматически обрабатывает каждый документ
   • Тексты в оптимизированных кусках извлечены и сегментируются

2. Индексация :

   • Каждый сегмент становится внедрением
   • Они хранятся в базе данных векторов FAISS
   • Метаданные и ссылки сохраняются

Поток консультаций?

1. Вопросы пользователя :

   • Напишите свой вопрос в чате
   • Система анализирует консультацию
   • Внедрение вопроса генерируется

2. Семантический поиск :

   • Наиболее соответствующие сегменты запрашиваются
   • Faiss используется для эффективного поиска
   • Наиболее подходящий контекст восстановлен

3. Поколение ответов :

   • GPT-3.5 получает соответствующий контекст
   • Генерируется точный ответ
   • Контекст разговора поддерживается

Пример использования

1. Подготовка :

   • Загрузите техническое руководство в PDF
   • Ждать обработки подтверждения
   • Документ готов к консультациям

2. Консультации :

   • Вопрос: «Какие требования предпринимают установка?»
   • Система ищет соответствующие разделы
   • Ответьте конкретной информацией о документе

3. Следовать за :

   • Вы можете задать следующие вопросы
   • Система поддерживает контекст
   • Ответы последовательны и связаны

Преимущества ?

• Обработка локальной документы
• Ответы на основе вашей документации
• Разговорной контекст поддерживается
• Точный семантический поиск
• Интуитивно понятный интерфейс

Требования ?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

Средство ?

1. Клонировать репозиторий

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. Создать виртуальную среду

python -m venv venv

3. Активировать виртуальную среду

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. Установить зависимости

pip install -r requirements.txt

5. Настройте переменные среды

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

Использовать

1. Начните приложение

python main.py

Сценарий main.py выполняет следующие задачи:

• Нагрузка переменной нагрузки от .env
• Проверьте наличие OPENAI_API_KEY
• Инициализируют необходимые папки:
  • data/processed/ ​​для обработанных документов
  • data/vector_store/ для векторных индексов
• Копь интерфейс потока

Текущее состояние

• ✅ Обработка документов
• ✅ Система локальной встраивания
• ✅ Семантический поиск
• ✅ Пользовательский интерфейс
• ✅ Управление памятью
• ✅ Постоянство данных

Важные примечания ️

• Требуется подключение к Интернету для GPT-3.5
• Документы обрабатываются локально
• Держите виртуальную среду обновлять
• Обзор журналов для диагностики