Doc Quest

Docquest ?: Внутренняя система поиска-августа (RAG)

Как мы можем спроектировать и оптимизировать тряпичную систему для предоставления персонализированных, богатых справочниками выходов для групп по науке о данных, в то время как управление собственными пакетами в автономной среде?

Чтобы сломать его дальше:

• Индивидуальный вывод со ссылками: Исследуйте, как система RAG может использовать информацию, специфичную для контекста, для создания индивидуальных выходов для ученых данных. Изучите методы, чтобы включить точные и соответствующие ссылки в сгенерированное содержание.
• Внутренняя автономная система: изучите технические требования и ограничения развертывания системы RAG в автономной среде. Оцените проблемы, связанные с хранением данных, обработкой и обновлениями модели без подключения к Интернету.
• Управление собственными пакетами: анализировать стратегии интеграции и управления проприетарными пакетами по науке о данных в системе RAG. Посмотрите на проблемы совместимости, управление версиями и управление зависимостями, чтобы обеспечить бесшовную работу и интеграцию.

Обзор:

Docquest-это автономная система поиска-аугированного поколения (RAG), предназначенная для научных групп. Он предоставляет персонализированные, богатые ссылками выходы при работе в средах без подключения к Интернету. Эта система идеально подходит для безопасных настроек, где конфиденциальность данных имеет первостепенное значение.

Функции:

• Автономная операция : полностью функциональная тряпичная система, которая работает без подключения к Интернету
• Расширенная предварительная обработка документа : надежный конвейер для эффективной обработки документов и извлечения контента
• Современное встроенное и векторное хранение : включает в себя несколько моделей встраивания и векторные решения для хранения
• Оптимизированная тряпичная трубопровод : включает в себя интеллектуальную обработку запросов и поиск документов с высоким разрешением
• Интерфейс, удобный для пользователя : пользовательский интерфейс на основе стримки для легкого взаимодействия

Источники данных:

Система объединяет документацию из нескольких источников, включая:

• Панды
• Numpy
• Scikit-learn

Структура папки:

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

Установка:

1. Клонировать репозиторий:

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. Настройте виртуальную среду:

    python3 -m venv .venv
   source .venv/bin/activate
   

3. Установить зависимости:

    pip install -r requirements.txt
   

4. Настройте ключ API: настройте ключ API GROQ в качестве переменной среды:

    export GROQ_API_KEY=your_groq_api_key
   

   Или добавьте его непосредственно в файл doc_quest_app.py :

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. Подготовьте пути документа: убедитесь, что ваши пути документа правильно установлены в файле doc_quest_app.py :

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

Использование:

1. Запустите приложение Streamlit:

    streamlit run doc_quest_app.py
   

2. Получите доступ к веб -интерфейсу на URL -адресу, предоставленном Streamlit (обычно http://localhost:8501 ).

3. Используйте интерфейс чата, чтобы задать вопросы и взаимодействовать с тряпичной системой.

Системные компоненты:

• Предварительная обработка документа : использует Bshtmlloader и BeautifulSoup для извлечения контента
• Встроенные модели : GTE-Large-en-V1.5, GTE-Large, Stella_en_400M_V5
• Векторное хранение : Chroma, Faiss
• Генерация текста : использует модель Llama-3.1-70b

Будущие улучшения:

• Реализация хранения истории чата.
• Дополнительная оптимизация компонента поиска.
• Добавление привязанных ссылок для прямой навигации в соответствующие разделы документов.
• Введение нескольких вариантов выбора генеративной модели в пользовательском интерфейсе.