airgapped offfline rag

Airgeppped Offline Rag

Этот проект Vincent KOC реализует систему для документов, основанную на извлечении-августах (RAG), для документов. Он использует модели Llama 3, Mistral и Gemini для локального вывода с Llama C ++, Langchain для оркестровки, ChromAdb для векторного хранения и потоковой связи для пользовательского интерфейса.

Оглавление

• Airgeppped Offline Rag
  • Оглавление
  • Настраивать
  • Запуск приложения
    • Локально
    • Использование Docker
  • Использование
  • Конфигурация
  • Функции
    • Поддерживаемые функции
    • Будущие функции
  • Внося
  • Лицензия
  • Благодарности

Настраивать

1. Убедитесь, что Python 3.9 установлен : вы можете использовать pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Создайте виртуальную среду и установите зависимости :

    make setup
   

3. Скачать модели : Загрузите модели Llama 3 (8b) и Mistral (7b) в формате GGUF и поместите их в models/ каталог. TheBloke on Hugging Face поделился моделями здесь:

   • MISTRAL-7B-INSTRUCT-V0.2-GGUF
   • Llama-Pro-8b-Instruct-Gguf

   Модели из unsloth также были протестированы и могут быть найдены здесь:

   • Gemma-2-2b-it.q2_k.gguf
   • Llama-3.2-3b-Instruct-Q2_K.Gguf

4. Модель трансформатора Qdrant предложения : это будет загружено автоматически при первом забеге. Если запустить тряпку с воздушным приводом локально, лучше всего запустить кодовую базу с доступом к Интернету, чтобы загрузить модель.

Запуск приложения

Локально

 make run

Использование Docker

 make docker-build
make docker-run

Использование

1. Загрузите PDF документы с помощью загрузчика файла.
2. Выберите модель, которую вы хотите использовать (например, Mistral).
3. Введите свой вопрос в текстовом вводе.
4. Нажмите «Создать ответ» , чтобы получить ответ на основе содержимого документа.

Конфигурация

Регулируйте настройки в config.yaml , чтобы изменить пути модели, размеры кусок и другие параметры.

Функции

Поддерживаемые функции

• Локальный вывод с ламой C ++
• Модельная поддержка Llama 3 (3 и 3.1)
• Модель поддержки Mistral
• Модель поддержки Близнецов
• Поддержка квантованных моделей
• Загрузка и обработка документов
• Вопрос-ответная система
• Модель трансформатора предложений для хранения вектора
• Интеграция с потоком для пользовательского интерфейса
• Поддержка потоковых ответов

Будущие функции

• Интеграция с дополнительными моделями (скоро)
• Поддерживать документы без PDF (скоро)
• Поддержка документов изображений (скоро)
• Поддержка визуализации встраиваний (скоро)
• Поддержка истории чата (скоро)
• Усовершенствованный пользовательский интерфейс (скоро)
• Поддержка мультимодальных документов (скоро)
• Экспорт и импорт конфигураций Rag (скоро)
• Разоблачение API REST (скоро)
• Наблюдаемость (скоро)

Внося

Взносы приветствуются! Пожалуйста, распадайте репозиторий и отправьте запрос на привлечение. Для серьезных изменений, пожалуйста, сначала откройте проблему, чтобы обсудить, что вы хотели бы изменить.

Лицензия

Этот проект лицензирован в рамках общей публичной лицензии GNU V3.0 (GPLV3). Смотрите файл лицензии для получения подробной информации.

Это означает:

• Вы можете свободно использовать, изменять и распространять это программное обеспечение.
• Если вы изменяете или расширяете это программное обеспечение, вы должны выпустить свои изменения в GPL.
• Вы должны включить первоначальное уведомление об авторском праве и полный текст лицензии GPL.
• Там нет гарантии на это бесплатное программное обеспечение.

Для получения дополнительной информации посетите GNU GPL V3.

Благодарности

• Спасибо TheBloke и Unsloth за то, что обменивались квантованными моделями.
• Этот проект использует различные библиотеки с открытым исходным кодом. См. Требования.txt для деталей.