barq
v0.71.0
Dabarqus - это отдельное приложение, которое реализует полное раствор. Он предназначен для того, чтобы быть простым в использовании и просты в интеграции с существующими приложениями. Dabarqus включает в себя API REST, интерфейс командной строки и административную панель.
Если вы разработчик, создание базового раствора для тряпки довольно просто. Существует множество учебных пособий и практических, а также код Python для повторного использования. Но если вы развернете свое решение Rag в компании или для ПК с конечным пользователем, вам также придется выяснить некоторые потенциально сложные проблемы развертывания и обслуживания. Это означает также развертывание Python, векторной базы данных, правой встраиваемой модели ИИ и возможных проблем лицензирования. Dabarqus был создан для решения этих проблем с автономным, все в одном решении без зависимостей. Он написан на низком уровне C ++ с встроенными возможностями поиска в вектор, гибкостью для использования модели встраивания ИИ, которая лучше всего подходит для вашего варианта использования, и API REST для легкой интеграции разработки.
Dabarqus работает только на процессоре или может использовать NVIDIA CUDA для более высокой производительности. Для версии CUDA (AKA NVIDIA CUBLAS) вам нужно будет установить драйвер NVIDIA. Версия ЦП не требует дополнительного программного обеспечения. Обратите внимание, что для использования версии CUDA вам потребуется графический процессор NVIDIA с поддержкой CUDA, а также загрузить версию Dabarqus CUDA.
Чтобы установить драйверы NVIDIA на Ubuntu (если у вас есть графический процессор NVIDIA), запустите следующую команду:
sudo ubuntu-drivers installРазарзанизируйте файл Dabarqus в папку
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install Откройте браузер и перейдите по адресу http://localhost:6568/admin
Для загрузки файлов пакетов сделайте следующее:
http://localhost:6568/adminДля загрузки файлов zip сделайте следующее:
Разарзанизируйте файл Dabarqus в папку
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install Откройте браузер и перейдите по адресу http://localhost:6568/admin
http://localhost:6568/admin Принимая документы, базы данных и API : проглатывание разнообразных источников данных, таких как PDFS*, электронные письма и необработанные данные.
Подсказка в стиле LLM : используйте простые подсказки в стиле LLM при разговоре с банками памяти.
REST API : комплексный интерфейс управления для загрузки моделей, подсказки семантических индексов и даже вывод LLM.
Несколько семантических индексов (банки памяти) : группируйте ваши данные в отдельные семантические индексы (банки памяти).
SDK : Native SDK в Python и JavaScript.
LLM-дружелюбный выход : производит LLM-готовую вывод, который работает с CHATGPT, Ollama и любым другим поставщиком LLM
Дополнительная панель администратора : мониторинг производительности, тестирование банков памяти и внесите изменения в простого в использовании пользовательского интерфейса
Поддержка Mac, Linux и Windows изначально работает с нулевыми зависимостями от всех платформ: macOS (Intel или Metal), Linux и Windows (ЦП или графический процессор)
Вывод LLM : Общайтесь с моделями LLM прямо через Dabarqus API/SDKS
*Dabarqus Professional Edition требуется для электронной почты, обмена сообщениями и поддержки API.
Для установки: barq service install
Удалить: barq service uninstall
Использование: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
Пример: barq store --input-path C:docs --memory-bank documents
Использование: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Это будет отображать три ответа на запрос из банка «Документы» | Метод | Конечная точка | Описание | Параметры |
|---|---|---|---|
| ПОЛУЧАТЬ | /здоровье или /API /здоровье | Проверьте состояние здоровья услуги | Никто |
| ПОЛУЧАТЬ | /администратор/* | Обслуживать заявку на администрацию | Никто |
| ПОЛУЧАТЬ | /odobo/* | Служить приложению Odobo | Никто |
| ПОЛУЧАТЬ | /API/модели | Получить доступные модели искусственного интеллекта | Никто |
| ПОЛУЧАТЬ | /API/MODEL/METADATA | Получить метаданные для конкретной модели | modelRepo , filePath (необязательно) |
| ПОЛУЧАТЬ | /API/Загрузки | Получите информацию о загруженных элементах | modelRepo (необязательно), filePath (необязательно) |
| ПОЛУЧАТЬ | /API/Загрузки/Enqueue | Enqueue новая загрузка | modelRepo , filePath |
| ПОЛУЧАТЬ | /API/Загрузки/Отмена | Отменить загрузку | modelRepo , filePath |
| ПОЛУЧАТЬ | /api/загрузки/удалить | Удалить загруженный элемент | modelRepo , filePath |
| ПОЛУЧАТЬ | /API/вывод | Получите информацию о элементах вывода | alias (необязательно) |
| ПОЛУЧАТЬ | /API/вывод/старт | Начните вывод | alias , modelRepo , filePath , address (необязательно), port (необязательно), contextSize (необязательно), gpuLayers (необязательно), chatTemplate (необязательно) |
| ПОЛУЧАТЬ | /API/вывод/остановка | Остановить вывод | alias |
| ПОЛУЧАТЬ | /API/вывод/статус | Получите статус вывода | alias (необязательно) |
| ПОЛУЧАТЬ | /API/вывод/сброс | Сбросить вывод | alias |
| ПОЛУЧАТЬ | /API/вывод/перезапуск | Перезапустить текущий вывод | Никто |
| ПОЛУЧАТЬ | /api/hardware или/api/hardwareinfo | Получите информацию о аппаратном обеспечении | Никто |
| ПОЛУЧАТЬ | /api/шелк | Получите статус памяти | Никто |
| ПОЛУЧАТЬ | /api/шелк/включить | Включить воспоминания | Никто |
| ПОЛУЧАТЬ | /api/шелк/отключить | Отключить воспоминания | Никто |
| ПОЛУЧАТЬ | /API/шелк/Поставки памяти | Получить информацию о банках памяти | Никто |
| ПОЛУЧАТЬ | /API/шелк/Bement Bank/Activate | Активировать банк памяти | memorybank |
| ПОЛУЧАТЬ | /API/шелк/Bemory Bank/Deactivate | Деактивировать банк памяти | memorybank , all |
| ПОЛУЧАТЬ | /api/шелк/запрос | Выполнять семантический запрос | (Параметры, обработанные шелковым ретривером) |
| ПОЛУЧАТЬ | /API/шелк/здоровье | Проверьте здоровье шелкового ретривера | Никто |
| ПОЛУЧАТЬ | /api/шелк/модель/метаданные | Получить модель метаданных от шелкового ретривера | (Параметры, обработанные шелковым ретривером) |
| ПОЛУЧАТЬ | /API/выключение | Инициировать выключение сервера | Никто |
| ПОЧТА | /api/utils/log | Напишите в журнал | Json Body с деталями журнала |
| ПОЧТА | /api/шелк/встраивание | Получите внедрение от шелкового ретривера | (Параметры, обработанные шелковым ретривером) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Примеры Dabarqus в действии можно найти в этом репо в примерах .
