Dabarqus是實現完整的抹布解決方案的獨立應用。它旨在易於使用且易於與現有應用程序集成。 Dabarqus包括REST API,命令行界面和管理儀表板。
如果您是開發人員,那麼構建基本的抹布解決方案非常簡單。有大量的教程和操作方法以及Python代碼重複使用。但是,如果您在公司內部部署了抹布解決方案,或者用於最終用戶PC,您還必須找出一些潛在的棘手部署和維護問題。這也意味著部署Python,一個矢量數據庫,正確的嵌入AI模型以及可能的許可挑戰。 Dabarqus的創建是為了通過無依賴性的獨立,多合一的解決方案來解決這些問題。它用低級C ++編寫,具有內置的矢量搜索功能,靈活地使用最適合您用例的嵌入式AI模型以及用於易於開發集成的REST API。
Dabarqus僅在CPU上工作,或者可以使用NVIDIA CUDA進行更高的性能。對於CUDA(又名Nvidia Cublas)版本,您需要安裝NVIDIA驅動程序。 CPU版本不需要任何其他軟件。請注意,要使用CUDA版本,您將需要具有帶有CUDA支持的NVIDIA GPU,並下載CUDA版本的Dabarqus。
要在Ubuntu上安裝NVIDIA驅動程序(如果您有NVIDIA GPU),請運行以下命令:
sudo ubuntu-drivers install將dabarqus文件解壓縮到文件夾中
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install打開瀏覽器,然後訪問http://localhost:6568/admin
對於包裝文件下載,請執行以下操作:
http://localhost:6568/admin對於zip文件下載,請執行以下操作:
將dabarqus文件解壓縮到文件夾中
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install打開瀏覽器,然後訪問http://localhost:6568/admin
http://localhost:6568/admin 攝入文檔,數據庫和API :攝入的多種數據源,例如PDFS*,電子郵件和原始數據。
LLM風格的提示:在與內存庫交談時,請使用簡單的LLM式提示。
REST API :用於下載模型,提示語義索引甚至LLM推論的全面控制接口。
多個語義索引(內存庫) :將數據分組為單獨的語義索引(內存庫)。
SDK :Python和JavaScript中的本地SDK。
llm友好的輸出:生產可與Chatgpt,Ollama和任何其他LLM提供商一起使用的LLM就緒輸出
管理儀表板:監視性能,測試內存庫,並在易於使用的UI中進行更改
Mac,Linux和Windows支持:在所有平台上以零依賴性為準:MACOS(Intel或Metal),Linux和Windows(CPU或GPU)
LLM推理:通過Dabarqus API/SDK與LLM模型聊天
*Dabarqus專業版是電子郵件,消息傳遞和API支持所必需的。
安裝: barq service install
卸載: barq service uninstall
用法: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
示例: barq store --input-path C:docs --memory-bank documents
用法: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3這將顯示“文檔”內存庫的查詢的三個答案| 方法 | 端點 | 描述 | 參數 |
|---|---|---|---|
| 得到 | /健康或 / /API /健康 | 檢查服務的健康狀況 | 沒有任何 |
| 得到 | /行政/* | 服務管理員申請 | 沒有任何 |
| 得到 | /odobo/* | 服務ODOBO申請 | 沒有任何 |
| 得到 | /API/型號 | 檢索可用的AI型號 | 沒有任何 |
| 得到 | /API/型號/元數據 | 獲取特定模型的元數據 | modelRepo , filePath (可選) |
| 得到 | /API/下載 | 獲取有關下載項目的信息 | modelRepo (可選), filePath (可選) |
| 得到 | /api/downloads/inqueue | 招募新下載 | modelRepo , filePath |
| 得到 | /api/downloads/cancel | 取消下載 | modelRepo , filePath |
| 得到 | /api/downloads/刪除 | 刪除下載的項目 | modelRepo , filePath |
| 得到 | /api/推理 | 獲取有關推理項目的信息 | alias (可選) |
| 得到 | /api/temprence/start | 開始推理 | alias , modelRepo , filePath , address (可選), port (可選), contextSize (可選), gpuLayers (可選), chatTemplate (可選) |
| 得到 | /api/推理/停止 | 停止推理 | alias |
| 得到 | /api/推論/狀態 | 獲取推理的狀態 | alias (可選) |
| 得到 | /api/推理/重置 | 重置推理 | alias |
| 得到 | /api/推理/重新啟動 | 重新啟動當前推理 | 沒有任何 |
| 得到 | /API/硬件或/API/HardwareInfo | 獲取硬件信息 | 沒有任何 |
| 得到 | /api/silk | 獲取內存狀態 | 沒有任何 |
| 得到 | /api/silk/啟用 | 啟用回憶 | 沒有任何 |
| 得到 | /api/sill/disable | 禁用回憶 | 沒有任何 |
| 得到 | /api/silk/memory banks | 獲取內存庫信息 | 沒有任何 |
| 得到 | /api/silk/memory銀行/激活 | 激活存儲庫 | memorybank |
| 得到 | /api/silk/memory bank/deactivate | 停用記憶庫 | memorybank , all |
| 得到 | /api/sill/Query | 執行語義查詢 | (由絲綢獵犬處理的參數) |
| 得到 | /API/絲綢/健康 | 檢查絲綢獵犬的健康 | 沒有任何 |
| 得到 | /api/silk/型號/元數據 | 從絲綢獵犬獲取模型元數據 | (由絲綢獵犬處理的參數) |
| 得到 | /API/關閉 | 啟動服務器關閉 | 沒有任何 |
| 郵政 | /api/utils/log | 寫入日誌 | json主體帶有日誌詳細信息 |
| 郵政 | /API/絲綢/嵌入 | 從絲綢獵犬那裡嵌入 | (由絲綢獵犬處理的參數) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Dabarqus的示例可以在此存儲庫中在示例中找到。