Dabarqus是实现完整的抹布解决方案的独立应用。它旨在易于使用且易于与现有应用程序集成。 Dabarqus包括REST API,命令行界面和管理仪表板。
如果您是开发人员,那么构建基本的抹布解决方案非常简单。有大量的教程和操作方法以及Python代码重复使用。但是,如果您在公司内部部署了抹布解决方案,或者用于最终用户PC,您还必须找出一些潜在的棘手部署和维护问题。这也意味着部署Python,一个矢量数据库,正确的嵌入AI模型以及可能的许可挑战。 Dabarqus的创建是为了通过无依赖性的独立,多合一的解决方案来解决这些问题。它用低级C ++编写,具有内置的矢量搜索功能,灵活地使用最适合您用例的嵌入式AI模型以及用于易于开发集成的REST API。
Dabarqus仅在CPU上工作,或者可以使用NVIDIA CUDA进行更高的性能。对于CUDA(又名Nvidia Cublas)版本,您需要安装NVIDIA驱动程序。 CPU版本不需要任何其他软件。请注意,要使用CUDA版本,您将需要具有带有CUDA支持的NVIDIA GPU,并下载CUDA版本的Dabarqus。
要在Ubuntu上安装NVIDIA驱动程序(如果您有NVIDIA GPU),请运行以下命令:
sudo ubuntu-drivers install将dabarqus文件解压缩到文件夹中
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install打开浏览器,然后访问http://localhost:6568/admin
对于包装文件下载,请执行以下操作:
http://localhost:6568/admin对于zip文件下载,请执行以下操作:
将dabarqus文件解压缩到文件夹中
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install打开浏览器,然后访问http://localhost:6568/admin
http://localhost:6568/admin 摄入文档,数据库和API :摄入的多种数据源,例如PDFS*,电子邮件和原始数据。
LLM风格的提示:在与内存库交谈时,请使用简单的LLM式提示。
REST API :用于下载模型,提示语义索引甚至LLM推论的全面控制接口。
多个语义索引(内存库) :将数据分组为单独的语义索引(内存库)。
SDK :Python和JavaScript中的本地SDK。
llm友好的输出:生产可与Chatgpt,Ollama和任何其他LLM提供商一起使用的LLM就绪输出
管理仪表板:监视性能,测试内存库,并在易于使用的UI中进行更改
Mac,Linux和Windows支持:在所有平台上以零依赖性为准:MACOS(Intel或Metal),Linux和Windows(CPU或GPU)
LLM推理:通过Dabarqus API/SDK与LLM模型聊天
*Dabarqus专业版是电子邮件,消息传递和API支持所必需的。
安装: barq service install
卸载: barq service uninstall
用法: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
示例: barq store --input-path C:docs --memory-bank documents
用法: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3这将显示“文档”内存库的查询的三个答案| 方法 | 端点 | 描述 | 参数 |
|---|---|---|---|
| 得到 | /健康或 / /API /健康 | 检查服务的健康状况 | 没有任何 |
| 得到 | /行政/* | 服务管理员申请 | 没有任何 |
| 得到 | /odobo/* | 服务ODOBO申请 | 没有任何 |
| 得到 | /API/型号 | 检索可用的AI型号 | 没有任何 |
| 得到 | /API/型号/元数据 | 获取特定模型的元数据 | modelRepo , filePath (可选) |
| 得到 | /API/下载 | 获取有关下载项目的信息 | modelRepo (可选), filePath (可选) |
| 得到 | /api/downloads/inqueue | 招募新下载 | modelRepo , filePath |
| 得到 | /api/downloads/cancel | 取消下载 | modelRepo , filePath |
| 得到 | /api/downloads/删除 | 删除下载的项目 | modelRepo , filePath |
| 得到 | /api/推理 | 获取有关推理项目的信息 | alias (可选) |
| 得到 | /api/temprence/start | 开始推理 | alias , modelRepo , filePath , address (可选), port (可选), contextSize (可选), gpuLayers (可选), chatTemplate (可选) |
| 得到 | /api/推理/停止 | 停止推理 | alias |
| 得到 | /api/推论/状态 | 获取推理的状态 | alias (可选) |
| 得到 | /api/推理/重置 | 重置推理 | alias |
| 得到 | /api/推理/重新启动 | 重新启动当前推理 | 没有任何 |
| 得到 | /API/硬件或/API/HardwareInfo | 获取硬件信息 | 没有任何 |
| 得到 | /api/silk | 获取内存状态 | 没有任何 |
| 得到 | /api/silk/启用 | 启用回忆 | 没有任何 |
| 得到 | /api/sill/disable | 禁用回忆 | 没有任何 |
| 得到 | /api/silk/memory banks | 获取内存库信息 | 没有任何 |
| 得到 | /api/silk/memory银行/激活 | 激活存储库 | memorybank |
| 得到 | /api/silk/memory bank/deactivate | 停用记忆库 | memorybank , all |
| 得到 | /api/sill/Query | 执行语义查询 | (由丝绸猎犬处理的参数) |
| 得到 | /API/丝绸/健康 | 检查丝绸猎犬的健康 | 没有任何 |
| 得到 | /api/silk/型号/元数据 | 从丝绸猎犬获取模型元数据 | (由丝绸猎犬处理的参数) |
| 得到 | /API/关闭 | 启动服务器关闭 | 没有任何 |
| 邮政 | /api/utils/log | 写入日志 | json主体带有日志详细信息 |
| 邮政 | /API/丝绸/嵌入 | 从丝绸猎犬那里嵌入 | (由丝绸猎犬处理的参数) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Dabarqus的示例可以在此存储库中在示例中找到。