colbertdb

Colbertdb

ColbertDB是一个开源数据库，旨在使用Colbert和Plaid进行有效的信息检索。受Ragatouille的启发和大量采购，ColbertDB的目的是简化文档分解，嵌入和索引的复杂过程，以获取检索功能增强的生成（RAG）应用程序。该项目来自从传统矢量数据库转换为基于Colbert的指数时观察到的重大改进。

动机

ColbertDB背后的动机是三个方面：

• 更相关的信息检索：从矢量数据库切换到基于COLBERT的索引可在项目的信息检索方面得到显着改善。这突出了基于Colbert的索引对传统方法的潜在好处。

• 开发人员友好的接口：设置文档块，嵌入和索引可能具有挑战性且容易出错。 ColbertDB提供了一个具有智能默认值的简单界面，使开发人员更容易将强大的信息检索功能集成到其应用程序中。

• 降低对外部模型提供商的依赖性：拥有嵌入模型意味着不依赖外部嵌入API，并且能够将基础模型调整到您的特定域中以获得更好的检索相关性。

特征

• Colbert和Plaid索引：利用最先进的ColbertDB和格子策略，以进行有效，准确的信息检索。
• 简单的API：用于管理集合，添加文档和执行搜索的易于使用的REST API。
• 智能默认值：用于文档块，嵌入和索引的预配置设置，以最少的配置确保最佳性能。
• FastAPI集成：使用FastApi构建，提供现代，快速且健壮的网络框架。
• Python和TypeScript客户端： PycolbertDB和ColbertDB-TS可用于无缝集成。

运行ColbertDB

Docker映像使用CUDA基本图像，如果可用，将使用GPU。建议使用GPU在硬件上运行ColbertDB，因为使用CPU索引文档会降低索引文档。您需要运行Docker（https://www.docker.com/products/docker-desktop/）才能在本地开始。

docker build . -t colbertdb:latest
docker run colbertdb:latest

或者

 docker compose up --build