colbertdb

Colbertdb

ColbertDB是一個開源數據庫，旨在使用Colbert和Plaid進行有效的信息檢索。受Ragatouille的啟發和大量採購，ColbertDB的目的是簡化文檔分解，嵌入和索引的複雜過程，以獲取檢索功能增強的生成（RAG）應用程序。該項目來自從傳統矢量數據庫轉換為基於Colbert的指數時觀察到的重大改進。

動機

ColbertDB背後的動機是三個方面：

• 更相關的信息檢索：從矢量數據庫切換到基於COLBERT的索引可在項目的信息檢索方面得到顯著改善。這突出了基於Colbert的索引對傳統方法的潛在好處。

• 開發人員友好的接口：設置文檔塊，嵌入和索引可能具有挑戰性且容易出錯。 ColbertDB提供了一個具有智能默認值的簡單界面，使開發人員更容易將強大的信息檢索功能集成到其應用程序中。

• 降低對外部模型提供商的依賴性：擁有嵌入模型意味著不依賴外部嵌入API，並且能夠將基礎模型調整到您的特定域中以獲得更好的檢索相關性。

特徵

• Colbert和Plaid索引：利用最先進的ColbertDB和格子策略，以進行有效，準確的信息檢索。
• 簡單的API：用於管理集合，添加文檔和執行搜索的易於使用的REST API。
• 智能默認值：用於文檔塊，嵌入和索引的預配置設置，以最少的配置確保最佳性能。
• FastAPI集成：使用FastApi構建，提供現代，快速且健壯的網絡框架。
• Python和TypeScript客戶端： PycolbertDB和ColbertDB-TS可用於無縫集成。

運行ColbertDB

Docker映像使用CUDA基本圖像，如果可用，將使用GPU。建議使用GPU在硬件上運行ColbertDB，因為使用CPU索引文檔會降低索引文檔。您需要運行Docker（https://www.docker.com/products/docker-desktop/）才能在本地開始。

docker build . -t colbertdb:latest
docker run colbertdb:latest

或者

 docker compose up --build