mettis

MetTISDB：通過 *scratch構建的分佈式Lite矢量數據庫。

它做什麼：

• 使用接近等級的全文搜索
• 通過HNSW +餘弦距離搜索語義搜索
• 集成的基本文本嵌入式服務（句子變壓器周圍的Python HTTP API）
• 互合融合全文 +語義搜索結果的相互等級融合
• 內存服務 +磁盤持久性
• 使用筏的片段複製的故障耐受性

不是什麼：

• 準備生產（代碼現在非常sus）
• 完美（因為善良的敵人）

建築學

入門

使用PIP安裝基本文本third_party服務的基本文本嵌入式服務的依賴項。

pip install -r requirements.txt

然後像這樣開始服務：

uvicorn main:app

設置一個環境變量EmbeddingHost ，指向嵌入式服務的地址

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

繼續啟動向量數據庫的實例

標誌

• HTTPADDR：HTTP API服務的地址
• JOINADDR：主要節點的HTTP API服務地址
• Nodeid：節點的唯一標識符
• Raftaddr：節點的筏地址

運行單節點

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

發布 /索引

索引文檔

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

獲取 /搜索

搜尋

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

運行3節點群集

在不同的機器上運行以下命令（至少要模擬項目的不同實例）

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

複製品在127.0.0.1:9000上加入初選

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

托多

• 索引
  • 使用goroutines處理術語的並發索引
• 檢索
  • 布爾查詢
  • 並發記憶搜索
• 排行
• API
  • 批量指數
  • 文檔刪除
• 貯存
  • 段壓實
• 複製
  • 快照工作？
• 部署
  • 容器化
• 代碼質量
  • 我犯下的所有暴行的ance悔。

*沒有這些資源是不可能的：

• 讓我們構建一個全文搜索引擎
• 探索成員
• hraftd
• 分層通航的小世界
• 信息檢索實施和評估搜索引擎
• GO分佈式服務