mettis

MetTisDB： *ゼロから構築された分散Lite Vectorデータベース。

それがすること：

• 近接ランキングを使用したフルテキスト検索
• HNSW +コサイン距離を介したセマンティック検索
• 統合された基本的なテキスト埋め込みサービス（Python HTTP API文の変圧器）
• フルテキスト +セマンティック検索結果をマージするための相互ランク融合
• インメモリサービング +ディスクの永続性
• RAFTを使用したセグメントレプリケーションによる断層トレランス

そうではないこと：

• 生産対応（コードは現在かなりSUSです）
• 完璧（善の敵だから）

建築

はじめる

PIPを使用して、 third_partyフォルダーに基本的なテキスト埋め込みサービスの依存関係をインストールします。

pip install -r requirements.txt

次に、SOのようにサービスを開始します。

uvicorn main:app

埋め込みサービスのアドレスを指す環境変数EmbeddingHostを設定する

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

ベクトルdbのインスタンスを開始します

フラグ

• HTTPADDR：HTTP APIサービスのアドレス
• JoinAddr：結合するプライマリノードのHTTP APIサービスアドレス
• nodeid：ノード用の一意の識別子
• Raftaddr：ノードのRAFTアドレス

シングルノードを実行します

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

投稿 /インデックス

ドキュメントのインデックス

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

取得 /検索

検索を行います

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

3ノードクラスターを実行します

以下のコマンドをさまざまなマシンで実行します（少なくともプロジェクトの異なるインスタンスをシミュレートする）

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

レプリカは127.0.0.1:9000でプライマリに参加します

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

トト

• インデックス付け
  • ゴルチンを使用して用語を処理する同時インデックス
• 検索
  • ブールクエリ
  • 同時メムテーブル検索
• ランキング
• API
  • バルクインデックス
  • ドキュメント削除
• ストレージ
  • セグメント圧縮
• 複製
  • スナップショットが機能していますか？
• 展開
  • コンテナ化
• コード品質
  • 私が犯したすべての残虐行為に対する苦行。

*これらのリソースなしでは不可能だったでしょう。

• フルテキスト検索エンジンを構築しましょう
• メンバーの探索
• hraftd
• 階層的な航行可能な小さな世界
• 検索エンジンの実装と評価の情報検索
• GOで分散サービス