IndexerMcIndexFace

（おもちゃ）低レベルのドキュメントインデックス作成および検索システム

indexermcindexfaceは、FSTS（ BurntSushi/fst Crateを使用）とRustの並列化機能（メッセージの通過用のcrossbeamクレートも使用）でプレイする言い訳として書いた小さな伝統的なドキュメントインデックスおよび検索システムです。

特徴：

• さびに完全に書かれています
• FSTSを使用して、投稿に迅速にアクセスします
• フィールドドキュメントを許可し、 BM25F検索モデルを使用します（注：その正確性を確認しませんでした）
• インデックス段階は、独立したインデックスを作成およびマージすることにより、スレッドプールでパラレル化されています
  • （これは素朴な実装であり、非常に高速ですが、本当にメモリが空腹になる可能性があります）
• 検索ステージはスレッドプールと平行化されており、この場合、トークンごとに異なる検索を実行します

警告：

• これはおもちゃプロジェクトです（例：インデックスファイルは圧縮されておらず、並列化技術は素朴でリソースに飢えています...）、APIは非常に基本的です。

使用法：

• cargo run --release 。 main.rs 、 MitchellRhysHall/random_word Crateを使用して1000ファイルのダミーコレクションを作成し、ランダム化された中程度のサイズのクエリをインデックス付けおよび実行します。

考えられる改善：

• FSTSの使用は多くの可能性を開きます。正規表現のような検索は簡単に実行できます。
• より良い並列化手法：現在、各スレッドは独自のインメモリインデックスを作成し、後で結合され、バイナリファイルに書き込まれます。これは、ドキュメントのより大きなコレクションでメモリの使用量が非常に高くなる可能性があることを意味します。
• より良いトークンザー。
• n-gramまたは類似の、より精巧なインデックス。
• 代替検索モデル、フレーズクエリなど。