IndexerMcIndexFace

（玩具）低級文檔索引和檢索系統

IndexerMcIndexface是一個很小的傳統文檔索引和檢索系統，我寫的是使用FSTS（使用BurntSushi/fst Crate）和Rust的並行功能（還使用crossbeam板條箱以獲取消息傳遞）的藉口

特徵：

• 完全用生鏽寫
• 使用FST快速訪問發布
• 允許使用的文檔，並使用BM25F檢索模型（注意：我沒有驗證其正確性）
• 通過創建和合併獨立索引，將索引階段與螺紋池排列
  • （請注意，這是一個天真的實現，儘管它非常快，但它確實可能是飢餓的記憶）
• 檢索階段與ThreadPool並行，在這種情況下，它對每個令牌進行了不同的搜索

警告：

• 這是一個玩具項目（例如：索引文件不是壓縮的，並行化技術是天真的和渴望資源的……），API非常基本。

用法：

• 只需運行cargo run --release即可。 main.rs將使用MitchellRhysHall/random_word板條板上創建1000個文件的虛擬集合，然后索引並執行隨機中等尺寸的查詢。

可能的改進：

• FSTS的使用開闢了許多可能性，因為可以輕鬆執行類似正則的搜索。
• 更好的並行化技術：現在，每個線程將創建自己的內存索引，後來將加入並寫入二進製文件。這意味著，對於更大的文檔集合，內存使用情況可能很高。
• 更好的象徵器。
• n-gram或類似，更精細的索引。
• 替代檢索模型，短語查詢等。