IndexerMcIndexFace

（玩具）低级文档索引和检索系统

IndexerMcIndexface是一个很小的传统文档索引和检索系统，我写的是使用FSTS（使用BurntSushi/fst Crate）和Rust的并行功能（还使用crossbeam板条箱以获取消息传递）的借口

特征：

• 完全用生锈写
• 使用FST快速访问发布
• 允许使用的文档，并使用BM25F检索模型（注意：我没有验证其正确性）
• 通过创建和合并独立索引，将索引阶段与螺纹池排列
  • （请注意，这是一个天真的实现，尽管它非常快，但它确实可能是饥饿的记忆）
• 检索阶段与ThreadPool并行，在这种情况下，它对每个令牌进行了不同的搜索

警告：

• 这是一个玩具项目（例如：索引文件不是压缩的，并行化技术是天真的和渴望资源的……），API非常基本。

用法：

• 只需运行cargo run --release即可。 main.rs将使用MitchellRhysHall/random_word板条板上创建1000个文件的虚拟集合，然后索引并执行随机中等尺寸的查询。

可能的改进：

• FSTS的使用开辟了许多可能性，因为可以轻松执行类似正则的搜索。
• 更好的并行化技术：现在，每个线程将创建自己的内存索引，后来将加入并写入二进制文件。这意味着，对于更大的文档集合，内存使用情况可能很高。
• 更好的象征器。
• n-gram或类似，更精细的索引。
• 替代检索模型，短语查询等。