tantivy

快速全文搜索引擎图书馆用生锈写

如果您正在寻找Elasticsearch或Apache Solr的替代方案，请查看我们在Tantivy顶部建造的分布式搜索引擎QuickWit。

Tantivy比Apache Lucene更接近Apache Lucene，而不是Elasticsearch或Apache Solr，这不是现成的搜索引擎服务器，而是可用于构建此类搜索引擎的板条箱。

实际上，Tantivy受到Lucene设计的启发。

基准

以下基准分解了不同类型的查询/集合的性能。

您的里程将根据查询的性质及其负载而有所不同。

有关基准测试的详细信息可以在此存储库中找到。

特征

• 全文搜索
• 可配置的令牌剂（可用于17种拉丁语言），并为中文（Tantivy-Jieba和Cang-jie）提供第三方支持，日语（Lindera，Vaporetto和Tantivy-Tokenizer-tiny-segenter）和韩国（Lindera + Lindera + Lindera-ko-ko-ko-dic-Builder）
• 快速（查看“基准？）？）
• 小型启动时间（<10ms），非常适合命令行工具
• BM25得分（与Lucene相同）
• 天然查询语言（例如(michael AND jackson) OR "king of pop" ）
• 短语查询搜索（例如"michael jackson" ）
• 增量索引
• 多线程索引（索引英文Wikipedia在我的桌面上需要<3分钟）
• MMAP目录
• 平台/CPU包含SSE2指令集时SIMD Integer压缩
• 单个价值和多值U64，I64和F64快速场（相当于Lucene中的DOC值）
• &[u8]快速字段
• 文本，i64，u64，f64，日期，ip，bool和层次结构字段
• 压缩文档商店（LZ4，ZSTD，无）
• 范围查询
• 面搜索
• 可配置索引（可选的任期频率和位置索引）
• JSON FIELD
• 聚合收集器：直方图，范围存储桶，平均值和统计指标
• logmergepolicy带有删除
• 搜索者温暖的API
• 俗气的徽标

非功能

分布式搜索不超出Tantivy的范围，但是如果您正在寻找此功能，请查看QuickWit。

入门

Tantivy在稳定的生锈上工作，并支持Linux，MacOS和Windows。

• Tantivy的简单搜索示例
• Tantivy-CLI及其教程tantivy-cli是一个实际的命令行界面，可让您轻松创建搜索引擎，索引文档，并通过CLI或带有REST API的小服务器进行搜索。它使您通过在几分钟内启动并运行Wikipedia搜索引擎。
• 最后发布版本的参考文档

我该如何支持这个项目？

有许多支持该项目的方法。

• 使用Tantivy，并告诉我们您在Discord或通过电子邮件（[email protected]）上的经验
• 报告错误
• 写博客文章
• 通过提出问题或提交PR来帮助文档
• 贡献代码（您可以加入我们的Discord服务器）
• 谈论你周围的tantivy

贡献代码

我们使用GitHub拉请求工作流程：引用GitHub票证和/或在打开PR时包含全面的提交消息。请随时用您的贡献更新ChangElog.md。

令牌

在实现tantivy的令牌时，取决于tantivy-tokenizer-api板条箱。

克隆并在本地建造

tantivy编译稳定的生锈。要结帐并运行测试，您可以简单地运行：

git clone https://github.com/quickwit-oss/tantivy.git
cd tantivy
cargo test 

使用Tantivy的公司

常问问题

我可以在其他语言中使用Tantivy吗？

• python→tantivy-py
• 红宝石→触觉

您还可以在GitHub上找到其他绑定，但它们的维护可能较低。

有什么用散布的例子？

• seshat：矩阵消息数据库/索引器
• Tantiny：微小的全文搜索Ruby
• LNX：带有REST API的适应性，错别字耐受搜索引擎
• 还有更多！

平均而言，与Lucene相比，Tantivy的速度快多少？

• 根据我们的搜索延迟基准，Tantivy比Lucene快2倍。

Tantivy是否支持增量索引？

• 是的。

如何编辑文档？

• Tantivy中的数据是不变的。要编辑文档，需要删​​除和重新索引文档。

我的文档在索引期间何时可以搜索？

• 在commit IndexWriter提交后，可以搜索文档。为了反映更改，现有的IndexReader s也需要重新加载。最后，新获取的Searcher只能看到更改。