tantivy

快速全文搜索引擎圖書館用生鏽寫

如果您正在尋找Elasticsearch或Apache Solr的替代方案，請查看我們在Tantivy頂部建造的分佈式搜索引擎QuickWit。

Tantivy比Apache Lucene更接近Apache Lucene，而不是Elasticsearch或Apache Solr，這不是現成的搜索引擎服務器，而是可用於構建此類搜索引擎的板條箱。

實際上，Tantivy受到Lucene設計的啟發。

基準

以下基準分解了不同類型的查詢/集合的性能。

您的里程將根據查詢的性質及其負載而有所不同。

有關基準測試的詳細信息可以在此存儲庫中找到。

特徵

• 全文搜索
• 可配置的令牌劑（可用於17種拉丁語言），並為中文（Tantivy-Jieba和Cang-jie）提供第三方支持，日語（Lindera，Vaporetto和Tantivy-Tokenizer-tiny-segenter）和韓國（Lindera + Lindera + Lindera-ko-ko-ko-dic-Builder）
• 快速（查看“基準？）？）
• 小型啟動時間（<10ms），非常適合命令行工具
• BM25得分（與Lucene相同）
• 天然查詢語言（例如(michael AND jackson) OR "king of pop" ）
• 短語查詢搜索（例如"michael jackson" ）
• 增量索引
• 多線程索引（索引英文Wikipedia在我的桌面上需要<3分鐘）
• MMAP目錄
• 平台/CPU包含SSE2指令集時SIMD Integer壓縮
• 單個價值和多值U64，I64和F64快速場（相當於Lucene中的DOC值）
• &[u8]快速字段
• 文本，i64，u64，f64，日期，ip，bool和層次結構字段
• 壓縮文檔商店（LZ4，ZSTD，無）
• 範圍查詢
• 面搜索
• 可配置索引（可選的任期頻率和位置索引）
• JSON FIELD
• 聚合收集器：直方圖，範圍存儲桶，平均值和統計指標
• logmergepolicy帶有刪除
• 搜索者溫暖的API
• 俗氣的徽標

非功能

分佈式搜索不超出Tantivy的範圍，但是如果您正在尋找此功能，請查看QuickWit。

入門

Tantivy在穩定的生鏽上工作，並支持Linux，MacOS和Windows。

• Tantivy的簡單搜索示例
• Tantivy-CLI及其教程-Tantivy tantivy-cli是一個實際的命令行界面，可讓您輕鬆創建搜索引擎，索引文檔，並通過CLI或帶有REST API的小服務器進行搜索。它使您通過在幾分鐘內啟動並運行Wikipedia搜索引擎。
• 最後發布版本的參考文檔

我該如何支持這個項目？

有許多支持該項目的方法。

• 使用Tantivy，並告訴我們您在Discord或通過電子郵件（[email protected]）上的經驗
• 報告錯誤
• 寫博客文章
• 通過提出問題或提交PR來幫助文檔
• 貢獻代碼（您可以加入我們的Discord服務器）
• 談論你周圍的tantivy

貢獻代碼

我們使用GitHub拉請求工作流程：引用GitHub票證和/或在打開PR時包含全面的提交消息。請隨時用您的貢獻更新ChangElog.md。

令牌

在實現tantivy的令牌時，取決於tantivy-tokenizer-api板條箱。

克隆並在本地建造

tantivy編譯穩定的生鏽。要結帳並運行測試，您可以簡單地運行：

git clone https://github.com/quickwit-oss/tantivy.git
cd tantivy
cargo test 

使用Tantivy的公司

常問問題

我可以在其他語言中使用Tantivy嗎？

• python→tantivy-py
• 紅寶石→觸覺

您還可以在GitHub上找到其他綁定，但它們的維護可能較低。

有什麼用散佈的例子？

• seshat：矩陣消息數據庫/索引器
• Tantiny：微小的全文搜索Ruby
• LNX：帶有REST API的適應性，錯別字耐受搜索引擎
• 還有更多！

平均而言，與Lucene相比，Tantivy的速度快多少？

• 根據我們的搜索延遲基準，Tantivy比Lucene快2倍。

Tantivy是否支持增量索引？

• 是的。

如何編輯文檔？

• Tantivy中的數據是不變的。要編輯文檔，需要刪​​除和重新索引文檔。

我的文檔在索引期間何時可以搜索？

• 在commit IndexWriter提交後，可以搜索文檔。為了反映更改，現有的IndexReader s也需要重新加載。最後，新獲取的Searcher只能看到更改。