clientside search

客户搜索

“为什么现在我们没有像Lucene一样体面的客户端（浏览器）搜索引擎？”

该库为浏览器和Node.js提供类似Lucene的全文搜索功能。

该搜索引擎使用多种高级算法来提供大量文档集合的强大而有效的搜索。使用的算法包括用于称重和排名的TF-IDF，模糊匹配的BK-Tree，相关性评分的BM25以及用于测量搜索词之间的编辑距离的Damerau-Levenshtein距离。搜索引擎支持多种语言，并使用Stemming和StopWord删除来提高其效率。它还支持与文档相关的元数据的存储和检索。您可以在客户端和服务器端从文本语料库和元数据中生成索引。您也可以在客户端和服务器端补充水合（重复使用预先生成的）索引。

开发人员的用户故事

1. 我想使用一个类似Lucene的索引，该索引使用TF-IDF矢量化，BM25和BKTREE排名以及客户端的滚雪球。

2. 我想在客户端或服务器端生成搜索索引（并在客户端或服务器端重新保存/重新使用它）。状态信息应小且压缩。

3. 全文搜索应快速有效，不会导致很多假阳性或假阴性。

4. 搜索引擎应该能够在可能与每个文档关联的元数据中重新搜索和搜索。

5. 搜索引擎应该能够删除/更新其索引文档。

6. 状态应有水合。

特征

• ✅全文搜索：提供了对大量文档集合进行全面基于文本的搜索的能力。
• ✅多语言支持：支持多种语言，用于索引和搜索文档，以及用于输入文本的自动语言检测。
• ✅文本处理：包括文本转换操作，例如转换为较低的外壳，通过单词分裂，雪球茎（Martin Porter博士）和停止词删除。
• ✅文档索引：允许将文档与元数据一起添加到索引中，以使其可搜索。文档删除：提供功能，以根据其ID从索引中删除特定文档。
• ✅搜索查询处理：以与文档文本相同的方式处理搜索查询，以确保匹配算法一致。
• ✅与BM25算法的相关性评分：使用BM25算法对搜索查询的文档进行相关性评分。
• ✅与Bk-Tree的模糊匹配：使用BK-Tree结构执行模糊匹配，即，在索引中找到与搜索词相似的单词。
• ✅术语频率内文档频率（TF-IDF）加权：使用TF-IDF根据其在文档中的重要性和整体文档集中的稀有性来加权并对索引单词进行排名。
• ✅状态水合和脱水：提供可将搜索引擎的状态保存到压缩格式的功能，或将其从先前保存的状态恢复（水合）。
• ✅Damerau -Levenshtein距离计算：包括一个函数来计算Damerau-levenshtein距离，即，即需要将一个单词更改为另一个单词的操作数量（插入，删除，替换，替换，换位）。
• ✅语音评分：当Damerau-Levenshtein距离等于两次匹配时，使用特定语言的语音算法，例如Double Swemophone和Koelner Phonetik作为打破打破器。
• ✅文档ID生成：根据其文本为每个文档生成一个唯一的ID。
• ✅自动停止单词选择：每个支持的语言选择最佳默认停止单词。
• ✅目前仅支持： en ， de ， fr ， es ， ja
• ✅支持UTF8
• ✅作为简单的API可用
• ✅只有8 KiB nano尺寸（ESM，Gizpped，基本库）
• ✅零依赖性！
• ✅树木可摇晃和副作用
• ✅一流的打字稿支持
• ✅使用开玩笑的单位测试经过良好测试

示例用法

设置

• 纱线： yarn add clientside-search
• NPM： npm install clientside-search

ESM

 import { SearchEngine } from 'clientside-search'
import en from 'clientside-search/en'

// create a new instance of a search engine
const searchEngine = new SearchEngine ( en )

// add some text
const docId1 = searchEngine . addDocument ( 'The quick brown fox jumps over the lazy dog' )

// you can also add UTF8 text, and metadata
const docId2 = searchEngine . addDocument ( 'The quick brown fox jumps over the fence ✅' , {
  // metadata with index_ prefix will be indexed for search
  index_title : 'Fence' ,
  date : new Date ( ) ,
  author : 'John Doe' ,
} )

/**
 * {
 *   id:
 *   score: 1.34,
 *   metadata: { title: 'Fence', date: '2023-07-12 ...', author: 'John Doe' }
 * }
 */
const searchResult = searchEngine . search ( 'Fence' )

// if you want to persist the index state,
// hydratedState is a JSON string that you can persist
const hydratedState = searchEngine . hydrateState ( )

// PLEASE NOTE: The hydrated state does NOT contain the original input text
// It contains an optimized representation of the search index
// However, metadata is kept 1:1

// you can re-hydrate from that state anywhere,
// on the server or the client:
const hydratedEngine = SearchEngine . fromHydratedState ( hydratedState , en )

// equals: searchResult
const searchResultFromHydated = hydratedEngine . search ( 'Fence' )

commonjs

 const { SearchEngine } = require ( 'clientside-search' )
const { en } = require ( 'clientside-search/en' )

// same API like ESM variant

路线图

• 高级亚洲语言支持：
  • 使用jieba支持中文
    • 没有bktree，而是n-gram比较
    • 基于字符的TF-IDF
    • 禁用茎
    • 例如Jaccard相似性
  • 韩国人
    • 没有bktree，而是n-gram比较
    • Jamo Levenshtein距离
    • TF-IDF