clientside search

客戶搜索

“為什麼現在我們沒有像Lucene一樣體面的客戶端（瀏覽器）搜索引擎？”

該庫為瀏覽器和Node.js提供類似Lucene的全文搜索功能。

該搜索引擎使用多種高級算法來提供大量文檔集合的強大而有效的搜索。使用的算法包括用於稱重和排名的TF-IDF，模糊匹配的BK-Tree，相關性評分的BM25以及用於測量搜索詞之間的編輯距離的Damerau-Levenshtein距離。搜索引擎支持多種語言，並使用Stemming和StopWord刪除來提高其效率。它還支持與文檔相關的元數據的存儲和檢索。您可以在客戶端和服務器端從文本語料庫和元數據中生成索引。您也可以在客戶端和服務器端補充水合（重複使用預先生成的）索引。

開發人員的用戶故事

1. 我想使用一個類似Lucene的索引，該索引使用TF-IDF矢量化，BM25和BKTREE排名以及客戶端的滾雪球。

2. 我想在客戶端或服務器端生成搜索索引（並在客戶端或服務器端重新保存/重新使用它）。狀態信息應小且壓縮。

3. 全文搜索應快速有效，不會導致很多假陽性或假陰性。

4. 搜索引擎應該能夠在可能與每個文檔關聯的元數據中重新搜索和搜索。

5. 搜索引擎應該能夠刪除/更新其索引文檔。

6. 狀態應有水合。

特徵

• ✅全文搜索：提供了對大量文檔集合進行全面基於文本的搜索的能力。
• ✅多語言支持：支持多種語言，用於索引和搜索文檔，以及用於輸入文本的自動語言檢測。
• ✅文本處理：包括文本轉換操作，例如轉換為較低的外殼，通過單詞分裂，雪球莖（Martin Porter博士）和停止詞刪除。
• ✅文檔索引：允許將文檔與元數據一起添加到索引中，以使其可搜索。文檔刪除：提供功能，以根據其ID從索引中刪除特定文檔。
• ✅搜索查詢處理：以與文檔文本相同的方式處理搜索查詢，以確保匹配算法一致。
• ✅與BM25算法的相關性評分：使用BM25算法對搜索查詢的文檔進行相關性評分。
• ✅與Bk-Tree的模糊匹配：使用BK-Tree結構執行模糊匹配，即，在索引中找到與搜索詞相似的單詞。
• ✅術語頻率內文檔頻率（TF-IDF）加權：使用TF-IDF根據其在文檔中的重要性和整體文檔集中的稀有性來加權並對索引單詞進行排名。
• ✅狀態水合和脫水：提供可將搜索引擎的狀態保存到壓縮格式的功能，或將其從先前保存的狀態恢復（水合）。
• ✅Damerau -Levenshtein距離計算：包括一個函數來計算Damerau-levenshtein距離，即，即需要將一個單詞更改為另一個單詞的操作數量（插入，刪除，替換，替換，換位）。
• ✅語音評分：當Damerau-Levenshtein距離等於兩次匹配時，使用特定語言的語音算法，例如Double Swemophone和Koelner Phonetik作為打破打破器。
• ✅文檔ID生成：根據其文本為每個文檔生成一個唯一的ID。
• ✅自動停止單詞選擇：每個支持的語言選擇最佳默認停止單詞。
• ✅目前僅支持： en ， de ， fr ， es ， ja
• ✅支持UTF8
• ✅作為簡單的API可用
• ✅只有8 KiB nano尺寸（ESM，Gizpped，基本庫）
• ✅零依賴性！
• ✅樹木可搖晃和副作用
• ✅一流的打字稿支持
• ✅使用開玩笑的單位測試經過良好測試

示例用法

設定

• 紗線： yarn add clientside-search
• NPM： npm install clientside-search

ESM

 import { SearchEngine } from 'clientside-search'
import en from 'clientside-search/en'

// create a new instance of a search engine
const searchEngine = new SearchEngine ( en )

// add some text
const docId1 = searchEngine . addDocument ( 'The quick brown fox jumps over the lazy dog' )

// you can also add UTF8 text, and metadata
const docId2 = searchEngine . addDocument ( 'The quick brown fox jumps over the fence ✅' , {
  // metadata with index_ prefix will be indexed for search
  index_title : 'Fence' ,
  date : new Date ( ) ,
  author : 'John Doe' ,
} )

/**
 * {
 *   id:
 *   score: 1.34,
 *   metadata: { title: 'Fence', date: '2023-07-12 ...', author: 'John Doe' }
 * }
 */
const searchResult = searchEngine . search ( 'Fence' )

// if you want to persist the index state,
// hydratedState is a JSON string that you can persist
const hydratedState = searchEngine . hydrateState ( )

// PLEASE NOTE: The hydrated state does NOT contain the original input text
// It contains an optimized representation of the search index
// However, metadata is kept 1:1

// you can re-hydrate from that state anywhere,
// on the server or the client:
const hydratedEngine = SearchEngine . fromHydratedState ( hydratedState , en )

// equals: searchResult
const searchResultFromHydated = hydratedEngine . search ( 'Fence' )

commonjs

 const { SearchEngine } = require ( 'clientside-search' )
const { en } = require ( 'clientside-search/en' )

// same API like ESM variant

路線圖

• 高級亞洲語言支持：
  • 使用jieba支持中文
    • 沒有bktree，而是n-gram比較
    • 基於字符的TF-IDF
    • 禁用莖
    • 例如Jaccard相似性
  • 韓國人
    • 沒有bktree，而是n-gram比較
    • Jamo Levenshtein距離
    • TF-IDF