clientside search

عملاء البحث

"لماذا ليس لدينا محرك بحث لائق يشبه العميل (في المتصفح) الآن؟"

توفر هذه المكتبة ميزات بحث كاملة تشبه Lucene للمتصفح و Node.js.

يستخدم محرك البحث هذا العديد من الخوارزميات المتقدمة لتوفير بحث قوي وفعال على مجموعة كبيرة من المستندات. تشمل الخوارزميات المستخدمة TF-IDF للوزن والترتيب ، BK-TREE للمطابقة الغامضة ، BM25 لتسجيل الأهمية ، ومسافة DAMERAU-LEVENSHTEIN لقياس مسافة التحرير بين مصطلحات البحث. يدعم محرك البحث اللغات المتعددة ويستخدم إزالة الكلمة المتواصلة وإزالة الكلمات لتعزيز كفاءته. كما يدعم تخزين البيانات التعريفية واسترجاعها المرتبطة بالوثائق. يمكنك إنشاء فهرس من مجموعة نصية وبيانات تعريف على حد سواء على جانب العميل والخادم. يمكنك ترطيب وإعادة ترطيب (إعادة استخدام A تم إنشاؤه مسبقًا) الفهرس أيضًا على كل من العميل والخادم.

قصص المستخدمين للمطورين

1. أرغب في استخدام فهرس يشبه Lucene يستخدم TF-IDF Vectorization و BM25 و BKTREE بالإضافة إلى كرة الثلج التي تنقصها ووقف الكلمات على جانب العميل.

2. أرغب في إنشاء فهرس البحث إما على جانب العميل أو جانب الخادم (وإعادة ترتيب/إعادة استخدامه على جانب العميل أو الخادم). يجب أن تكون معلومات الدولة صغيرة وضغط.

3. يجب أن يكون البحث عن النص الكامل سريعًا وفعالًا ، ولا يؤدي إلى الكثير من الإيجابيات الخاطئة أو المنسوجات الخاطئة.

4. يجب أن يكون محرك البحث قادرًا على التأخير والبحث في البيانات الوصفية التي قد ترتبط بكل مستند.

5. يجب أن يكون محرك البحث قادرًا على إزالة/تحديث مستندات الفهرس.

6. يجب أن تكون الحالة قابلة للهجرة.

سمات

• ✅ Full-Text Search : Provides the ability to perform a comprehensive text-based search over a large collection of documents.
• ✅ Multilingual Support : Supports multiple languages for indexing and searching documents and automatic language detection for input text.
• ✅ Text Processing : Includes text transformation operations like converting to lower case, splitting by words, snowball stemming (Dr. Martin Porter), and stopword removal.
• ✅ Document Indexing : Allows adding of documents to the index along with metadata to make them searchable. إزالة المستند: يوفر وظيفة لإزالة مستند معين من الفهرس بناءً على معرفه.
• ✅ Search Query Processing : Processes search queries in the same way as document text to ensure a consistent matching algorithm.
• ✅ Relevance Scoring with BM25 Algorithm : Uses the BM25 algorithm for relevance scoring of documents against search queries.
• ✅ Fuzzy Matching with BK-Tree : Uses a BK-Tree structure to perform fuzzy matching, ie, to find words in the index that are similar to the search terms.
• ✅ Term Frequency-Inverse Document Frequency (TF-IDF) Weighting : Uses TF-IDF to weight and rank the indexed words based on their importance in the document and rarity in the overall document set.
• ✅ State Hydration and Dehydration : Provides functionality to save (dehydrate) the state of the search engine to a compressed format, or to restore (hydrate) it from a previously saved state either locally or remotely.
• ✅ Damerau-Levenshtein Distance Calculation : Includes a function to calculate the Damerau-Levenshtein distance, ie, the minimum number of operations (insertions, deletions, substitutions, transposition) required to change one word into another.
• ✅ Phonetic Scoring : Uses language-specific phonetic algorithms such as Double Metaphone and Koelner Phonetik as a tie breaker when Damerau-Levenshtein Distance is equal for two matches.
• ✅ Document ID Generation : Generates a unique ID for each document based on its text.
• ✅ Automatic Stop Word selection : Selects the best default stop words per language supported.
• ✅ Currently supports only: en , de , fr , es , ja
• ✅ يدعم UTF8
• ✅ متاح كأبي بسيط
• ✅ Just 8 KiB nano sized (ESM, gizpped, base library)
• ✅ التبعيات الصفر!
• ✅ الأشجار القابلة للتأثير وخالية من التأثير الجانبي
• ✅ دعم TypeScript من الدرجة الأولى
• ✅ تم اختباره جيدًا باستخدام اختبارات وحدة Jest

مثال الاستخدام

يثبت

• yarn: yarn add clientside-search
• npm: npm install clientside-search

ESM

 import { SearchEngine } from 'clientside-search'
import en from 'clientside-search/en'

// create a new instance of a search engine
const searchEngine = new SearchEngine ( en )

// add some text
const docId1 = searchEngine . addDocument ( 'The quick brown fox jumps over the lazy dog' )

// you can also add UTF8 text, and metadata
const docId2 = searchEngine . addDocument ( 'The quick brown fox jumps over the fence ✅' , {
  // metadata with index_ prefix will be indexed for search
  index_title : 'Fence' ,
  date : new Date ( ) ,
  author : 'John Doe' ,
} )

/**
 * {
 *   id:
 *   score: 1.34,
 *   metadata: { title: 'Fence', date: '2023-07-12 ...', author: 'John Doe' }
 * }
 */
const searchResult = searchEngine . search ( 'Fence' )

// if you want to persist the index state,
// hydratedState is a JSON string that you can persist
const hydratedState = searchEngine . hydrateState ( )

// PLEASE NOTE: The hydrated state does NOT contain the original input text
// It contains an optimized representation of the search index
// However, metadata is kept 1:1

// you can re-hydrate from that state anywhere,
// on the server or the client:
const hydratedEngine = SearchEngine . fromHydratedState ( hydratedState , en )

// equals: searchResult
const searchResultFromHydated = hydratedEngine . search ( 'Fence' )

CommonJs

 const { SearchEngine } = require ( 'clientside-search' )
const { en } = require ( 'clientside-search/en' )

// same API like ESM variant

خريطة الطريق

• دعم اللغة الآسيوية المتقدمة:
  • Support for Chinese using Jieba
    • لا bktree ، ولكن مقارنة n-gram
    • TF-IDF القائم على الشخصية
    • تعطيل التنقي
    • مثل تشابه jaccard
  • كوري
    • لا bktree ، ولكن مقارنة n-gram
    • Jamo Levenshtein المسافة
    • TF-IDF