probly search

Наверное, поиск ·

Полнотекстовая библиотека поиска, написанная в Rust, оптимизированную для скорости вставки, которая обеспечивает полный контроль над расчетами оценки.

Первоначально этот запуск как порт библиотеки узлов NDX.

Демо

Рецепт (заголовок) Поиск с 50K документами.

https://quantleaf.github.io/probly-search-demo/

Функции

• Три способа сделать счет

  • Функция ранжирования BM25 для ранжирования соответствующих документов. Та же самая функция ранжирования, которая используется по умолчанию в Lucene> = 6.0.0.
  • Ноль к одному , библиотека, уникальная функция оценки, которая обеспечивает нормализованный счет, который ограничен 0 и 1. Идеально подходит для подходящих названий/ярлыков с помощью запросов.
  • Возможность полностью настроить свою собственную функцию оценки, внедряя признак ScoreCalculator .

• Три -динамический инвертированный индекс.

• Несколько полей Полнотекстовой индексации и поиска.

• Повышение оценки для поля.

• Настраиваемый токенизатор.

• Бесплатные текстовые запросы с расширением запроса.

• Быстрое распределение, но скрытое удаление.

• WASM совместим

Документация

Добавление, удаление и поиск документов

См. Интеграционные тесты.

Используйте эту библиотеку с WASM

См. Демо -проект по поиску рецептов

Основной пример

Создание индекса с документом, который имеет 2 поля. Запросить документы и удалить документ.

 use std :: collections :: HashSet ;
use probly_search :: {
    index :: Index ,
    query :: {
        score :: default :: { bm25 , zero_to_one } ,
        QueryResult ,
    } ,
} ;

// A white space tokenizer
fn tokenizer ( s : & str ) -> Vec < Cow < str > > {
     s . split ( ' ' ) . map ( Cow :: from ) . collect :: < Vec < _ > > ( )
}

// We have to provide extraction functions for the fields we want to index

// Title
fn title_extract ( d : & Doc ) -> Vec < & str > {
    vec ! [ d.title.as_str ( ) ]
}

// Description
fn description_extract ( d : & Doc ) -> Vec < & str > {
    vec ! [ d.description.as_str ( ) ]
}

// Create index with 2 fields
let mut index = Index :: < usize > :: new ( 2 ) ;

// Create docs from a custom Doc struct
let doc_1 = Doc {
    id : 0 ,
    title : "abc" . to_string ( ) ,
    description : "dfg" . to_string ( ) ,
} ;

let doc_2 = Doc {
    id : 1 ,
    title : "dfgh" . to_string ( ) ,
    description : "abcd" . to_string ( ) ,
} ;

// Add documents to index
index . add_document (
    & [ title_extract , description_extract ] ,
    tokenizer ,
    doc_1 . id ,
    & doc_1 ,
) ;

index . add_document (
    & [ title_extract , description_extract ] ,
    tokenizer ,
    doc_2 . id ,
    & doc_2 ,
) ;

// Search, expected 2 results
let mut result = index . query (
    & "abc" ,
    & mut bm25 :: new ( ) ,
    tokenizer ,
    & [ 1. , 1. ] ,
) ;
assert_eq ! ( result.len ( ) , 2 ) ;
assert_eq ! (
    result [ 0 ] ,
    QueryResult {
        key: 0 ,
        score: 0.6931471805599453
    }
) ;
assert_eq ! (
    result [ 1 ] ,
    QueryResult {
        key: 1 ,
        score: 0.28104699650060755
    }
) ;

// Remove documents from index
index . remove_document ( doc_1 . id ) ;

// Vacuum to remove completely
index . vacuum ( ) ;

// Search, expect 1 result
result = index . query (
    & "abc" ,
    & mut bm25 :: new ( ) ,
    tokenizer ,
    & [ 1. , 1. ] ,
) ;
assert_eq ! ( result.len ( ) , 1 ) ;
assert_eq ! (
    result [ 0 ] ,
    QueryResult {
        key: 1 ,
        score: 0.1166450426074421
    }
) ;

Пройдите исходные тесты для реализации BM25 и реализации нулевого к индивидуальным примерам для получения дополнительных примеров запросов.

Тестирование

Запустить все тесты с

cargo test

Эталон

Запустить все тесты

cargo bench

Лицензия

Грань