ngram search

Эта библиотека позволяет индексировать многие строки в файл, а затем эффективно нечеткие строки против того, что было проиндексировано.

В настоящее время структура встроена в память перед написанием в файл, поэтому эта фаза использует много оперативной памяти.

Поиск строки выполняется из файла и требует небольшой памяти.

Индекс - это структура TRIE, в которой можно смотреть триграмм; Результаты для каждой триграммы ввода сопоставлены и отсортированы, чтобы получить наиболее похожие строки.

Пример (Rust):

 // Build index
let mut builder = Ngrams :: builder ( ) ;
builder . add ( "spam" , 0 ) ;
builder . add ( "ham" , 1 ) ;
builder . add ( "mam" , 2 ) ;

// Write it to a file
let mut file = BufWriter :: new ( File :: create ( path ) . unwrap ( ) ) ;
builder . write ( & mut file ) . unwrap ( ) ;

// Search our index
let mut data = Ngrams :: open ( path ) . unwrap ( ) ;
assert_eq ! (
    data . search ( "ham" , 0.24 ) . unwrap ( ) ,
    vec! [
        ( 1 , 1.0 ) , // "ham" is an exact match
        ( 2 , 0.25 ) , // "mam" is close
    ] ,
) ;
assert_eq ! (
    data . search ( "spa" , 0.2 ) . unwrap ( ) ,
    vec! [
        ( 0 , 0.375 ) , // "spam" is close
    ] ,
) ;

Пример (Python):

 > >> from ngram_search import Ngrams
> >> ngrams = Ngrams ( path )
> >> ngrams . search ( "ham" , 0.24 )
[( 0 , 1.0 ), ( 2 , 0.25 )]
> >> ngrams . search ( "spa" , 0.2 )
[( 0 , 0.375 )]