ngram search

이 라이브러리를 사용하면 많은 문자열을 파일에 인덱싱 한 다음 색인화 된 내용에 대해 퍼지 매칭 문자열을 효율적으로 사용할 수 있습니다.

현재 구조는 파일에 쓰기 전에 메모리로 내장되어있어 위상이 많은 RAM을 사용합니다.

문자열 검색은 파일에서 수행되며 메모리가 거의 필요하지 않습니다.

인덱스는 트리 그램을 찾을 수있는 트리 구조입니다. 입력의 각 트리 그램에 대한 결과는 가장 유사한 문자열을 얻기 위해 일치하고 정렬됩니다.

예 (녹) :

 // Build index
let mut builder = Ngrams :: builder ( ) ;
builder . add ( "spam" , 0 ) ;
builder . add ( "ham" , 1 ) ;
builder . add ( "mam" , 2 ) ;

// Write it to a file
let mut file = BufWriter :: new ( File :: create ( path ) . unwrap ( ) ) ;
builder . write ( & mut file ) . unwrap ( ) ;

// Search our index
let mut data = Ngrams :: open ( path ) . unwrap ( ) ;
assert_eq ! (
    data . search ( "ham" , 0.24 ) . unwrap ( ) ,
    vec! [
        ( 1 , 1.0 ) , // "ham" is an exact match
        ( 2 , 0.25 ) , // "mam" is close
    ] ,
) ;
assert_eq ! (
    data . search ( "spa" , 0.2 ) . unwrap ( ) ,
    vec! [
        ( 0 , 0.375 ) , // "spam" is close
    ] ,
) ;

예제 (파이썬) :

 > >> from ngram_search import Ngrams
> >> ngrams = Ngrams ( path )
> >> ngrams . search ( "ham" , 0.24 )
[( 0 , 1.0 ), ( 2 , 0.25 )]
> >> ngrams . search ( "spa" , 0.2 )
[( 0 , 0.375 )]