IndexerMcIndexFace

(장난감) 저수준 문서 인덱싱 및 검색 시스템

IndexerMCINDEXFACE는 FSTS ( BurntSushi/fst Crate 사용) 및 Rust의 병렬화 기능 (메시지 전달을 위해 crossbeam 상자 사용)과 함께 연주 할 변명으로 쓴 작은 전통적인 문서 색인 및 검색 시스템입니다.

특징:

• Rust로 완전히 작성되었습니다
• 게시물에 빠르게 액세스하기 위해 FST를 사용합니다
• 현장 문서를 허용하고 BM25F 검색 모델을 사용합니다 (참고 : 정확성을 확인하지 못했습니다).
• 인덱싱 단계는 독립 인덱스를 생성하고 병합하여 ThreadPool로 파라 렐로이션됩니다.
  • (이것은 순진한 구현이라는 점에 유의하십시오. 매우 빠르지 만 실제로 추억은 배고프다).
• 검색 단계는 ThreadPool과 병렬화 되며이 경우 모든 토큰에 대한 다른 검색을 실행합니다.

경고 :

• 이것은 장난감 프로젝트입니다 (예 : 인덱스 파일은 압축되지 않고 병렬화 기술이 순진하고 자원이 풍성합니다 ...) API는 매우 기본적입니다.

용법:

• 간단히 cargo run --release . main.rs MitchellRhysHall/random_word Crate를 사용하여 1000 파일의 더미 컬렉션을 생성 한 다음 무작위로 적당한 크기의 쿼리를 색인하고 수행합니다.

가능한 개선 :

• REGEX와 같은 검색을 쉽게 수행 할 수 있으므로 FSTS의 사용은 많은 가능성을 열어줍니다.
• 더 나은 병렬화 기술 : 현재, 각 스레드는 자체 인 메모리 인덱스를 생성 할 것입니다. 이는 더 큰 문서 컬렉션에 메모리 사용이 매우 높을 수 있음을 의미합니다.
• 더 나은 토큰 화제.
• N- 그램 또는 유사한, 더 정교한 인덱스.
• 대체 검색 모델, 문구 쿼리 등