Wunner Wunner -Wunner 소스 코드 다운로드

다운로드

WUNNER

터미널 내부의 웹을 검색하는 장난감 검색 엔진 : P

C ++ 14에서 구현.
종자 URL에서 점차 시작하여 웹 페이지를 크롤링합니다.
문서와 쿼리를 구문 분석하여보다 적절한 결과를 생성하려고합니다.
구문 분석 문서에 대한 인덱스 (해시 맵)를 작성합니다.
크롤링 된 문서와 색인은 주기적으로 새로 고침됩니다.
가장 최근에 요청한 쿼리를 기반으로 트리를 사용하여 AutoCompletes 쿼리.
인덱스를 새로 고칠 수 있도록 두 개의 스레드를 유지하고 SIMULTANEUOSLY를 쿼리합니다.
PageRank의 고조파 평균 (웹 페이지의 중요성을 얻기 위해) 및 Okapi BM25 (쿼리 기반 결과를 얻기 위해) 알고리즘 순위를 기준으로 순서대로 순서대로 대부분의 관련 결과를 생성합니다.
쿼리 제안을 제공합니다 (입력 쿼리가 결과를 생성하지 않을 때만) 공통적 인 잘못되고 올바른 단어에 따라. N-Gram 알고리즘과 편집 방지 DP를 사용하여 두 문자열을 비교합니다.

실행 명령 : wunner_search (PWD가 프로젝트의 루트 디렉토리인지 확인)
wunner_search -f 에서 옵션 -f 또는 --fresh 추가하여 검색 엔진을 새롭게 시작하려면 (예 : 크롤링 및 인덱싱)

인덱싱이 완료된 후 쿼리를 입력하고 Enter를 누르기 시작합니다.
autocomplete를 사용하려면 쿼리를 입력하는 동안 Ctrl+G를 누른 다음 원하는 결과 번호를 입력하여 쿼리를 완료하십시오 (웹 UI가 개발 될 때까지 관련이 없습니다).

두 가지 옵션 :
1. ar :
  1. chmod +x wunner_build.sh 실행하십시오
  2. run ./wunner_build.sh (이 기본값은 g ++ 컴파일러에 대한 기본값; 다른 사용을 위해 컴파일러 이름을 추가하십시오 : ./wunner_build.sh clang++ )
2. cmake 와 make 필요합니다.
  1. mkdir -p build && cd build && cmake .. && make -j$(nproc)
궁극적으로 wunner_search 실행하십시오 (직접 ./build/bin/wunner_search 또는 export PATH=$PATH:${PWD}/build/bin 이전).

시스템에 Docker를 설정하십시오 (Docker 명령에 대한 Root Priviledge 필요)
docker build -t wunner .
docker run -v ${PWD}:/tmp wunner wunner_search 사용하여 실행하십시오 (필요한 경우 wunner_search 옵션을 추가하십시오)