SpaghettiSearch

Spaghettisearch : 동시 검색 엔진

hkust comp4321 요구 사항을 충족시키기 위해 Golang 위에 구축 된 완전히 기능하는 검색 엔진. 그것은 Golang을 백엔드로 사용하여 구축되었으며, 프론트 엔드로 반응합니다.

라이브 데모

http://spaghetti-search.herokuapp.com/

특징

• 쿼리를 컨텍스트로 사용하여 쿼리를 사용하여 주제에 민감한 PageRank (Th Haveliwala, 2003)를 구현했으며 사용자의 관심은 모든 주제에 동일하게 반영됩니다.
• PageRank와 벡터 공간 모델의 조합을위한 결과 순위
• Google 논문에 제안 된 앵커 텍스트 및 메타 태그를 활용하여 정밀도를 높이고 훨씬 더 많은 웹 페이지를 색인
• 검색 성능을 향상시키기 위해 Golang의 발전기, 미래 및 팬 아웃 동시성 패턴을 사용하십시오.
• 동적 문서 요약 검색
• BadgerDB를 SSD에 최적화 한 데이터베이스로 사용하십시오
• 키워드 목록 검색 및 문구 검색 지원 (문구 검색에는 이중 인용문 사용)

설정 및 설치

백엔드

• 여기에서 golang을 설치하십시오

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• go get 사용 하여이 저장소를 다운로드하십시오

 $ go get github.com/nwihardjo/SpaghettiSearch

프론트 엔드

• 여기에서 노드와 NPM을 설치하십시오
• 빌드가 업로드되었습니다. 이 실행을 위해 노드를 설치할 필요가 없습니다.

의존성

dep 설치된 종속성이 올바른 공급 업체의 올바른 버전인지 확인하기 위해 패키지 관리로 사용됩니다. dep ensure 하여 필요한 패키지를 설치하거나 go get ./... 같은 것.

건물

• 프로젝트 루트 디렉토리에서 make 실행하십시오. 필요한 바이너리 패키지를 bin/ 디렉토리에 설치하고 부양 가족을 설치합니다.
• 크롤러를 실행하고 아래와 같이 필요한 인수를 지정한 다음 서버를 회전시킵니다. 백엔드 및 반응 서버가 통합되어 Golang의 하나의 서버 만 시작해야합니다.

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• 브라우저로 가서 localhost:8080 으로 이동하십시오. 서버는 포트 8080에서 호스팅되거나 터미널의 출력을 확인합니다.

기부자

• Nathaniel Wihardjo
• 안젤리카 코사시
• 페트라 가브리엘라