SpaghettiSearch

Spaghettisearch：並發搜索引擎

在Golang頂部建造的全功能搜索引擎以滿足Hkust Comp4321的要求。它是使用Golang作為後端建造的，並作為其前端做出反應。

現場演示

http://spaghetti-search.herokuapp.com/

特徵

• 通過將查詢作為唯一的上下文，實施了主題敏感的Pagerank（Th Haveliwala，2003年），用戶的興趣同樣反映在每個主題上。
• Pagerank和向量空間模型的組合以對結果進行排名
• 使用Google論文中建議的錨文本和元數據來提高精度和索引更多的網頁
• 利用Golang的發電機，未來和粉絲粉絲的同時發生模式來提高檢索性能
• 動態文檔摘要檢索
• 使用BadgerDB作為針對SSD優化的數據庫
• 支持關鍵字列表搜索和短語搜索（使用雙引號進行短語搜索）

設置和安裝

後端

• 從這里安裝Golang

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• 使用go get下載此存儲庫

 $ go get github.com/nwihardjo/SpaghettiSearch

前端

• 從這里安裝節點和NPM
• 構建已上傳。無需安裝節點即可完成此操作。

依賴性

dep用作軟件包管理，以確保已安裝的依賴項是正確供應商的正確版本。運行dep ensure項目root上安裝所需的軟件包，或運行go get ./...到同一件事。

建築

• 在項目根目錄中運行make 。它將安裝必要的二進制軟件包到bin/目錄，並安裝依賴性
• 運行爬網並指定所需的參數如下，然後旋轉服務器。已集成了後端和React服務器，因此只需啟動Go​​lang的一台服務器。

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• 前往瀏覽器，然後轉到localhost:8080 。該服務器託管在端口8080上，或檢查終端的輸出。

貢獻者

• 納撒尼爾·維哈德喬（Nathaniel Wihardjo）
• 當歸Kosasih
• 佩特拉·加布里埃拉（Petra Gabriela）