SpaghettiSearch

Spaghettisearch：并发搜索引擎

在Golang顶部建造的全功能搜索引擎以满足Hkust Comp4321的要求。它是使用Golang作为后端建造的，并作为其前端做出反应。

现场演示

http://spaghetti-search.herokuapp.com/

特征

• 通过将查询作为唯一的上下文，实施了主题敏感的Pagerank（Th Haveliwala，2003年），用户的兴趣同样反映在每个主题上。
• Pagerank和向量空间模型的组合以对结果进行排名
• 使用Google论文中建议的锚文本和元数据来提高精度和索引更多的网页
• 利用Golang的发电机，未来和粉丝粉丝的同时发生模式来提高检索性能
• 动态文档摘要检索
• 使用BadgerDB作为针对SSD优化的数据库
• 支持关键字列表搜索和短语搜索（使用双引号进行短语搜索）

设置和安装

后端

• 从这里安装Golang

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• 使用go get下载此存储库

 $ go get github.com/nwihardjo/SpaghettiSearch

前端

• 从这里安装节点和NPM
• 构建已上传。无需安装节点即可完成此操作。

依赖性

dep用作软件包管理，以确保已安装的依赖项是正确供应商的正确版本。运行dep ensure项目root上安装所需的软件包，或运行go get ./...到同一件事。

建筑

• 在项目根目录中运行make 。它将安装必要的二进制软件包到bin/目录，并安装依赖性
• 运行爬网并指定所需的参数如下，然后旋转服务器。已集成了后端和React服务器，因此只需启动Go​​lang的一台服务器。

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• 前往浏览器，然后转到localhost:8080 。该服务器托管在端口8080上，或检查终端的输出。

贡献者

• 纳撒尼尔·维哈德乔（Nathaniel Wihardjo）
• 当归Kosasih
• 佩特拉·加布里埃拉（Petra Gabriela）