Wunner

Wunner

玩具搜索引擎在您的终端内搜索网络：P

特征

• 在C ++ 14中实现。
• 从种子URL开始逐步爬网网页。
• 解析文档和查询，试图产生更合适的结果。
• 为解析的文档构建索引（哈希地图）。
• 爬行的文件和索引定期刷新。
• 根据最近询问的查询，使用TRIE查询自动完成。
• 维护两个线程，以允许刷新索引并同时查询。
• 根据Pagerank的谐波平均值（以获取网页的重要性）和Okapi BM25（以获取基于查询的结果）算法等级，从而生成最相关的结果。
• 提供查询建议（仅当输入查询未产生任何结果时），基于常见的错误和正确的单词。使用N-Gram算法和编辑距离DP对它们进行排名，以比较两个字符串。

运行步骤

运行命令： wunner_search （确保您的PWD是项目的根目录）
如wunner_search -f中添加选项-f或--fresh重新启动搜索引擎（即再次爬行和索引）

• 索引完成后，只需键入查询并点击Enter即可开始搜索
• 要使用AutoComplete，请在键入查询时按CTRL+G ，然后键入所需的结果编号以完成查询（直到开发Web UI之前，这与相关性无关）

构建步骤

1. 克隆（ git clone https://github.com/Anishka0107/Wunner.git ）或下载此存储库
2. cd Wunner从克隆/下载的地方

构建（在Linux上测试）

• 要求：GCC（5.0及以上） / Clang（3.4及以上），Boost，WGET

3. 两个选项：
   1. 需要ar ：
      1. 运行chmod +x wunner_build.sh
      2. 运行./wunner_build.sh （请注意，此默认为G ++编译器;附加编译器名称用于使用其他编译器，例如： ./wunner_build.sh clang++ ）
   2. 需要cmake并make ：
      1. 运行mkdir -p build && cd build && cmake .. && make -j$(nproc)
4. 最终运行wunner_search （直接./build/bin/wunner_search或do export PATH=$PATH:${PWD}/build/bin之前）

基于Docker（用于Linux/Windows/OS-X）

3. 在您的系统上设置Docker（需要Docker命令的根特权）
4. 使用docker build -t wunner .
5. 使用docker run -v ${PWD}:/tmp wunner wunner_search （如果需要，请wunner_search选项）运行

托多清单：

• 为每个模块添加简单的main（）测试
• 对于基于终端的，在每个步骤显示适当的输出
• 添加颜色美化输出
• res文件的命令行选项
• 添加支持完整的匹配查询
• 添加对网页上相对URL的支持
• 在爬行者中与robots.txt实施互动
• 构建Web UI
• 数据库而不是文件存储对象
• 构建中的动态链接

资源

• 爬行者种子网址 - >
• 错误的单词 - >
• 停止单词列表 - > https：//www.webconfs.com/stop-words.php