Wunner

Wunner

玩具搜索引擎在您的終端內搜索網絡：P

特徵

• 在C ++ 14中實現。
• 從種子URL開始逐步爬網網頁。
• 解析文檔和查詢，試圖產生更合適的結果。
• 為解析的文檔構建索引（哈希地圖）。
• 爬行的文件和索引定期刷新。
• 根據最近詢問的查詢，使用TRIE查詢自動完成。
• 維護兩個線程，以允許刷新索引並同時查詢。
• 根據Pagerank的諧波平均值（以獲取網頁的重要性）和Okapi BM25（以獲取基於查詢的結果）算法等級，從而生成最相關的結果。
• 提供查詢建議（僅當輸入查詢未產生任何結果時），基於常見的錯誤和正確的單詞。使用N-Gram算法和編輯距離DP對它們進行排名，以比較兩個字符串。

運行步驟

運行命令： wunner_search （確保您的PWD是項目的根目錄）
如wunner_search -f中添加選項-f或--fresh重新啟動搜索引擎（即再次爬行和索引）

• 索引完成後，只需鍵入查詢並點擊Enter即可開始搜索
• 要使用AutoComplete，請在鍵入查詢時按CTRL+G ，然後鍵入所需的結果編號以完成查詢（直到開發Web UI之前，這與相關性無關）

構建步驟

1. 克隆（ git clone https://github.com/Anishka0107/Wunner.git ）或下載此存儲庫
2. cd Wunner從克隆/下載的地方

構建（在Linux上測試）

• 要求：GCC（5.0及以上） / Clang（3.4及以上），Boost，WGET

3. 兩個選項：
   1. 需要ar ：
      1. 運行chmod +x wunner_build.sh
      2. 運行./wunner_build.sh （請注意，此默認為G ++編譯器;附加編譯器名稱用於使用其他編譯器，例如： ./wunner_build.sh clang++ ）
   2. 需要cmake並make ：
      1. 運行mkdir -p build && cd build && cmake .. && make -j$(nproc)
4. 最終運行wunner_search （直接./build/bin/wunner_search或do export PATH=$PATH:${PWD}/build/bin之前）

基於Docker（用於Linux/Windows/OS-X）

3. 在您的系統上設置Docker（需要Docker命令的根特權）
4. 使用docker build -t wunner .
5. 使用docker run -v ${PWD}:/tmp wunner wunner_search （如果需要，請wunner_search選項）運行

托多清單：

• 為每個模塊添加簡單的main（）測試
• 對於基於終端的，在每個步驟顯示適當的輸出
• 添加顏色美化輸出
• res文件的命令行選項
• 添加支持完整的匹配查詢
• 添加對網頁上相對URL的支持
• 在爬行者中與robots.txt實施互動
• 構建Web UI
• 數據庫而不是文件存儲對象
• 構建中的動態鏈接

資源

• 爬行者種子網址 - >
• 錯誤的單詞 - >
• 停止單詞列表 - > https：//www.webconfs.com/stop-words.php