Search Engine

搜索引擎項目

描述：

使用Java開發螺紋搜索引擎，該引擎跟踪用戶搜索，允許用戶爬網頁，並蒐索從爬行的網頁構建的倒置索引。

特徵：

• 處理目錄及其子目錄中的所有文本文件，將文本清潔並解析為單詞詞幹，並構建一個內存的倒置索引，以將映射從單詞stems到文檔到這些文檔中的文檔和位置。

• 支持精確的搜索和部分搜索。此外，應用程序可以跟踪每個文本文件中發現的單詞總數，解析和stem一個查詢文件，生成從倒置索引的搜索結果的排序列表，並支持將這些結果寫入JSON文件。

• 支持線程安全的倒置索引，並使用工作隊列使用多個線程來構建和搜索倒置索引。

• 支持網絡爬網和獲取HTML

• 支持用戶跟踪並存儲用戶歷史記錄

圖書館：

• Apache OpenNLP
• apache log4j 2
• Apache Commons lang3
• Apache Commons文本
• 日食碼頭
• Mariadb JDBC驅動程序