Search Engine

搜索引擎项目

描述：

使用Java开发螺纹搜索引擎，该引擎跟踪用户搜索，允许用户爬网页，并搜索从爬行的网页构建的倒置索引。

特征：

• 处理目录及其子目录中的所有文本文件，将文本清洁并解析为单词词干，并构建一个内存的倒置索引，以将映射从单词stems到文档到这些文档中的文档和位置。

• 支持精确的搜索和部分搜索。此外，应用程序可以跟踪每个文本文件中发现的单词总数，解析和stem一个查询文件，生成从倒置索引的搜索结果的排序列表，并支持将这些结果写入JSON文件。

• 支持线程安全的倒置索引，并使用工作队列使用多个线程来构建和搜索倒置索引。

• 支持网络爬网和获取HTML

• 支持用户跟踪并存储用户历史记录

图书馆：

• Apache OpenNLP
• apache log4j 2
• Apache Commons lang3
• Apache Commons文本
• 日食码头
• Mariadb JDBC驱动程序