Search Engine

検索エンジンプロジェクト

説明：

Javaを使用して、ユーザーの検索を追跡し、ユーザーがWebページをクロールできるようにし、クロールされたWebページから構築された倒立インデックスを検索できるスレッド検索エンジンを開発しました。

特徴：

• ディレクトリとそのサブディレクトリ内のすべてのテキストファイルを処理し、テキストをクリーニングおよび解析し、ワードステムからドキュメントへのマッピングを格納して、それらの単語ステムが見つかったドキュメント内のドキュメントと位置を処理します。

• 正確な検索と部分検索をサポートします。さらに、アプリケーションは、各テキストファイルで見つかった単語の総数を追跡し、クエリファイルを解析し、ステムすることができ、反転インデックスから検索結果のソートされたリストを生成し、それらの結果の書き込みをJSONファイルにサポートします。

• スレッドセーフの逆インデックスをサポートし、作業キューを使用して、複数のスレッドを使用して倒立インデックスを構築および検索します。

• WebクロールとHTMLの取得をサポートします

• ユーザーの追跡をサポートし、ユーザー履歴を保存します

図書館：

• apache opennlp
• apache log4j 2
• Apache Commons Lang3
• Apache Commonsテキスト
• Eclipse Jetty
• Mariadb JDBCドライバー