Search Engine

Projeto de mecanismo de pesquisa

Descrição:

Usei o Java para desenvolver um mecanismo de pesquisa roscado que rastreava pesquisas de usuário, permite que os usuários rastejam páginas da web e pesquisem um índice invertido construído a partir de páginas da web rastejadas.

Características:

• Processa todos os arquivos de texto em um diretório e seus subdiretos, limpa e analisa o texto em hastes de palavras e cria um índice invertido na memória para armazenar o mapeamento de hastes de palavras para os documentos e posições dentro dos documentos onde essas hastes de palavra foram encontradas.

• Suporta pesquisa exata e pesquisa parcial. Além disso, o aplicativo pode rastrear o número total de palavras encontradas em cada arquivo de texto, analisar e suportar um arquivo de consulta, gerar uma lista classificada de resultados de pesquisa do índice invertido e suporta escrever esses resultados em um arquivo json.

• Suporta o índice invertido com segurança de threads e usa uma fila de trabalho para construir e pesquisar o índice invertido usando vários threads.

• Suporta rastreamento da web e adquirir html

• Suporta o rastreamento do usuário e armazena o histórico do usuário

Bibliotecas:

• Apache OpenNLP
• Apache Log4J 2
• Apache Commons Lang3
• Texto Apache Commons
• Eclipse Jetty
• MARIADB JDBC Driver