distributed search engine

Mecanismo de pesquisa distribuído

Projeto de termo para sistemas distribuídos (primavera 2017-2018)

Um mecanismo de pesquisa distribuído que cria réplicas dinâmicas com base em frequências de termos de pesquisa e categorias de um local específico.

Problema:

Um único servidor central é configurado inicialmente (digamos nos EUA) e recebe consultas de pesquisa de usuários em todo o mundo. Agora, se muitos usuários da Índia consultarem para um determinado tópico dizer o futebol, o servidor central configura uma réplica na Índia contendo dinamicamente dados referentes a apenas futebol e termos relacionados. Todos os pedidos que contêm futebol ou consultas similares da Índia agora vão para a réplica na Índia. Agora, caso a réplica na Índia não receba consultas relevantes por um longo tempo/deve incluir mais índices, o servidor mestre exclui os índices ociosos dos dados da réplica criada dinamicamente na Índia. Além disso, o servidor mestre deve ter um servidor de backup em execução para assumir o controle como mestre em caso de falha (tolerante a falhas) e, portanto, qualquer metadado referente às réplicas dinâmicas deve ser sequencialmente consistente.

Recursos de alto nível implementados:

1. Replicação de dados de pesquisa de pesquisa acessados ​​com frequência ao melhor servidor em relação ao cliente/conjunto de clientes que geram essas consultas de pesquisa.
2. Itens de dados semelhantes também devem ser replicados. Para facilitar a implementação, podemos codificar uma matriz de similaridade.
3. Há um número fixo de índices que podem ser armazenados em um servidor de réplica. Portanto, os dados replicados que foram acessados ​​menos recentemente devem ser substituídos quando novos dados se tornarem relevantes.
4. Os metadados são sequencialmente consistentes entre mestre e backup.
5. Os resultados da pesquisa devem ser sólidos e completos

Conquistas:

• Faça com que o cliente receba a resposta do mestre
• Prepare dados fictícios e matriz de similaridade
• Obtenha o sistema de backup para mestre pronto
• Synchronize escreve do processo de rastreador para master e backup
• Configure réplica dinâmica com base em lugares e consultas, encaminhe novas consultas para lá
• Réplicas de encolhimento, caso não recebam novas consultas por um longo tempo.
• Faça uma nova réplica no caso de falhar dinâmico