distributed search engine

Motor de búsqueda distribuido

Proyecto de término para sistemas distribuidos (primavera de 2017-2018)

Un motor de búsqueda distribuido que crea réplicas dinámicas basadas en frecuencias de términos de búsqueda y categorías desde una ubicación particular.

Problema:

Inicialmente, un solo servidor central está configurado (digamos en EE. UU.) Y recibe consultas de búsqueda de usuarios de todo el mundo. Ahora, si muchos usuarios en la India consultan para un determinado tema, el servidor central establece una réplica en India que contiene dinámicamente datos relacionados solo con el fútbol y los términos relacionados. Todas las solicitudes que contienen fútbol o consultas similares de la India ahora van a la réplica en la India. Ahora, en caso de que la réplica en India no reciba consultas relevantes durante mucho tiempo/tenga que incluir más índices, el servidor maestro elimina los índices inactivos de los datos en la réplica creada dinámicamente en India. Además, el servidor maestro debe tener un servidor de respaldo que se ejecute para asumir como maestro en caso de falla (tolerante a fallas) y, por lo tanto, cualquier metadato relacionado con las réplicas dinámicas debe ser secuencialmente consistente.

Características de alto nivel implementadas:

1. Replicación de datos de resistencia a la búsqueda de acceso frecuente al mejor servidor con respecto al cliente/conjunto de clientes que generan esas consultas de búsqueda.
2. Los elementos de datos similares también deben replicarse. Para facilitar la implementación, podemos codificar una matriz de similitud.
3. Hay un número fijo de índices que se pueden almacenar en un servidor de réplica. Por lo tanto, los datos replicados a los que se accedió menos recientemente deben reemplazarse cuando los nuevos datos se vuelven relevantes.
4. Los metadatos son secuencialmente consistentes entre el maestro y la copia de seguridad.
5. Los resultados de la búsqueda deben ser sólidos y completos

Hitos:

• Haga que el cliente reciba respuesta del maestro
• Preparar datos ficticios y matriz de similitud
• Obtenga el sistema de copia de seguridad para el maestro
• Sincronizar las escrituras del proceso de rastreador a maestro y respaldo
• Configurar réplica dinámica basada en el lugar y las consultas, reenviar nuevas consultas allí
• Réplicas de reducción en caso de que no obtengan nuevas consultas durante mucho tiempo.
• Hacer una nueva réplica en caso de que falle la réplica dinámica