distributed search engine

Moteur de recherche distribué

Projet à terme pour les systèmes distribués (printemps 2017-2018)

Un moteur de recherche distribué qui crée des répliques dynamiques basées sur les fréquences des termes et catégories de recherche à partir d'un emplacement particulier.

Problème:

Un seul serveur central est configuré initialement (par exemple aux États-Unis) et reçoit des requêtes de recherche d'utilisateurs du monde entier. Maintenant, si de nombreux utilisateurs en Inde interrogent pour un certain sujet, disent le football, le serveur central configure une réplique en Inde contenant dynamiquement des données relatives au soccer uniquement et aux termes connexes. Toutes les demandes contenant du football ou des requêtes similaires de l'Inde se rendent désormais à la réplique en Inde. Désormais, dans le cas où la réplique en Inde ne reçoit pas de requêtes pertinentes pendant longtemps / doit inclure plus d'indices, le serveur maître supprime les indices inactifs des données dans la réplique créée dynamiquement en Inde. En outre, le serveur maître devrait avoir un serveur de sauvegarde en cours d'exécution pour prendre le relais en tant que maître en cas d'échec (tolérant aux pannes) et donc toute métadonnée relative aux répliques dynamiques doit être séquentiellement cohérente.

Fonctionnalités de haut niveau implémentées:

1. Réplication des données de recherche de recherche fréquemment consultées au meilleur serveur par rapport au client / ensemble de clients qui génèrent ces requêtes de recherche.
2. Des éléments de données similaires doivent également être reproduits. Pour faciliter la mise en œuvre, nous pouvons coder Hardcode une matrice de similitude.
3. Il existe un nombre fixe d'indices qui peuvent être stockés sur un serveur de réplique. Par conséquent, les données répliquées accessibles les moins récemment doivent être remplacées lorsque de nouvelles données deviennent pertinentes.
4. Les métadonnées sont séquentiellement cohérentes entre le maître et la sauvegarde.
5. Les résultats de la recherche doivent être solides et complets

Jalons:

• Demandez au client de recevoir la réponse du maître
• Préparer des données factices et une matrice de similitude
• Obtenez le système de sauvegarde pour Master Ready
• Synchroniser les écritures du processus de chenilles au maître et à la sauvegarde
• Configurez des répliques dynamiques basées sur le lieu et les requêtes, versez de nouvelles requêtes là-bas
• Réduire les répliques au cas où ils n'obtiennent pas de nouvelles requêtes pendant longtemps.
• Faire de nouvelles répliques au cas où les répliques dynamiques échouent