distributed search engine

Verteilte Suchmaschine

Termprojekt für verteilte Systeme (Frühjahr 2017-2018)

Eine verteilte Suchmaschine, die dynamische Replikate erstellt, die auf Frequenzen von Suchbegriffen und Kategorien aus einem bestimmten Ort basiert.

Problem:

Ein einzelner zentraler Server wird zunächst (z. B. in den USA) eingerichtet und empfängt Suchanfragen von Benutzern auf der ganzen Welt. Wenn nun viele Benutzer in Indien nach einem bestimmten Thema sagen, sagen Fußball, legt der zentrale Server eine Replik in Indien ein, die dynamisch Daten zu Fußball und verwandten Begriffen enthält. Alle Anfragen, die Fußball oder ähnliche Fragen aus Indien enthalten, gehen jetzt in die Replik in Indien. Wenn die Replik in Indien für lange Zeit keine relevanten Abfragen erhält/mehr Indizes enthalten muss, löscht der Master -Server die Leerlaufindizes aus den Daten in der dynamisch erstellten Replik in Indien. Darüber hinaus sollte der Master-Server über einen Sicherungsserver ausgeführt werden, der bei Fehler (Fehlertolerant) als Master übernommen werden kann, und daher sollte alle Metadaten, die sich auf die dynamischen Replikate beziehen, nacheinander konsistent sein.

Implementierte hochrangige Funktionen:

1. Replikation von häufig zugegriffenen Search-Reseult-Daten auf den besten Server in Bezug auf den Client/die Clients-Set, die diese Suchanfragen generieren.
2. Ähnliche Datenelemente müssen ebenfalls repliziert werden. Zur einfachen Implementierung können wir eine Ähnlichkeitsmatrix hardcodieren.
3. Es gibt eine feste Anzahl von Indizes, die auf einem Replik -Server gespeichert werden können. Daher müssen replizierte Daten, auf die am wenigsten zugegriffen wurde, ersetzt werden, wenn neue Daten relevant werden.
4. Metadaten sind nacheinander konsistent zwischen Master und Backup.
5. Die Suchergebnisse müssen solide und vollständig sein

Meilensteine:

• Lassen Sie den Kunden vom Master Antwort erhalten
• Bereiten Sie Dummy -Daten und Ähnlichkeitsmatrix vor
• Holen Sie sich das Backup -System für Master bereit
• Synchronisieren Sie Schreibvorgänge aus Crawler -Prozess, um zu beherrschen und zu backupieren
• Richten Sie dynamische Nachbildung anhand von Ort und Abfragen ein, dort neue Abfragen weiterleiten
• Verkleinerte Repliken für den Fall, dass sie lange Zeit keine neuen Fragen erhalten.
• Machen Sie eine neue Replik, falls dynamisches Replikat fehlschlägt