distributed search engine

分佈式搜索引擎

分佈式系統的定期項目（2017-2018春季）

一個分佈式搜索引擎，該引擎根據搜索詞和類別的頻率從特定位置創建動態復製品。

問題：

最初（例如在美國）設置了一個中央服務器，並從世界各地的用戶接收搜索查詢。現在，如果印度的許多用戶都查詢某個主題，則中央服務器在印度設置了一個複製品，該複製品動態包含與足球和相關術語有關的數據。現在，所有包含印度足球或類似疑問的請求現在都去印度的複製品。現在，如果印度的副本長期不會收到相關查詢/必須包含更多索引，則主服務器從印度動態創建的副本中的數據中刪除了空閒索引。此外，主服務器應該在失敗（容易失誤）的情況下運行備份服務器，以接管Master，因此與動態復製品有關的任何元數據都應順序一致。

實現的高級功能：

1. 相對於生成這些搜索查詢的客戶端/客戶端，將經常訪問的搜索數據數據複製到最佳服務器。
2. 還必須複製類似的數據項。為了易於實現，我們可以硬編碼相似性矩陣。
3. 可以在復制服務器上存儲固定數量的索引。因此，當新數據變得相關時，必須替換最少訪問的複制數據。
4. 元數據在主和備份之間依次一致。
5. 搜索結果必須是合理的和完整的

里程碑：

• 讓客戶收到主人的回复
• 準備虛擬數據和相似性矩陣
• 獲取準備好主的備份系統
• 同步從Crawler流程到主備份的寫入
• 根據位置和查詢設置動態復製品，在那裡轉發新查詢
• 縮小複製品，以防他們很長一段時間沒有獲得新的疑問。
• 如果動態副本失敗，則製作新副本