distributed search engine

分散検索エンジン

分散システムの期間プロジェクト（2017年春 - 2018年春）

特定の場所からの検索用語とカテゴリの周波数に基づいて動的なレプリカを作成する分散検索エンジン。

問題：

単一の中央サーバーが最初に設定され（米国ではたとえば）、世界中のユーザーから検索クエリを受信します。インドの多くのユーザーが特定のトピックをサッカーと言う場合、セントラルサーバーは、サッカーと関連条件のみに関連するデータを含むインドでレプリカを動的に設定します。サッカーまたはインドからの同様の質問を含むすべてのリクエストは、現在、インドのレプリカに送られます。インドのレプリカが長期間にわたって関連するクエリを受け取っていない場合、より多くのインデックスを含める必要がある場合、マスターサーバーはインドで動的に作成されたレプリカのデータからアイドルインデックスを削除します。さらに、マスターサーバーには、障害（フォールトトレラント）の場合にマスターとして引き継ぐためにバックアップサーバーを実行する必要があります。

実装された高レベルの機能：

1. これらの検索クエリを生成するクライアント/クライアントのセットに関して、頻繁にアクセスされる検索結果データの最適なサーバーへの複製。
2. 同様のデータ項目も複製する必要があります。実装を容易にするために、類似性マトリックスをハードコードできます。
3. レプリカサーバーに保存できるインデックスの固定数があります。したがって、最近アクセスされた複製されたデータは、新しいデータが関連する場合に置き換える必要があります。
4. メタデータは、マスターとバックアップの間で連続的に一貫しています。
5. 検索結果は健全で完全でなければなりません

マイルストーン：

• マスターからクライアントに応答を受け取らせてください
• ダミーデータと類似性マトリックスを準備します
• マスターの準備ができているバックアップシステムを入手してください
• Crawler ProcessからMaster and Backupに同期します
• 場所とクエリに基づいて動的なレプリカをセットアップし、そこに新しいクエリを転送します
• レプリカは、長い間新しいクエリを取得しない場合に備えて縮小します。
• 動的なレプリカが失敗した場合に備えて、新しいレプリカを作成します