distributed search engine

Распределенная поисковая система

Термический проект для распределенных систем (весна 2017-2018)

Распределенная поисковая система, которая создает динамические реплики на основе частот поисковых терминов и категорий из определенного места.

Проблема:

Первоначально один центральный сервер настроен (скажем, в США) и получает поисковые запросы от пользователей по всему миру. Теперь, если многие пользователи в Индии запрашивают определенную тему, говорят футбол, центральный сервер устанавливает копию в Индии, динамически содержащую данные, относящиеся только к футболу и связанным с ними терминам. Все запросы, содержащие футбол или аналогичные запросы из Индии, теперь идут в реплику в Индии. Теперь, если реплика в Индии не получает соответствующие запросы в течение длительного времени/должна включать больше индексов, мастер -сервер удаляет индексы холостого хода из данных в динамически созданной копии в Индии. Кроме того, у основного сервера должен быть сервер резервного копирования, который работает как мастер в случае сбоя (сбои с неисправностью), и, следовательно, любые метаданные, относящиеся к динамическим репликам, должны быть последовательными.

Реализованные функции высокого уровня:

1. Репликация часто доступных данных, получающих поиск, на лучший сервер в отношении клиента/набора клиентов, которые генерируют эти запросы поиска.
2. Аналогичные элементы данных также должны быть воспроизведены. Для простоты реализации мы можем жестко кодировать матрицу сходства.
3. Существует фиксированное количество индексов, которые можно хранить на сервере реплик. Следовательно, реплицированные данные, которые были доступны наименьшим недавно, должны быть заменены, когда новые данные становятся актуальными.
4. Метаданные последовательно последовательны между мастером и резервной копией.
5. Результаты поиска должны быть обоснованными и полными

Вехи:

• Получить клиента получить ответ от мастера
• Подготовьте матрицу фиктивных данных и сходства
• Получите систему резервного копирования для Master Ready
• Synchronize записывает от Crawler Process для освоения и резервной копии
• Установите динамическую реплику на основе места и запросов, пересадьте новые запросы там
• Сокрашивайте реплики на случай, если они не получат новые запросы в течение длительного времени.
• Сделайте новую копию в случае, если динамическая реплика не удается