distributed search engine

分布式搜索引擎

分布式系统的定期项目（2017-2018春季）

一个分布式搜索引擎，该引擎根据搜索词和类别的频率从特定位置创建动态复制品。

问题：

最初（例如在美国）设置了一个中央服务器，并从世界各地的用户接收搜索查询。现在，如果印度的许多用户都查询某个主题，则中央服务器在印度设置了一个复制品，该复制品动态包含与足球和相关术语有关的数据。现在，所有包含印度足球或类似疑问的请求现在都去印度的复制品。现在，如果印度的副本长期不会收到相关查询/必须包含更多索引，则主服务器从印度动态创建的副本中的数据中删除了空闲索引。此外，主服务器应该在失败（容易失误）的情况下运行备份服务器，以接管Master，因此与动态复制品有关的任何元数据都应顺序一致。

实现的高级功能：

1. 相对于生成这些搜索查询的客户端/客户端，将经常访问的搜索数据数据复制到最佳服务器。
2. 还必须复制类似的数据项。为了易于实现，我们可以硬编码相似性矩阵。
3. 可以在复制服务器上存储固定数量的索引。因此，当新数据变得相关时，必须替换最少访问的复制数据。
4. 元数据在主和备份之间依次一致。
5. 搜索结果必须是合理的和完整的

里程碑：

• 让客户收到主人的回复
• 准备虚拟数据和相似性矩阵
• 获取准备好主的备份系统
• 同步从Crawler流程到主备份的写入
• 根据位置和查询设置动态复制品，在那里转发新查询
• 缩小复制品，以防他们很长一段时间没有获得新的疑问。
• 如果动态副本失败，则制作新副本