distributed search engine

Mesin pencari terdistribusi

Proyek Term untuk Sistem Terdistribusi (Musim Semi 2017-2018)

Mesin pencari terdistribusi yang membuat replika dinamis berdasarkan frekuensi istilah dan kategori pencarian dari lokasi tertentu.

Masalah:

Satu server pusat diatur pada awalnya (katakanlah di AS), dan menerima pertanyaan pencarian dari pengguna di seluruh dunia. Sekarang jika banyak pengguna di India permintaan untuk topik tertentu mengatakan sepak bola, server pusat menyiapkan replika di India yang secara dinamis berisi data yang hanya berkaitan dengan sepak bola dan istilah terkait. Semua permintaan yang berisi sepak bola atau pertanyaan serupa dari India sekarang pergi ke replika di India. Sekarang jika replika di India tidak menerima kueri yang relevan untuk waktu yang lama/harus memasukkan lebih banyak indeks, server master menghapus indeks idle dari data dalam replika yang dibuat secara dinamis di India. Selain itu, server master harus memiliki server cadangan yang berjalan untuk mengambil alih sebagai master jika terjadi kegagalan (toleran kesalahan) dan karenanya setiap metadata yang berkaitan dengan replika dinamis harus konsisten secara berurutan.

Fitur tingkat tinggi diimplementasikan:

1. Replikasi data hasil pencarian yang sering diakses ke server terbaik sehubungan dengan klien/set klien yang menghasilkan kueri pencarian tersebut.
2. Item data serupa juga harus direplikasi. Untuk kemudahan implementasi, kita dapat menggunakan kode persamaan matriks.
3. Ada sejumlah indeks yang dapat disimpan di server replika. Oleh karena itu data yang direplikasi yang diakses baru -baru ini harus diganti ketika data baru menjadi relevan.
4. Metadata secara berurutan konsisten antara master dan cadangan.
5. Hasil pencarian harus sehat dan lengkap

Tonggak sejarah:

• Dapatkan klien untuk menerima tanggapan dari master
• Siapkan Data Dummy dan Matriks Kesamaan
• Dapatkan sistem cadangan untuk Master Ready
• Sinkronisasi menulis dari proses crawler ke master dan cadangan
• Siapkan Replika Dinamis Berdasarkan Tempat dan Kueri, Teruskan Kueri Baru Di sana
• Kecilkan replika jika mereka tidak mendapatkan pertanyaan baru untuk waktu yang lama.
• Buat replika baru jika replika dinamis gagal