WideScale

Lebar

Widescale adalah mesin pengindeksan dan pencarian teks lengkap, yang ditulis dalam Golang. Luas hanya untuk tujuan pendidikan. Ini memberikan API sederhana untuk mencari kata atau sekelompok kata, di dalam sejumlah besar teks yang tersebar di beberapa dokumen. Secara internal, Widescale menggunakan indeks terbalik, mirip dengan Elasticsearch. Untuk informasi lebih lanjut, lihat artikel ini.

Beri tahu saya jika kalian punya saran.

Mengapa menggunakan struktur data khusus (indeks terbalik)?

Saya menemukan indeks terbalik ketika saya sedang membaca tentang Elasticsearch. Untuk memahami mengapa menggunakannya, berikut adalah kutipan dari artikel Wikipedia tentang hal itu -

Saat berhadapan dengan sejumlah kecil dokumen, dimungkinkan bagi mesin pencarian teks lengkap untuk secara langsung memindai isi dokumen dengan setiap kueri, strategi yang disebut "pemindaian serial". Inilah yang dilakukan beberapa alat, seperti Grep, saat mencari.

Namun, ketika jumlah dokumen untuk pencarian berpotensi besar, atau jumlah pertanyaan pencarian untuk dilakukan sangat besar, masalah pencarian teks lengkap sering dibagi menjadi dua tugas: pengindeksan dan pencarian. Tahap pengindeksan akan memindai teks semua dokumen dan membangun daftar istilah pencarian (sering disebut indeks). Pada tahap pencarian, saat melakukan kueri tertentu, hanya indeks yang dirujuk, daripada teks dari dokumen asli.

Saya benar -benar tidak berpikir saya bisa melakukan penjelasan yang lebih baik dari itu.

Instalasi

• Instal Golang (instruksi). Tambahkan jalur instalasi go ke variabel lingkungan jalur Anda.
• Unduh Mux.

   > go get github.com/gorilla/mux
  

• Downlaod Widescale

   > go get github.com/anubhavp28/WideScale/
  

• Pasang Lelah

   > go install github.com/anubhavp28/WideScale/
  

Penggunaan

• Untuk memulai server, cukup jalankan:

   > cd $(go env GOPATH)/bin
  > widescale <path-to-dir-containing-txt-files-to-index>
  

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi.md untuk detailnya.