SpaghettiSearch

Spaghettisearch: mesin pencari bersamaan

Mesin pencari yang berfungsi penuh dibangun di atas Golang untuk memenuhi persyaratan HKUST COMP4321. Dibangun menggunakan Golang sebagai backend, dan bereaksi sebagai frontend.

Demo langsung

http://spaghetti-search.herokuapp.com/

Fitur

• PageRank yang peka terhadap topik (Th Haveliwala, 2003) dengan penggunaan kueri sebagai satu-satunya konteks yang diberikan, dan minat pengguna sama-sama tercermin pada setiap topik.
• Kombinasi model pagerank dan ruang vektor untuk memberi peringkat hasilnya
• Menggunakan teks jangkar dan metatag yang disarankan di kertas Google untuk meningkatkan presisi dan indeks lebih banyak lagi halaman web
• Manfaatkan pola konkurensi generator, masa depan, dan fan-in di golang untuk meningkatkan kinerja pengambilan
• Pengambilan ringkasan dokumen dinamis
• Gunakan badgerdb sebagai database yang dioptimalkan untuk SSD
• Pencarian Daftar Kata Kunci Dukungan dan Pencarian Frasa (gunakan kutipan ganda untuk pencarian frase)

Pengaturan & Instalasi

Backend

• Instal Golang dari sini

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• Unduh repo ini menggunakan go get

 $ go get github.com/nwihardjo/SpaghettiSearch

Frontend

• Instal Node dan NPM dari sini
• Bangunan telah diunggah. Tidak perlu menginstal Node untuk menjalankan ini.

Dependensi

dep digunakan sebagai manajemen paket untuk memastikan dependensi yang diinstal adalah versi yang benar dari vendor yang benar. Jalankan dep ensure pada root proyek untuk menginstal paket yang diperlukan, atau jalankan go get ./... untuk hal yang sama.

Bangunan

• Jalankan make in the Project Root Directory. Ini akan menginstal paket biner yang diperlukan ke bin/ Direktori, serta menginstal DependEndCies
• Jalankan crawler dan tentukan argumen yang diperlukan seperti di bawah ini, lalu putar server. Server backend dan react telah terintegrasi, sehingga hanya satu server oleh Golang yang perlu dimulai.

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• Pergilah ke browser Anda, dan pergi ke localhost:8080 . Server di -host di port 8080, atau periksa output terminal Anda.

Penyumbang

• Nathaniel Wihardjo
• Angelica Kosasih
• Petra Gabriela