tinysearch

Tinysearch

TinySearch adalah mesin pencari teks lengkap yang ringan, cepat, dan lengkap. Ini dirancang untuk situs web statis.

Tinysearch ditulis dalam karat, dan kemudian dikompilasi ke WebAssembly untuk dijalankan di browser.
Ini dapat digunakan bersama dengan generator situs statis seperti Jekyll, Hugo, Zola, Cobalt, atau Pelican.

Apakah kecil?

File indeks uji blog saya dengan sekitar 40 posting membuat muatan WASM 99kB (49kb Gzipped, 40kb Brotli).
Itu lebih kecil dari gambar demo di atas; Jadi ya.

Cara kerjanya

TinySearch adalah port karat/wasm dari kode Python dari artikel "Menulis mesin pencari teks lengkap menggunakan filter mekar". Ini dapat dilihat sebagai alternatif untuk Lunr.js dan Elasticlunr, yang terlalu berat untuk situs web yang lebih kecil dan memuat banyak JavaScript.

Di bawah kap mesin menggunakan filter XOR - struktur data untuk perkiraan cepat keanggotaan yang lebih kecil dari filter Bloom dan Cuckoo. Setiap posting blog dikonversi menjadi filter yang kemudian akan diserialisasi menjadi gumpalan biner menggunakan Bincode. Harap dicatat bahwa teknologi yang mendasarinya dapat berubah.

Batasan

• Hanya menemukan seluruh kata. Akibatnya tidak ada saran pencarian (belum). Ini adalah tradeoff yang diperlukan untuk mengurangi penggunaan memori. Struktur data trie sekitar 10x lebih besar dari filter XOR. Penelitian baru tentang struktur data kompak untuk pencarian awalan dapat mengangkat batasan ini di masa depan.
• Karena kami menggabungkan semua indeks pencarian untuk semua artikel menjadi satu biner statis, kami sarankan untuk hanya menggunakannya untuk situs web kecil hingga menengah. Harapkan sekitar 2 kb tidak terkompresi per artikel (~ 1 kb dikompresi).

Instalasi

Wasm-pack diperlukan untuk membangun modul WASM. Instal dengan

cargo install wasm-pack

Untuk mengoptimalkan output JavaScript, Anda juga akan membutuhkan Terser:

 npm install terser -g

Jika Anda ingin membuat WebAssembly sekecil mungkin, kami sarankan untuk menginstal Binaryen juga. Di macOS Anda dapat menginstalnya dengan homebrew:

brew install binaryen

Atau, Anda dapat mengunduh biner dari halaman rilis atau menggunakan manajer paket OS Anda.

Setelah itu, Anda dapat menginstal Tinysearch sendiri:

 cargo install tinysearch

Penggunaan

File JSON, yang berisi konten untuk indeks, diperlukan sebagai input. Silakan lihat file contoh.

Bidang body dalam dokumen JSON adalah opsional dan dapat dilewati hanya untuk mengindeks judul posting.

Setelah Anda membuat indeks, Anda dapat menjalankan

 tinysearch fixtures/index.json

Ini akan membuat modul WASM dan kode lem JavaScript untuk mengintegrasikannya ke dalam situs web Anda. Anda dapat membuka demo.html dari server web untuk melihat hasilnya.

Misalnya, Python memiliki server web bawaan yang dapat digunakan untuk tes cepat:

 python3 -m http.server

Kemudian telusuri ke http://0.0.0.0:8000/demo.html untuk menjalankan demo.

Anda juga dapat melihat contoh kode untuk generator situs statis yang berbeda di sini.

Penggunaan lanjutan

Untuk opsi penggunaan lanjutan, jalankan

 tinysearch --help

Silakan periksa apa yang diperlukan untuk meng -host WebAssembly dalam produksi - Anda perlu secara eksplisit mengatur jenis Mime GZIP.

Buruh pelabuhan

Jika Anda tidak memiliki pengaturan karat lengkap, Anda juga dapat menggunakan gambar Docker yang dibangun malam kami.

Inilah cara mencoba Tinysearch dengan cepat dengan Docker:

 # Download a sample blog index from endler.dev
curl -O https://raw.githubusercontent.com/tinysearch/tinysearch/master/fixtures/index.json
# Create the WASM output
docker run -v $PWD :/app tinysearch/cli --engine-version path= " /engine " --path /app/wasm_output /app/index.json

Secara default, gambar karat alpine stabil terbaru digunakan. Untuk mendapatkan malam, lari

docker build --build-arg RUST_IMAGE=rustlang/rust:nightly-alpine -t tinysearch/cli:nightly .

Lanjutan Docker Build Args

• WASM_REPO : Timpa repositori wasm-pack
• WASM_BRANCH : Timpa cabang repositori untuk digunakan
• TINY_REPO : Repositori Tinysearch
• TINY_BRANCH : Cabang Tinysearch Timpa

Tindakan GitHub

Untuk mengintegrasikan Tinysearch dalam pipa penempatan kontinu, tindakan GitHub tersedia.

- name : Build tinysearch
  uses : leonhfr/tinysearch-action@v1
  with :
    index : public/index.json
    output_dir : public/wasm
    output_types : |
      wasm 

Pengguna

Situs web berikut menggunakan TinySearch:

• Blog Matthias Endler
• OutofcheeseError
• Museum Keuskupan Agung Warsawa

Apakah Anda menggunakan Tinysearch juga? Tambahkan situs Anda di sini!

Pemelihara

• Matthias Endler (@mre)
• Jorge-Luis Betancourt (@jorgelbg)
• Mad Mike (@fluential)

Lisensi

Tinysearch dilisensikan di bawah salah satu dari

• Lisensi Apache, Versi 2.0, (lisensi-apache atau http://www.apache.org/licenses/license-2.0)
• Lisensi MIT (lisensi-mit atau http://opensource.org/licenses/mit)

di pilihan Anda.