tinysearch

Tinysearch

Tinysearch ist eine leichte, schnelle Suchmaschine mit Volltext. Es ist für statische Websites ausgelegt.

Tinysearch ist in Rost geschrieben und dann mit WebAssembly zusammengestellt, um in einem Browser zu laufen.
Es kann zusammen mit statischen Site -Generatoren wie Jekyll, Hugo, Zola, Cobalt oder Pelican verwendet werden.

Ist es winzig?

Die Testindexdatei meines Blogs mit rund 40 Posts erstellt eine WASM -Nutzlast von 99 KB (49 KB Gziped, 40 KB Brotli).
Das ist kleiner als das Demo -Bild oben; Also ja.

Wie es funktioniert

Tinysearch ist ein Rost/WASM-Port des Python-Code aus dem Artikel "Schreiben einer Volltext-Suchmaschine mit Bloom-Filtern". Es kann als Alternative zu Lunr.js und Elasticlunr angesehen werden, die für kleinere Websites zu schwer sind und viel JavaScript laden.

Unter der Motorhaube verwendet es einen XOR -Filter - eine Datenstruktur zur schnellen Annäherung an die festgelegte Mitgliedschaft, die kleiner als Bloom- und Kuckucksfilter ist. Jeder Blog -Beitrag wird in einen Filter umgewandelt, der dann mit Bincode in einen binären Blob serialisiert wird. Bitte beachten Sie, dass sich die zugrunde liegenden Technologien ändern können.

Einschränkungen

• Findet nur ganze Wörter. Infolgedessen gibt es (noch) keine Suchvorschläge. Dies ist ein notwendiger Kompromiss für die Reduzierung des Speicherverbrauchs. Eine Trie -Datastruktur war etwa 10x größer als die XOR -Filter. Neue Forschungen zu kompakten Datastrukturen für Präfix -Suchanfragen könnten diese Einschränkung in Zukunft erhöhen.
• Da wir alle Suchindizes für alle Artikel in eine statische Binärdatei bündeln, empfehlen wir, sie nur für kleine bis mittelgroße Websites zu verwenden. Erwarten Sie etwa 2 KB unkomprimiert pro Artikel (~ 1 KB komprimiert).

Installation

Das WASM-Pack ist erforderlich, um das WASM-Modul zu erstellen. Installieren Sie es mit

cargo install wasm-pack

Um die JavaScript -Ausgabe zu optimieren, benötigen Sie auch Terser:

 npm install terser -g

Wenn Sie die WebAssembly so klein wie möglich gestalten möchten, empfehlen wir auch, Binaryen zu installieren. Auf macOS können Sie es mit Homebrew installieren:

brew install binaryen

Alternativ können Sie die Binärdatei von der Release -Seite herunterladen oder Ihren Betriebssystempaketmanager verwenden.

Danach können Sie Tinysearch selbst installieren:

 cargo install tinysearch

Verwendung

Als Eingabe wird eine JSON -Datei, die den Index zu Index enthält, benötigt. Bitte werfen Sie einen Blick auf die Beispieldatei.

Das body im JSON -Dokument ist optional und kann auf nur Index -Post -Titel übersprungen werden.

Sobald Sie den Index erstellt haben, können Sie ausführen

 tinysearch fixtures/index.json

Dadurch wird ein WASM -Modul und der JavaScript -Klebercode erstellt, um ihn in Ihre Website zu integrieren. Sie können die demo.html von jedem Webserver öffnen, um das Ergebnis zu sehen.

Zum Beispiel verfügt Python über einen integrierten Webserver, der für einen kurzen Test verwendet werden kann:

 python3 -m http.server

Dann stöbern Sie zu http://0.0.0.0:8000/demo.html, um die Demo durchzuführen.

Sie können sich auch die Codebeispiele für verschiedene statische Site -Generatoren ansehen.

Erweiterte Verwendung

Für fortgeschrittene Nutzungsoptionen führen Sie aus

 tinysearch --help

Bitte überprüfen Sie, was erforderlich ist, um WebAssembly in der Produktion zu hosten - Sie müssen explizit Gzip -MIME -Typen festlegen.

Docker

Wenn Sie kein volles Rost-Setup zur Verfügung haben, können Sie auch unsere nächtlichen Docker-Bilder verwenden.

Hier erfahren Sie, wie Sie Tinysearch schnell mit Docker ausprobieren:

 # Download a sample blog index from endler.dev
curl -O https://raw.githubusercontent.com/tinysearch/tinysearch/master/fixtures/index.json
# Create the WASM output
docker run -v $PWD :/app tinysearch/cli --engine-version path= " /engine " --path /app/wasm_output /app/index.json

Standardmäßig wird das neueste stabile Alpine -Rost -Bild verwendet. Nachtsnacht zu bekommen, rennen Sie

docker build --build-arg RUST_IMAGE=rustlang/rust:nightly-alpine -t tinysearch/cli:nightly .

Advanced Docker bauen Argumente auf

• WASM_REPO : Überschreiben Sie das Wasm-Pack-Repository
• WASM_BRANCH : Überschreiben Sie den Repository -Zweig, um sie zu verwenden
• TINY_REPO : Überschreibe Repository von Tinysearch
• TINY_BRANCH : Tinysearch -Zweig überschreiben

Github -Aktion

Um Tinysearch in kontinuierliche Einsatzpipelines zu integrieren, ist eine GitHub -Aktion verfügbar.

- name : Build tinysearch
  uses : leonhfr/tinysearch-action@v1
  with :
    index : public/index.json
    output_dir : public/wasm
    output_types : |
      wasm 

Benutzer

Die folgenden Websites verwenden Tinysearch:

• Matthias Endlers Blog
• OutofcheseError
• Erzdiözese Museum of Warschau

Verwenden Sie auch Tinysearch? Fügen Sie Ihre Website hier hinzu!

Betreuer

• Matthias Endler (@mre)
• Jorge-luis Betancourt (@jorgelbg)
• Mad Mike (@fluential)

Lizenz

Tinysearch ist unter einem von lizenziert

• Apache-Lizenz, Version 2.0, (Lizenz-apache oder http://www.apache.org/licenses/license-2.0)
• MIT Lizenz (Lizenz- oder http://opensource.org/licenses/Mit)

nach Ihrer Option.