OSSE

OSSE -Suchmaschine

Übermäßig einfache Suchmaschine - Suchmaschinen einfach machen?
Aussprache: "oh-see"

Inhaltsverzeichnis

• Warum?
• Verwendung
• Merkmale
• Wie es funktioniert
• Roadmap
• Beitragen
• Lizenz

? Warum?

Nur zum Spaß! Ich wollte wirklich Rost lernen und war zu der Zeit wirklich daran interessiert, wie Suchmaschinen funktionierten. Es gab also keine bessere Möglichkeit, beide Ziele zu erreichen als mit diesem Projekt!

? Verwendung

Dieses Repository ist ein Monorepo, das von den unabhängigen Komponenten gebildet wird, die die OSSE -Suchmaschine bilden.

Abhängigkeiten installieren

• Mit Nix:

 $ nix develop

• Ansonsten:

Installieren Sie Fracht und Koffer mit Ihrer bevorzugten Methode (z. B. Ihrem bevorzugten Paketmanager).

Läuft

• Crawler

 $ cargo run --bin crawler

• Indexer

 $ cargo run --bin indexer

• Frontend

 $ trunk serve frontend/index.html --open

Sobald alle Komponenten ausgeführt werden, können Sie in Ihrem bevorzugten Webbrowser zu 127.0.0.1:8080 navigieren und mit OSSE beginnen!

? Merkmale

• VOLLSTÄNDIG selbst gehostete: OSSE verwendet keine externen Dienste. Alles, was Sie benötigen, sind seine drei Komponenten (Indexer, Crawler & Frontend), um eine "vollständige" Suchmaschine zu haben.
• Benutzerdefinierte Indexierung und Ranking-Algorithmen: OSSE verwendet einen eigenen Open-Source-Algorithmus für Open-Source-Indexierung und Ranking, was bedeutet, dass sein Code von Dritten überprüft und verbesserbar ist, um die technisch und moralisch korrekte Funktionalität zu gewährleisten.
• Hackbar: OSSE ist mit Blick auf Erweiterbarkeit und Modularität erstellt, sodass es ausschließlich möglich ist, seine verschiedenen Komponenten zu ersetzen oder anzupassen.
• Privatsphäre Respekt: ​​Als Ergebnis von OSSE ist es keine Metadaten an Dienste.

Wie es funktioniert

Die OSSE -Suchmaschine ist in drei unabhängige Komponenten unterteilt:

• Indexer

Diese Komponente liefert sowohl die Implementierung des tatsächlichen Suchmaschinenindexer als auch die REST -API, mit der indizierte Ressourcen gesucht und hinzugefügt werden. Es verwendet Actix Web für die Rest -API (ausgeführt auf Port 4444). Für die Implementierung der tatsächlichen Indexer -Datenstruktur verwenden wir derzeit einen sehr einfachen Reverse -Index, der mit einem HashMap implementiert ist, sodass alle indizierten Ressourcen bei jeder Neustart des Indexers derzeit verloren gehen.

• Crawler

Diese Komponente ist ein einfacher rekursiver Crawler, der den krabbierten RAW -HTML an den Indexer weiterleitet. Es verwendet REQWEST, um eine vordefinierte Liste von Root -Websites abzurufen und sie mit Schaber zu analysieren, den Website -Inhalt an den Indexer zu senden und alle seine Links zu extrahieren, wodurch sie zu einer Warteschlange von Websites hinzugefügt werden soll, die krabbelt werden sollen. Dieser Vorgang wird auf unbestimmte Zeit "rekursiv" wiederholt.

• Frontend

Diese Komponente ist eine einfache Webschnittstelle zum Indexer. Es ermöglicht Benutzern, Ergebnisse auf benutzerfreundliche Weise zu durchsuchen und zu visualisieren. Es ist derzeit mit Yew gebaut, sodass wir das Frontend in Rost schreiben und ein "blasend schnelles" -Sm-basierter Web-UI erstellen können.

? Roadmap

• Frontend hinzufügen
• Ändern Sie den Indexer, um einen Ngram -Index anstelle eines Reverse Index zu verwenden
• Frontend verbessern
• Verbesserung der Reaktionsfähigkeit der Suche, wenn der Indexer Informationen von Crawler erhalten
• Rostbereinigung
• Verbesserung der Seitenranking -Algorithmus

Beitragen

"Wenn Sie Ideen oder Patches haben, zögern Sie bitte nicht, zum OSSE beizutragen!"

Lizenz

Diese Software ist unter der BSD-2-Klausel © Baitinq lizenziert.