OSSE

Moteur de recherche OSSE

Moteur de recherche trop simple - rendre les moteurs de recherche simples ??
Prononciation: "oh-see"

Table des matières

• Pourquoi?
• Usage
• Caractéristiques
• Comment ça marche
• Feuille de route
• Contributif
• Licence

? Pourquoi?

Juste pour le plaisir! Je voulais vraiment apprendre la rouille et à l'époque j'étais vraiment intéressé par le fonctionnement des moteurs de recherche, donc il n'y avait pas de meilleure façon d'atteindre les deux objectifs qu'avec ce même projet!

? Usage

Ce référentiel est un monorepo formé par les composants indépendants qui forment le moteur de recherche OSSE.

Installation des dépendances

• Avec Nix:

 $ nix develop

• Sinon:

Installez la cargaison et le coffre avec votre méthode préférée (comme votre gestionnaire de packages préféré).

En cours d'exécution

• Nabiller

 $ cargo run --bin crawler

• Indexeur

 $ cargo run --bin indexer

• L'extrémité avant

 $ trunk serve frontend/index.html --open

Une fois tous les composants en cours d'exécution, vous pouvez accéder à 127.0.0.1:8080 sur votre navigateur Web préféré et commencer à utiliser OSSE!

? Caractéristiques

• Entièrement auto-hébergé: OSSE n'utilise aucun service externe, tout ce dont vous avez besoin est que ses trois composants (indexer, robot et frontend) disposent d'un moteur de recherche "complet".
• Algorithmes d'indexation et de classement personnalisés: OSSE utilise son propre algorithme d'indexation et de classement open source, ce qui signifie que son code est révisable et améliorable par des tiers, garantissant ses fonctionnalités techniquement et moralement correctes.
• Hackable: OSSE est construit avec l'extensibilité et la modularité à l'esprit, il est donc tout à fait possible de remplacer ou de personnaliser ses différents composants.
• Confidentialité Respect: En raison de l'OSSE, entièrement indépendante, il n'envoie aucune métadonnée à aucun service.

Comment ça marche

Le moteur de recherche Asse est séparé en trois composants indépendants:

• Indexeur

Ce composant fournit à la fois l'implémentation de l'indexeur de moteur de recherche réel et l'API REST utilisée pour rechercher et ajouter des ressources indexées. Il utilise Actix Web pour l'API REST (en cours d'exécution sur le port 4444). Pour la mise en œuvre de la structure réelle des données d'indexer, nous utilisons actuellement un index inversé très simple implémenté avec un hashmap, de sorte que toutes les ressources indexées sont actuellement perdues chaque fois que l'indexeur est redémarré.

• Nabiller

Ce composant est un simple robot récursif qui transmet le HTML brut rampé à l'indexeur. Il utilise ReqWest pour récupérer une liste prédéfinie de sites Web racine et les analyser avec Scraper, envoyer le contenu du site Web à l'indexeur et extraire tous ses liens, les ajoutant à une file d'attente de sites Web à ramper. Ce processus est "récursivement" répété indéfiniment.

• L'extrémité avant

Ce composant est une simple interface Web avec l'indexeur. Il permet aux utilisateurs de rechercher et de visualiser les résultats de manière conviviale. Il est actuellement construit à l'aide d'if, ce qui nous permet d'écrire le frontend dans Rust et de produire un Web-UI "flamboyant rapide".

? Feuille de route

• Ajouter le frontend
• Changer l'indexeur pour utiliser un index NGRAM au lieu d'un index inversé
• Améliorer le frontend
• Améliorer la réactivité de la recherche lorsque l'indexeur reçoit les informations de Crawlers
• Nettoyage de la rouille
• Améliorer l'algorithme de classement des pages

Contributif

"Si vous avez des idées ou des correctifs, n'hésitez pas à contribuer à OSSE!"

Licence

Ce logiciel est sous licence en vertu de la CLAUSE BSD-2 © BaitInq.