OSSE

Motor de búsqueda de OSSE

Motor de búsqueda excesivamente simple: ¿simplificando los motores de búsqueda?
Pronunciación: "Oh-See"

Tabla de contenido

• ¿Por qué?
• Uso
• Características
• Cómo funciona
• Hoja de ruta
• Que contribuye
• Licencia

? ¿Por qué?

¡Sólo para travesura! Tenía muchas ganas de aprender óxido y en ese momento estaba realmente interesado en cómo funcionaban los motores de búsqueda, ¡así que no había una mejor manera de alcanzar ambos objetivos que con este mismo proyecto!

? Uso

Este repositorio es un monoreso formado por los componentes independientes que forman el motor de búsqueda de OSSE.

Instalación de dependencias

• Con Nix:

 $ nix develop

• De lo contrario:

Instale la carga y el tronco con su método preferido (como su administrador de paquetes favorito).

Correr

• Tractor

 $ cargo run --bin crawler

• Indexador

 $ cargo run --bin indexer

• Interfaz

 $ trunk serve frontend/index.html --open

Una vez que se ejecutan todos los componentes, puede navegar a 127.0.0.1:8080 en su navegador web favorito y comenzar a usar OSSE.

? Características

• Completamente autohospedado: OSSE no utiliza ningún servicio externo, todo lo que necesita son sus tres componentes (indexador, crawler y frontend) para tener un motor de búsqueda "completo".
• Algoritmos de indexación y clasificación personalizados: OSSE utiliza su propio algoritmo de indexación y clasificación de código abierto, lo que significa que su código es revisable e mejorable por terceros, asegurando su funcionalidad técnica y moralmente correcta.
• Hackable: OSSE está construido con extensibilidad y modularidad en mente, por lo que es completamente factible reemplazar o personalizar sus diversos componentes.
• Privacidad Respeto: Como resultado de que OSSE sea completamente independiente, no envía ningún metadato a ningún Servicio.

Cómo funciona

El motor de búsqueda de OSSE se separa en tres componentes independientes:

• Indexador

Este componente proporciona tanto la implementación del indexador del motor de búsqueda real como la API REST utilizada para buscar y agregar recursos indexados. Utiliza la web Actix para la API REST (que se ejecuta en el puerto 4444). Para la implementación de la estructura de datos del indexador real, actualmente utilizamos un índice inverso muy simple implementado con un hashmap, por lo que todos los recursos indexados se pierden actualmente cada vez que se reinicia el indexador.

• Tractor

Este componente es un simple rastreador recursivo que reenvía el HTML crudo rastreo al indexador. Utiliza ReqWest para obtener una lista predefinida de sitios web raíz y los analiza con raspador, enviando el contenido del sitio web al indexador y extrayendo todos sus enlaces, agregándolos a una cola de sitios web para que se arrastren. Este proceso es "recursivamente" repetido indefinidamente.

• Interfaz

Este componente es una interfaz web simple para el indexador. Permite a los usuarios buscar y visualizar los resultados de una manera fácil de usar. Actualmente se construye usando Yew, lo que nos permite escribir el frontend en óxido y producir una web-UI con sede en WASM "Blazly Fast".

? Hoja de ruta

• Agregar frontend
• Cambiar indexador para usar un índice NGRAM en lugar de un índice inverso
• Mejorar frontend
• Mejorar la capacidad de respuesta de la búsqueda cuando el indexador recibe información de los rastreadores
• Limpieza de óxido
• Mejorar el algoritmo de clasificación de página

Que contribuye

"Si tiene alguna idea o parche, ¡no dude en contribuir a OSSE!"

Licencia

Este software tiene licencia bajo la cláusula BSD-2 © Baitinq.