librengine

Nueva versión: https://github.com/sightnet

Este proyecto no se mantendrá.

==========

==========

Motor de búsqueda web de privacidad

Sitio web

Características

Tractor

• Múltiples lectura
• Cache
• Robots.txt
• Apoderado
• Cola (BFS)
• Detectar rastreadores
• Http -> https

Sitio web / CLI

• Cifrado (RSA)
• API
• Apoderado
• Nodos
• Clasificación

Uso (Docker)

Ejecute la compilación cada vez para cambiar los argumentos.
El sitio se inicia de forma predeterminada en el puerto 8080 y con Tor proxy ( !!! ), para editarlo, debe cambiar config.json y reconstruir el sitio web.
La clave API para la base de datos debe cambiarse en la configuración y cuando se inicia la base de datos (-API-Key).

DB: ejecute antes de usar otros

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

Tractor

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

Sitio web

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

Uso (manual)

Deps

 cd scripts && sh install_deps.sh

Construir

 cd scripts && sh build_all.sh

Correr

El sitio se inicia de forma predeterminada en el puerto 8080 y con Tor proxy ( !!! ), para editarlo, debe cambiar config.json.
La clave API para la base de datos debe cambiarse en la configuración y cuando se inicia la base de datos (-API-Key).

DB: ejecute antes de usar otros

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

Tractor

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

Sitio web

./website ../../config.json
# [config path] 

Instancias

¯ (ツ) /¯

HACER

• Estibador
• Cifrado (asimétrico)
• Rastreador múltiple
• Reglas de robots (de Headers & HTML) y Crawl-Delay
• Diseño web receptivo
• Propios fts (...)
• Rastreador de imágenes

Dependencias

• libcurl (fuente)
• Lexbor (fuente)
• Typesense (fuente)
• OpenSSL (fuente)

Configuración

./config.json

Espejos

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

Licencia

GNU Affero General Public License v3.0