librengine

Nouvelle version: https://github.com/sightnet

Ce projet ne sera pas maintenu.

==========

==========

Moteur de recherche Web de confidentialité

Site web

Caractéristiques

Nabiller

• Multithreading
• Cache
• Robots.txt
• Procuration
• File d'attente (BFS)
• Détecter les trackers
• Http -> https

Site Web / CLI

• Cryptage (RSA)
• API
• Procuration
• Nœuds
• Notation

Utilisation (Docker)

Veuillez exécuter la construction à chaque fois pour modifier les arguments.
Le site est lancé par défaut sur le port 8080 et avec Tor Proxy ( !!! ), pour le modifier, vous devez modifier le site Web config.json et reconstruire.
La clé API de la base de données doit être modifiée dans la configuration et lorsque la base de données est démarrée (- API-Key).

DB - Veuillez courir avant d'utiliser d'autres

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

Nabiller

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

Site web

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

Utilisation (manuel)

Dépassement

 cd scripts && sh install_deps.sh

Construire

 cd scripts && sh build_all.sh

Courir

Le site est lancé par défaut sur le port 8080 et avec Tor Proxy ( !!! ), pour le modifier, vous devez modifier config.json.
La clé API de la base de données doit être modifiée dans la configuration et lorsque la base de données est démarrée (- API-Key).

DB - Veuillez courir avant d'utiliser d'autres

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

Nabiller

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

Site web

./website ../../config.json
# [config path] 

Instances

¯ (ツ) / ¯

FAIRE

• Docker
• Cryptage (assymétrique)
• Crawler multithreading
• Règles de robots (des en-têtes et HTML) et rampe-dislay
• Conception Web réactive
• Propre FTS (...)
• Images Crawler

Dépendances

• libcurl (source)
• Lexbor (source)
• TypeSense (source)
• OpenSSL (source)

Configurer

./config.json

Miroir

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

Licence

Licence publique générale de GNU Affero v3.0