librengine

Neue Version: https://github.com/ightnet

Dieses Projekt wird nicht aufrechterhalten.

===========

===========

Datenschutz -Web -Suchmaschine

Webseite

Merkmale

Crawler

• Multithreading
• Cache
• Robots.txt
• Proxy
• Warteschlange (BFS)
• Tracker erkennen
• Http -> https

Website / CLI

• Verschlüsselung (RSA)
• API
• Proxy
• Knoten
• Bewertung

Nutzung (Docker)

Bitte führen Sie den Build jedes Mal aus, um die Argumente zu ändern.
Die Site wird standardmäßig auf Port 8080 und mit dem TOR -Proxy ( !!! ) gestartet, um sie zu bearbeiten, müssen Sie die Website config.json und neu aufbauen.
Der API-Schlüssel für die Datenbank muss in der Konfiguration geändert werden und wenn die Datenbank gestartet wird (-API-Key).

DB - Bitte rennen Sie, bevor Sie andere verwenden

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

Crawler

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

Webseite

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

Verwendung (Handbuch)

DEPs

 cd scripts && sh install_deps.sh

Bauen

 cd scripts && sh build_all.sh

Laufen

Die Site wird standardmäßig auf Port 8080 und mit TOR -Proxy ( !!! ) gestartet, um sie zu bearbeiten, müssen Sie config.json ändern.
Der API-Schlüssel für die Datenbank muss in der Konfiguration geändert werden und wenn die Datenbank gestartet wird (-API-Key).

DB - Bitte rennen Sie, bevor Sie andere verwenden

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

Crawler

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

Webseite

./website ../../config.json
# [config path] 

Instanzen

¯ (ツ) /¯

Todo

• Docker
• Verschlüsselung (assymetrisch)
• Multithreading Crawler
• Roboterregeln (aus Header & HTML) und Crawl-Delay
• Responsive Webdesign
• Eigene FTS (...)
• Bilder Crawler

Abhängigkeiten

• libcurl (Quelle)
• Lexbor (Quelle)
• Artense (Quelle)
• OpenSSL (Quelle)

Konfiguration

./config.json

Spiegel

• https://github.com/liameno/lisgine
• https://codeeberg.org/liameno/lisgine

Lizenz

GNU Affero Allgemeine öffentliche Lizenz v3.0