librengine

Versi baru: https://github.com/sightnet

Proyek ini tidak akan dipertahankan.

==========

==========

Mesin pencari web privasi

Situs web

Fitur

Crawler

• Multithreading
• Cache
• Robots.txt
• Proxy
• Antrian (BFS)
• Mendeteksi pelacak
• Http -> https

Situs web / CLI

• Enkripsi (RSA)
• API
• Proxy
• Node
• Peringkat

Penggunaan (Docker)

Harap jalankan build setiap kali untuk mengubah argumen.
Situs ini diluncurkan secara default di port 8080 dan dengan Tor Proxy ( !!! ), untuk mengeditnya Anda perlu mengubah situs web config.json dan membangun kembali.
Kunci API untuk database harus diubah di konfigurasi dan ketika database dimulai (-API-Key).

DB - Harap jalankan sebelum menggunakan yang lain

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

Crawler

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

Situs web

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

Penggunaan (manual)

Deps

 cd scripts && sh install_deps.sh

Membangun

 cd scripts && sh build_all.sh

Berlari

Situs ini diluncurkan secara default di port 8080 dan dengan Tor Proxy ( !!! ), untuk mengeditnya Anda perlu mengubah config.json.
Kunci API untuk database harus diubah di konfigurasi dan ketika database dimulai (-API-Key).

DB - Harap jalankan sebelum menggunakan yang lain

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

Crawler

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

Situs web

./website ../../config.json
# [config path] 

Instance

¯ (ツ) /¯

Todo

• Buruh pelabuhan
• Enkripsi (assimetris)
• Crawler multithreading
• Aturan robot (dari header & html) & crawl-delay
• Desain Web Responsif
• Memiliki fts (...)
• Crawler gambar

Dependensi

• libcurl (sumber)
• Lexbor (Sumber)
• typesense (sumber)
• openssl (sumber)

Konfigurasi

./config.json

Cermin

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

Lisensi

Lisensi Publik Umum GNU Affero v3.0