librengine

新版本：https：//github.com/sightnet

該項目將無法維護。

==========

==========

隱私網絡搜索引擎

網站

特徵

爬行者

• 多線程
• 快取
• robots.txt
• 代理人
• 隊列（BFS）
• 檢測跟踪器
• http-> https

網站 / CLI

• 加密（RSA）
• API
• 代理人
• 節點
• 等級

用法（Docker）

請每次運行構建以更改參數。
該站點默認是在端口8080上啟動的，並且使用Tor Proxy（ !!! ）進行編輯，您需要更改config.json和Rebuild網站。
數據庫的API密鑰必須在配置中以及啟動數據庫時（-API-KEY）更改。

DB-請在使用其他

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

爬行者

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

網站

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

用法（手冊）

deps

 cd scripts && sh install_deps.sh

建造

 cd scripts && sh build_all.sh

跑步

默認情況下，該站點是在端口8080上啟動的，並且使用Tor Proxy（ !!! ）進行編輯，您需要更改config.json。
數據庫的API密鑰必須在配置中以及啟動數據庫時（-API-KEY）更改。

DB-請在使用其他

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

爬行者

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

網站

./website ../../config.json
# [config path] 

實例

（ツ） /

托多

• Docker
• 加密（調節）
• 多線程軌道
• 機器人規則（來自標題和HTML）和爬網列
• 響應式網頁設計
• 自己的fts（...）
• 圖像爬行者

依賴性

• libcurl（來源）
• 勒克斯伯（來源）
• typesense（來源）
• OpenSSL（源）

config

./config.json

鏡子

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

執照

GNU AFFERO通用公共許可證v3.0