librengine

新版本：https：//github.com/sightnet

该项目将无法维护。

==========

==========

隐私网络搜索引擎

网站

特征

爬行者

• 多线程
• 缓存
• robots.txt
• 代理人
• 队列（BFS）
• 检测跟踪器
• http-> https

网站 / CLI

• 加密（RSA）
• API
• 代理人
• 节点
• 等级

用法（Docker）

请每次运行构建以更改参数。
该站点默认是在端口8080上启动的，并且使用Tor Proxy（ !!! ）进行编辑，您需要更改config.json和Rebuild网站。
数据库的API密钥必须在配置中以及启动数据库时（-API-KEY）更改。

DB-请在使用其他

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

爬行者

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

网站

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

用法（手册）

deps

 cd scripts && sh install_deps.sh

建造

 cd scripts && sh build_all.sh

跑步

默认情况下，该站点是在端口8080上启动的，并且使用Tor Proxy（ !!! ）进行编辑，您需要更改config.json。
数据库的API密钥必须在配置中以及启动数据库时（-API-KEY）更改。

DB-请在使用其他

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

爬行者

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

网站

./website ../../config.json
# [config path] 

实例

（ツ） /

托多

• Docker
• 加密（调节）
• 多线程轨道
• 机器人规则（来自标题和HTML）和爬网列
• 响应式网页设计
• 自己的fts（...）
• 图像爬行者

依赖性

• libcurl（来源）
• 勒克斯伯（来源）
• typesense（来源）
• OpenSSL（源）

config

./config.json

镜子

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

执照

GNU AFFERO通用公共许可证v3.0