librengine

Nova versão: https://github.com/sightnet

Este projeto não será mantido.

==========

==========

Mecanismo de pesquisa na web de privacidade

Site

Características

Rastreador

• Multithreading
• Cache
• Robots.txt
• Proxy
• Fila (BFS)
• Detectar rastreadores
• Http -> https

Site / CLI

• Criptografia (RSA)
• API
• Proxy
• Nós
• Avaliação

Uso (Docker)

Por favor, execute a construção sempre para alterar os argumentos.
O site é lançado por padrão na porta 8080 e com o Tor Proxy ( !!! ), para editá -lo, você precisa alterar o site Config.json e reconstrução.
A chave da API para o banco de dados deve ser alterada na configuração e quando o banco de dados é iniciado (-API-KEY).

DB - Por favor, corra antes de usar outros

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

Rastreador

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

Site

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

Uso (manual)

Deps

 cd scripts && sh install_deps.sh

Construir

 cd scripts && sh build_all.sh

Correr

O site é lançado por padrão na porta 8080 e com o proxy do Tor ( !!! ), para editá -lo, você precisa alterar o config.json.
A chave da API para o banco de dados deve ser alterada na configuração e quando o banco de dados é iniciado (-API-KEY).

DB - Por favor, corra antes de usar outros

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

Rastreador

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

Site

./website ../../config.json
# [config path] 

Instâncias

¯ (ツ) /¯

PENDÊNCIA

• Docker
• Criptografia (Assimétrica)
• Rastreador multithreading
• Regras de robôs (de cabeçalhos e html) e rastejamento
• Web design responsivo
• Próprio fts (...)
• Imagens rastreador

Dependências

• libcurl (fonte)
• Lexbor (fonte)
• TieSens (fonte)
• OpenSSL (fonte)

Config

./config.json

Espelhos

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

Licença

GNU Affero Licença pública geral v3.0