librengine

새 버전 : https://github.com/sightnet

이 프로젝트는 유지되지 않습니다.

===========

===========

개인 정보 보호 웹 검색 엔진

웹 사이트

특징

무한 궤도

• 멀티 스레딩
• 은닉처
• robots.txt
• 대리
• 대기열 (BFS)
• 추적기를 감지합니다
• http-> https

웹 사이트 / CLI

• 암호화 (RSA)
• API
• 대리
• 노드
• 평가

사용법 (Docker)

인수를 변경하기 위해 매번 빌드를 실행하십시오.
이 사이트는 포트 8080 및 TOR Proxy ( !!! )에서 기본적으로 시작하여 편집하려면 config.json을 변경하고 웹 사이트를 재건해야합니다.
데이터베이스의 API 키는 구성과 데이터베이스가 시작된 시점에서 변경되어야합니다 (-API-Key).

DB- 다른 사람을 사용하기 전에 실행하십시오

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

무한 궤도

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

웹 사이트

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

사용법 (설명서)

deps

 cd scripts && sh install_deps.sh

짓다

 cd scripts && sh build_all.sh

달리다

이 사이트는 포트 8080 및 Tor Proxy ( !!! )에서 기본적으로 시작하여 편집하려면 config.json을 변경해야합니다.
데이터베이스의 API 키는 구성과 데이터베이스가 시작된 시점에서 변경되어야합니다 (-API-Key).

DB- 다른 사람을 사용하기 전에 실행하십시오

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

무한 궤도

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path] 

웹 사이트

./website ../../config.json
# [config path] 

인스턴스

¯ (() /¯

TODO

• 도커
• 암호화 (암살)
• 멀티 스레딩 크롤러
• 로봇 규칙 (헤더 및 HTML) 및 크롤링 델리
• 반응 형 웹 디자인
• 자신의 fts (...)
• 이미지 크롤러

의존성

• libcurl (출처)
• Lexbor (출처)
• Typeense (소스)
• OpenSSL (소스)

구성

./config.json

거울

• https://github.com/liameno/librengine
• https://codeberg.org/liameno/librengine

특허

GNU Affero 일반 공개 라이센스 v3.0