หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เวอร์ชันใหม่: https://github.com/sightnet

โครงการนี้จะไม่ได้รับการดูแล

-

-



เครื่องมือค้นหาเว็บส่วนตัว

เว็บไซต์

คุณสมบัติ

คนรวบรวมข้อมูล

  • มัลติเธรด
  • แคช
  • Robots.txt
  • พร็อกซี
  • คิว (BFS)
  • ตรวจจับตัวติดตาม
  • http -> https

เว็บไซต์ / CLI

  • การเข้ารหัส (RSA)
  • API
  • พร็อกซี
  • โหนด
  • การให้คะแนน

การใช้งาน (นักเทียบท่า)

โปรดเรียกใช้งานสร้างทุกครั้งเพื่อเปลี่ยนข้อโต้แย้ง
เว็บไซต์นี้เปิดตัวโดยค่าเริ่มต้นบนพอร์ต 8080 และด้วย Tor Proxy ( !!! ) ในการแก้ไขคุณต้องเปลี่ยน config.json และสร้างเว็บไซต์ใหม่
คีย์ API สำหรับฐานข้อมูลจะต้องเปลี่ยนในการกำหนดค่าและเมื่อเริ่มต้นฐานข้อมูล (-API-KEY)

DB - โปรดทำงานก่อนใช้งานอื่น ๆ 

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

คนรวบรวมข้อมูล 

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

เว็บไซต์ 

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

การใช้งาน (คู่มือ)

Deps 

 cd scripts && sh install_deps.sh

สร้าง 

 cd scripts && sh build_all.sh

วิ่ง

ไซต์ถูกเปิดตัวโดยค่าเริ่มต้นบนพอร์ต 8080 และด้วย Tor Proxy ( !!! ) ในการแก้ไขคุณต้องเปลี่ยน config.json
คีย์ API สำหรับฐานข้อมูลจะต้องเปลี่ยนในการกำหนดค่าและเมื่อเริ่มต้นฐานข้อมูล (-API-KEY)

DB - โปรดทำงานก่อนใช้งานอื่น ๆ 

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

คนรวบรวมข้อมูล 

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path]

เว็บไซต์ 

./website ../../config.json
# [config path]

อินสแตนซ์

¯ (ツ) /¯

สิ่งที่ต้องทำ

  • นักเทียบท่า
  • การเข้ารหัส (assymetric)
  • คลานมัลติเธรด
  • กฎของหุ่นยนต์ (จากส่วนหัว & html) และการรวบรวมข้อมูลล่าช้า
  • การออกแบบเว็บตอบสนอง
  • FTS ของตัวเอง (... )
  • ภาพตัวรวบรวมข้อมูล

การพึ่งพาอาศัยกัน

  • libcurl (แหล่งที่มา)
  • Lexbor (แหล่งที่มา)
  • typesense (แหล่งที่มา)
  • openssl (แหล่งที่มา)

การกำหนดค่า

./config.json

กระจก

  • https://github.com/liameno/librengine
  • https://codeberg.org/liameno/librengine

ใบอนุญาต

GNU Affero ทั่วไปใบอนุญาตสาธารณะ v3.0

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด