หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เครื่องมือค้นหา nexvision

คุณสมบัติ

  • รวบรวมข้อมูล Darknet ที่กำลังมองหาบริการที่ซ่อนอยู่ใหม่
  • ค้นหาบริการที่ซ่อนอยู่จากแหล่งข้อมูลสุทธิที่ชัดเจนจำนวนหนึ่ง
  • การสนับสนุน Elasticsearch แบบเต็มข้อความเสริม
  • ทำเครื่องหมายไซต์โคลนของรายการ /r /darknet super super
  • ค้นหาลายนิ้วมือ SSH ในบริการที่ซ่อนอยู่
  • ค้นหาที่อยู่อีเมลในบริการที่ซ่อนอยู่
  • ค้นหาที่อยู่ Bitcoin ในบริการที่ซ่อนอยู่
  • แสดงลิงก์ที่เข้ามา / ขาออกไปยังโดเมนหัวหอม
  • สถานะบริการที่มีชีวิตอยู่/ตายที่ทันสมัย
  • นักพอร์ตสแกนเนอร์
  • ค้นหาเส้นทาง URL "น่าสนใจ", การตรวจจับ 404 ที่มีประโยชน์
  • การตรวจจับภาษาอัตโนมัติ
  • การตรวจจับโคลนแบบฟัซซี่ (ต้องใช้ Elasticsearch ขั้นสูงกว่าการตรวจจับโคลนรายการซุปเปอร์)

ส่วนประกอบ

Elasticsearch

คลัสเตอร์ Elasticsearch ประกอบด้วยอินสแตนซ์ Elasticsearch 2 ตัวอย่างสำหรับ HA และ Load Balancing ข้อมูลหน้าเว็บที่ถูกทิ้งจะถูกจัดเก็บและค้นหา

ชาวกะโหลกศีรษะ

มันทำงานบนพอร์ต 5601 และสามารถใช้เพื่อตรวจสอบข้อมูลใน Elasticsearch

เว็บ-ทั่วไป

เว็บอินเตอร์เฟสสำหรับเครื่องมือค้นหาโดเมน มันทำงานบนพอร์ต 7000

mysql

มันเก็บโดเมน, URL หน้า, ที่อยู่ Bitcoin ฯลฯ

พร็อกซี

ใช้ในการเข้าถึงหน้าหัวหอม มีการปรับใช้คอนเทนเนอร์พร็อกซี 10 ตัวและใช้ Haproxy เพื่อแจกจ่ายปริมาณการใช้งาน

มีดโกน

มันได้รับรายการโดเมนจาก MySQL DB, หน้าเก็บเกี่ยวและโดเมนใหม่จากโดเมนหัวหอมผ่านพร็อกซี TOR และเก็บข้อมูลโดเมนและหน้าใน Elasticsearch และ MySQL ขึ้นอยู่กับเฟรมเวิร์ก Scrapy Python

การติดตั้ง

โคลนโครงการและสร้างภาพนักเทียบท่าที่เกี่ยวข้องกับนักเทียบท่า 

 docker-compose build
docker-compose up -d

สร้างและเรียกใช้มีดโกน 

 docker build --tag scraper_crawler ./

เรียกใช้มีดโกน 

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

หลังจากการปรับใช้ครั้งแรกต้องเริ่มต้นดัชนีใน Elasticsearch 

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

นำเข้ารายการโดเมนเริ่มต้น 

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด