PHP SecurityServicesScraper
1.0.0
PHP-SecurityServiceScraper เป็นหลักฐานของโครงการแนวคิดที่มีจุดมุ่งหมายเพื่อแก้ปัญหาการรวบรวมข้อมูลการรวมศูนย์และปัญหาความสัมพันธ์ที่สามารถเกิดขึ้นได้จากการปรับใช้เครื่องมือรักษาความปลอดภัยจำนวนมากที่ไม่ได้ตั้งใจตลอดสภาพแวดล้อม
แอปพลิเคชันนี้ใช้กรอบ Laravel การรวบรวมข้อมูลจะดำเนินการผ่านคำสั่งช่างฝีมือตามกำหนดเวลา แต่ละคำสั่งนั้นเป็นเว็บตัวรวบรวมข้อมูลเว็บหรือไคลเอนต์ API ขึ้นอยู่กับว่าแอปพลิเคชันเป้าหมายเสนอบริการใด ๆ สำหรับการเข้าถึงข้อมูลหรือไม่
คำสั่งรับรองความถูกต้องไปยังแอปพลิเคชันเป้าหมายและแบบสอบถามสำหรับข้อมูล เมื่อการรวบรวมข้อมูลและการทำให้เป็นมาตรฐานเสร็จสิ้นคำสั่งจัดส่งข้อมูลไปยังอินสแตนซ์ของ Kafka แต่ละคำสั่งส่งข้อมูลไปยังหัวข้อ Kafka หนึ่งหัวข้อขึ้นไปซึ่งไม่ซ้ำกับข้อมูลนั้น ๆ Kafka ทำหน้าที่เป็นคิวเหตุการณ์ให้บริการข้อมูลไปยังผู้บริโภค logstash (logstash-input-kafka) ซึ่งจะเพิ่มข้อมูลไปยังคลัสเตอร์ Elasticsearch
