PHP SecurityServicesScraper

Php-securityservicesscraper

PHP-SecurityServicessCraper adalah bukti proyek konsep yang bertujuan untuk menyelesaikan pengumpulan data, sentralisasi dan masalah korelasi yang dapat terjadi dari menyebarkan banyak, alat keamanan independen di seluruh lingkungan.

Aplikasi ini menggunakan kerangka kerja Laravel. Pengumpulan data dilakukan melalui perintah pengrajin yang dijadwalkan. Setiap perintah pada dasarnya adalah crawler web atau klien API, tergantung pada apakah aplikasi target menawarkan layanan apa pun untuk mengakses datanya.

Perintah mengotentikasi ke aplikasi target dan permintaan data mereka. Ketika pengumpulan data dan normalisasi selesai, perintah mengirimkan data mereka ke instance kafka. Setiap perintah mengirimkan data ke satu atau lebih topik kafka, unik untuk data tertentu. Kafka, bertindak sebagai antrian acara, menyajikan data ke konsumen logstash (logstash-input-kafka) yang kemudian meningkatkan data ke cluster Elasticsearch.