PHP SecurityServicesScraper

Php-securityservicesscraper

PHP-SecurityServicessCraper est un projet de preuve de concept visant à résoudre les problèmes de collecte, de centralisation et de corrélation des données qui peuvent survenir en déploiement de nombreux outils de sécurité indépendants dans un environnement.

Cette application utilise le cadre Laravel. La collecte de données est effectuée via des commandes artisanales planifiées. Chaque commande est essentiellement un robot robuste ou un client API, selon que l'application cible offre des services pour accéder à ses données.

Les commandes s'authentifient avec leur application cible et leur requête pour les données. Lorsque la collecte et la normalisation des données sont terminées, les commandes expédient leurs données sur une instance de Kafka. Chaque commande envoie des données à un ou plusieurs sujets Kafka, uniques à ces données particulières. Kafka, agissant comme une file d'attente d'événements, sert les données à un consommateur Logstash (Logstash-Input-Kafka) qui augmente ensuite les données à un cluster Elasticsearch.