PHP SecurityServicesScraper

PHP-SecurityServicessCraper

PHP-SecurityServicessCraper é uma prova de projeto conceitual destinado a resolver problemas de coleta de dados, centralização e correlação que podem ocorrer ao implantar inúmeras ferramentas de segurança independentes em um ambiente.

Este aplicativo usa a estrutura do Laravel. A coleta de dados é realizada através de comandos artesanais programados. Cada comando é basicamente um rastreador da web ou um cliente da API, dependendo se o aplicativo de destino oferece ou não serviços para acessar seus dados.

Os comandos se autenticam ao seu aplicativo e consulta de destino para dados. Quando a coleta e a normalização dos dados são concluídas, os comandos enviam seus dados para uma instância de Kafka. Cada comando envia dados para um ou mais tópicos de Kafka, exclusivos para esses dados específicos. Kafka, atuando como uma fila de eventos, serve os dados a um consumidor de logstash (Logstash-Input-Kafka) que depois aprimora os dados para um cluster Elasticsearch.