PHP SecurityServicesScraper

PHP-SecurityServicaScraper

PHP-SecurityServiceSScraper es un proyecto de prueba de concepto destinado a resolver problemas de recopilación de datos, centralización y correlación que pueden ocurrir desde la implementación de numerosas herramientas de seguridad independientes en todo el entorno.

Esta aplicación utiliza el marco de Laravel. La recopilación de datos se realiza a través de comandos artesanales programados. Cada comando es básicamente un rastreador web o un cliente API, dependiendo de si la aplicación de destino ofrece o no algún servicio para acceder a sus datos.

Los comandos se autentican en su aplicación objetivo y consulta los datos. Cuando la recopilación y la normalización de los datos se completan, los comandos envían sus datos a una instancia de Kafka. Cada comando envía datos a uno o más temas de Kafka, exclusivos de esos datos particulares. Kafka, que actúa como una cola de eventos, sirve los datos a un consumidor de Logstash (Logstash-Input-Kafka) que luego eleva los datos a un clúster Elasticsearch.