PHP SecurityServicesScraper

PHP-SecurityServicesscraper

PHP-SecurityServicesscraper-это доказательство концептуального проекта, направленного на решение вопросов сбора данных, централизации и корреляции, которые могут возникнуть в результате развертывания многочисленных, независимых инструментов безопасности в окружающей среде.

Это приложение использует структуру Laravel. Сбор данных выполняется с помощью запланированных команд Artisan. Каждая команда в основном является либо веб -гусеницей, либо клиентом API, в зависимости от того, предлагает ли целевое приложение какие -либо услуги для доступа к его данных.

Команды аутентифицируют их целевое приложение и запрос данных. Когда сбор данных и нормализация завершают, команды отправляют свои данные в экземпляр Kafka. Каждая команда отправляет данные на одну или несколько тем Kafka, уникальные для этих конкретных данных. Кафка, действуя в качестве очереди событий, обслуживает данные потребителю logstash (logstash-input-kafka), который затем поднимает данные в кластер Elasticsearch.