PHP SecurityServicesScraper

PHP-SECURITYSERVICESSCRAPER

PHP-SecurityServicesscraper는 환경 전체에 걸쳐 수많은 독립적 인 보안 도구를 배포함으로써 발생할 수있는 데이터 수집, 중앙 집중화 및 상관 관계 문제를 해결하기위한 개념 증명 프로젝트입니다.

이 응용 프로그램은 Laravel 프레임 워크를 사용합니다. 데이터 수집은 예정된 장인 명령을 통해 수행됩니다. 각 명령은 기본적으로 대상 응용 프로그램이 데이터에 액세스하기위한 서비스를 제공하는지 여부에 따라 웹 크롤러 또는 API 클라이언트입니다.

명령은 대상 응용 프로그램 및 데이터 쿼리로 인증합니다. 데이터 수집 및 정규화가 완료되면 명령은 데이터를 Kafka 인스턴스로 배송합니다. 각 명령은 해당 특정 데이터에 고유 한 하나 이상의 Kafka 주제로 데이터를 보냅니다. 이벤트 대기열 역할을하는 Kafka는 데이터를 Logstash 소비자 (Logstash-input-Kafka)에게 제공 한 다음 데이터를 Elasticsearch 클러스터로 향상시킵니다.