PHP SecurityServicesScraper

php-securityservicesscraper

PHP-SecurityServicesscraperは、環境全体に多数の独立したセキュリティツールを展開することで発生する可能性のあるデータ収集、集中化、および相関の問題を解決することを目的とした概念実証プロジェクトです。

このアプリケーションは、Laravelフレームワークを使用します。データ収集は、スケジュールされた職人コマンドを通じて実行されます。各コマンドは、基本的には、ターゲットアプリケーションがデータにアクセスするためのサービスを提供するかどうかに応じて、基本的にWebクローラーまたはAPIクライアントです。

コマンドは、ターゲットアプリケーションに認証され、データをクエリします。データ収集と正規化が完了すると、コマンドはデータをKafkaのインスタンスに出荷します。各コマンドは、その特定のデータに固有の1つ以上のKafkaトピックにデータを送信します。イベントキューとして機能するKafkaは、データをLogstash Consumer（Logstash-Input-Kafka）に提供し、その後、データをElasticSearchクラスターに上げます。