PHP SecurityServicesScraper
1.0.0
PHP-SecurityservicesCraper ist ein Proof of Concept Project, das darauf abzielt, Datenerfassung, Zentralisierung und Korrelationsprobleme zu lösen, die aus der Bereitstellung zahlreicher, unabhängiger Sicherheitsinstrumente in einer Umgebung auftreten können.
Diese Anwendung verwendet das Laravel -Framework. Die Datenerfassung wird durch geplante Handwerksbefehle durchgeführt. Jeder Befehl ist im Grunde entweder ein Webcrawler oder ein API -Client, je nachdem, ob die Zielanwendung Dienste für den Zugriff auf ihre Daten anbietet oder nicht.
Die Befehle authentifizieren sich für ihre Zielanwendung und Abfrage nach Daten. Wenn die Datenerfassung und -normalisierung abgeschlossen ist, versenden die Befehle ihre Daten an eine Instanz von Kafka. Jeder Befehl sendet Daten an ein oder mehrere Kafka -Themen, die für diese bestimmten Daten eindeutig sind. Kafka, die als Ereigniswarteschlange fungiert, bedient die Daten einem Logstash-Verbraucher (Logstash-Input-Kafka), der die Daten dann an einen Elasticsearch-Cluster erhöht.
