flow indexer

Flow Indexer

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

QuickStart

Installieren

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

Konfiguration erstellen

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

Die Indexer -Konfiguration lautet wie folgt:

• Name - Der Name des Indexers. Halten Sie diesen kurzen und Kleinbuchstaben, da Sie ihn als HTTP -Abfrageparam verwenden.
• Backend - Der zu verwendende Backend -Protokoll -IP -Extraktor. Auswahl: Bro, Bro_Json, NFDump, Syslog, PCAP und Argus.
• Datei_Glob - Das Shell -Globbing -Muster, das alle Ihre Protokolldateien übereinstimmt.
• LETZTE_FILE_GLOB - Das Strftime+Shell -Globbing -Muster, das heutigen Protokolldateien übereinstimmt.
• Dateiname_TO_DATABASE_REGEX - Ein regulärer Ausdruck, der auf jeden Dateinamen angewendet wird, mit dem Informationen zum Namen der Datenbank verwendet werden.
• Database_root - wobei Datenbanken auf geschrieben werden. Sollte indexerspezifisch sein.
• Datapath_Path - Der Name einer einzelnen Datenbank. Dies kann $ Variablen enthalten, die in Dateiname_TO_DATABASE_REGEX festgelegt sind.

Der entscheidende Faktor für die Aufteilung der Datenbanken ist, wie viele einzigartige IPs Sie pro Tag sehen. Ich schlage vor, mit monatlichen Indizes zu beginnen. Wenn die Indexierungsleistung bis zum Ende des Monats einen riesigen Treffer erzielt, wechseln Sie zu den täglichen Indizes.

Führen Sie den ersten Index aus

Der Befehl indexall erweitert Datei_Glob und indexieren Sie jede Protokolldatei, die übereinstimmt.

 $ ~/go/bin/flow-indexer indexall

Start Dämon

Sobald der erste Index abgeschlossen ist, starten Sie den Daemon. Das Starten des Dämones erweitert die kürzlich erstellten Protokolldatei, die übereinstimmt, die neuere Protokolldatei.

 $ ~/go/bin/flow-indexer daemon

Es wird dies in einer 60 -Sekunden -Schleife tun, um sich auf dem neuesten Stand zu halten.

Abfrage -API

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

Servicekonfiguration

Flow-Indexer als Dienst leiten

systemd

Um Flow-Indexer als Dienst auf einem System mit systemd auszuführen, können Sie die bereitgestellte Flow-Indexer.Service-Datei verwenden.

Emporkömmling

Wenn Sie planen, Flow-Indexer als Dienst in einem System auszuführen, das UPStart verwendet, sollten Sie eine Conf-Datei wie die folgende in Betracht ziehen, um StDout und Stderr von Flow-Indexer ordnungsgemäß zu systemieren und als Nicht-Wurzel-Benutzer auszuführen.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

Häufige Probleme

Um too many open files zu vermeiden, möchten Sie möglicherweise die Anzahl der geöffneten Dateien erhöhen, von denen Sie dem Benutzer, dass der Fluss-Indexer ausgeführt wird, zugreifen, um Zugriff zu haben. Dies kann durchgeführt werden, indem Ihre nofile -Einstellung in /etc/security/limits.conf geändert wird, wie unten gezeigt.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

Beispiele für untere Ebene

Der Daemon ist in der Praxis nicht mehr wirklich verwendet, und ist die empfohlene Art, Flow-Indexer zu verwenden. Diese Befehle können jedoch zum Testen und Entwicklung nützlich sein.

Indexströme

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

Neuindex fließt

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

Erweitern Sie den CIDR -Bereich

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

Suchen

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz