flow indexer

Indexeur de flux

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

Start

Installer

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

Créer une configuration

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

La configuration de l'indexeur est la suivante:

• Nom - le nom de l'indexeur. Gardez cela court et minuscule, comme vous l'utiliserez comme param de requête HTTP.
• Backend - L'extracteur IP du journal backend à utiliser. Choices: bro, bro_json, nfdump, syslog, pcap et argus.
• File_glob - Le modèle de globe de shell qui devrait correspondre à tous vos fichiers journaux.
• récent_file_glob - Le modèle de globbing Strftime + Shell qui devrait correspondre aux fichiers journaux d'aujourd'hui.
• filename_to_database_regex - Une expression régulière appliquée à chaque nom de fichier utilisé pour extraire les informations utilisées pour nommer la base de données.
• DATABASE_ROOT - où les bases de données seront écrites. Devrait être spécifique à l'indexeur.
• datapath_path - le nom d'une base de données individuelle. Cela peut contenir des variables $ définies dans filename_to_database_regex.

Le facteur décisif sur la façon de partitionner les bases de données est le nombre d'IP uniques que vous voyez par jour. Je suggère de commencer par des indices mensuels. Si les performances d'indexation subissent un énorme coup à la fin du mois, passez aux index quotidiens.

Exécuter l'index initial

La commande indexall élargira File_glob et indexera tout fichier journal qui correspond.

 $ ~/go/bin/flow-indexer indexall

Démarrer le démon

Une fois l'index initial terminé, démarrez le démon. Le démarrage du démon élargira le récent_file_glob et indexer tout fichier journal récemment créé qui correspond.

 $ ~/go/bin/flow-indexer daemon

Il le fera dans une boucle de 60 secondes pour se tenir au courant.

API de requête

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

Configuration de service

Exécution de l'indexer d'écoulement comme service

systemd

Pour exécuter l'indice de flux en tant que service sur un système utilisant SystemD, vous pouvez utiliser le fichier Flow-indexer.service fourni.

parvenu

Si vous prévoyez d'exécuter l'indexer Flow-Indexer en tant que service sur un système qui utilise UpStart, vous voudrez peut-être envisager un fichier de confort comme celui qui suit afin de correctement syslog stdout et stderr à partir de l'indexer Flow-Indexer, et d'exécuter en tant qu'utilisateur non root.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

Problèmes communs

Afin d'éviter too many open files , vous souhaiterez peut-être augmenter le nombre de fichiers ouverts que vous autorisez à l'utilisateur que l'indexer Flow-Indexer a accès à. Cela peut être fait en modifiant votre paramètre nofile dans /etc/security/limits.conf comme indiqué ci-dessous.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

Exemple de commandes de niveau inférieur

Pas vraiment utilisé dans la pratique, le démon est le moyen recommandé d'utiliser l'indexer débit. Mais ces commandes peuvent être utiles pour les tests et le développement.

Flux d'index

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

Flux de réin-index

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

Développer la gamme CIDR

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

Recherche

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz