flow indexer

Indexador de flujo

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

Inicio rápido

Instalar

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

Crear configuración

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

La configuración del indexador es la siguiente:

• Nombre: el nombre del indexador. Mantenga esto corto y en minúsculas, ya que lo usará como un parámetro de consulta HTTP.
• Backend: el extractor de IP de registro de backend para usar. Opciones: Bro, Bro_Json, Nfdump, Syslog, PCAP y Argus.
• FILE_GLOB: el patrón de globos de shell que debería coincidir con todos sus archivos de registro.
• reciente_file_glob: el patrón Strftime+Shell Globbing que debería coincidir con los archivos de registro de hoy.
• FileName_to_database_regex: una expresión regular aplicada a cada nombre de archivo utilizado para extraer información utilizada para nombrar la base de datos.
• database_root: donde se escribirán las bases de datos. Debe ser específico del indexador.
• DataPath_Path: el nombre de una base de datos individual. Esto puede contener $ Variables establecidas en FileName_to_database_regex.

El factor decisivo sobre cómo dividir las bases de datos es cuántas IPs únicas ves por día. Sugiero comenzar con índices mensuales. Si el rendimiento de la indexación recibe un gran éxito para fin de mes, cambie a índices diarios.

Ejecutar índice inicial

El comando indexall expandirá file_glob e indexará cualquier archivo de registro que coincida.

 $ ~/go/bin/flow-indexer indexall

Inicio Daemon

Una vez que se completa el índice inicial, inicie el demonio. Comenzar el demonio expandirá reciente_file_glob e indexará cualquier archivo de registro recientemente creado que coincida.

 $ ~/go/bin/flow-indexer daemon

Hará esto en un bucle de 60 segundos para mantenerse actualizado.

API de consulta

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

Configuración de servicio

Ejecutar el índice de flujo como servicio

system

Para ejecutar Flow-Indexer como un servicio en un sistema que usa SystemD, puede usar el archivo de Flow-Indexer.service provisto.

advenedizo

Si planea ejecutar el índice de flujo como un servicio en un sistema que usa hacia arriba, es posible que desee considerar un archivo conf como lo siguiente para que sean correctamente syslog stdout y stderr desde el índice de flujo, y ejecutar como un usuario no raíz.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

Problemas comunes

Para evitar too many open files , es posible que desee aumentar la cantidad de archivos abiertos que permite al usuario que se ejecuta el índice de flujo para tener acceso. Esto se puede hacer cambiando su configuración nofile en /etc/security/limits.conf como se muestra a continuación.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

Ejemplo de comandos de nivel inferior

Ya no se usa realmente en la práctica, el demonio es la forma recomendada de usar el índice de flujo. Pero estos comandos pueden ser útiles para las pruebas y el desarrollo.

Flujos de índice

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

Flujos de reintegración

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

Expandir el rango CIDR

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

Buscar

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz