flow indexer

Indexador de fluxo

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

Investir rápido

Instalar

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

Crie configuração

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

A configuração do indexador é a seguinte:

• Nome - o nome do indexador. Mantenha isso curto e minúsculo, pois você o usará como um parâmetro de consulta HTTP.
• Back -end - o extrator IP do log de back -end para usar. Escolhas: Bro, Bro_json, Nfdump, Syslog, PCAP e Argus.
• File_glob - O padrão de globbing do Shell que deve corresponder a todos os seus arquivos de log.
• Recent_File_Glob - O padrão de globbing strftime+Shell que deve corresponder a arquivos de log de hoje.
• filename_to_database_regex - Uma expressão regular aplicada a cada nome de arquivo usado para extrair informações usadas para nomear o banco de dados.
• Database_root - onde os bancos de dados serão gravados. Deve ser específico do indexador.
• Datapath_Path - o nome de um banco de dados individual. Isso pode conter $ variáveis ​​definidas em filename_to_database_regex.

O fator decisivo de como particionar os bancos de dados é quantos IPs exclusivos você vê por dia. Eu sugiro começar com índices mensais. Se o desempenho da indexação for um enorme sucesso até o final do mês, mude para os índices diários.

Execute o índice inicial

O comando indexall expandirá o FILE_GLOB e indexará qualquer arquivo de log que corresponda.

 $ ~/go/bin/flow-indexer indexall

Inicie o daemon

Quando o índice inicial estiver concluído, inicie o daemon. Iniciando o daemon expandirá Recent_File_Glob e indexará qualquer arquivo de log criado recentemente que corresponda.

 $ ~/go/bin/flow-indexer daemon

Ele fará isso em um loop de 60 segundos para se manter atualizado.

API de consulta

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

Configuração do serviço

Executando o Indexer de Fluxo como um serviço

Systemd

Para executar o Indexer de Fluxo como um serviço em um sistema usando o SystemD, você pode usar o arquivo fornecido de fluxo-indexer.service.

Upstart

Se você planeja executar o Indexer de Flow como um serviço em um sistema que usa o Upstart, considere um arquivo conf como o seguinte para que o syslog stdout e o stderr do Indexer de Flow-Indexer e seja executado como um usuário sem raios.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

Questões comuns

Para evitar too many open files , você pode aumentar o número de arquivos abertos que você permite ao usuário que o Indexer de Fluxo executa para ter acesso. Isso pode ser feito alterando sua configuração nofile em /etc/security/limits.conf , como mostrado abaixo.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

Exemplo de comandos de nível inferior

Não é mais usado na prática, o daemon é a maneira recomendada de usar o índice de fluxo. Mas esses comandos podem ser úteis para testes e desenvolvimento.

Fluxos de índice

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

REINDEX FLUXOS

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

Expanda a faixa Cidr

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

Procurar

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz