flow indexer

Индексера потока

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

QuickStart

Установить

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

Создать конфигурацию

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

Конфигурация индексера выглядит следующим образом:

• Имя - Имя индексера. Держите этот короткий и строчный, так как вы будете использовать его в качестве параметра HTTP -запроса.
• Бэкэнд - бэкэнд журнал IP -экстрактора для использования. Выбор: Bro, Bro_JSON, NFDUMP, SYSLOG, PCAP и ARGUS.
• file_glob - шаблон глобального оболочки, который должен соответствовать всем вашим файлам журнала.
• Недавно_FILE_GLOB - шаблон Globing Shell+Shell, который должен соответствовать сегодняшним файлам журналов.
• FILENAME_TO_DATABASE_REGEX - Регулярное выражение, применяемое к каждому имени файла, используемое для извлечения информации, используемой для названия базы данных.
• DATABASE_ROOT - Где будут записаны базы данных. Должен быть специфичным для индексера.
• DATAPATH_PATH - Имя отдельной базы данных. Это может содержать $ переменные, установленные в файле файла_TO_DATABASE_REGEX.

Решающим фактором того, как разделить базы данных, является то, сколько уникальных IP вы видите в день. Я предлагаю начать с ежемесячных индексов. Если к концу месяца производительность индексации получит огромный удар, переключитесь на ежедневные индексы.

Запустите начальный индекс

Команда indexall будет расширять file_glob и индексировать любой файл журнала, который соответствует.

 $ ~/go/bin/flow-indexer indexall

Начните демон

Как только начальный индекс завершен, запустите демон. Запуск Daemon будет расширять недавний_file_glob и индекс любой недавно созданный файл журнала, который соответствует.

 $ ~/go/bin/flow-indexer daemon

Он сделает это в 60 -секундном цикле, чтобы держать себя в курсе.

Query API

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

Конфигурация службы

Запуск потока индексера как услуга

система

Чтобы запустить индексер Flow в качестве службы в системе с использованием SystemD, вы можете использовать предоставленный файл Flow-Indexer.Service.

выскочка

Если вы планируете запустить индексер Flow в качестве услуги в системе, которая использует Upstart, вы можете рассмотреть файл CONF, подобный следующему, чтобы правильно системно-системный stdout и stderr от потока-индексер и запустить в качестве пользователя без корня.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

Общие проблемы

Чтобы избежать too many open files , вы можете увеличить количество открытых файлов, которые вы позволяете пользователю, к которому работает индексер, чтобы иметь доступ. Это может быть сделано, изменив настройку nofile в /etc/security/limits.conf , как показано ниже.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

Пример команд более низкого уровня

На практике больше не используется, демон-рекомендуемый способ использовать индексер. Но эти команды могут быть полезны для тестирования и разработки.

Индексные потоки

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

Реиндекс течет

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

Расширить диапазон CIDR

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

Поиск

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz