flow indexer

유량 인덱서

 flow-indexer indexes flows

Usage: 
  flow-indexer [command]

Available Commands: 
  compact     Compact the database
  daemon      Start daemon
  expandcidr  Expand a CIDR range from those seen in the database
  index       Index flows
  search      Search flows
  help        Help about any command

Flags:
      --dbpath="flows.db": Database path
  -h, --help[=false]: help for flow-indexer


Use "flow-indexer [command] --help" for more information about a command.

QuickStart

설치하다

 $ export GOPATH=~/go
$ go get github.com/JustinAzoff/flow-indexer

구성을 만듭니다

 $ cp ~/go/src/github.com/JustinAzoff/flow-indexer/example_config.json config.json
$ vi config.json # Adjust log paths and database paths.

인덱서 구성은 다음과 같습니다.

• 이름 - 인덱서 이름. HTTP Query Param으로 사용 하므로이 짧고 소문자를 유지하십시오.
• 백엔드 - 사용할 백엔드 로그 IP 추출기. 선택 : Bro, Bro_json, Nfdump, Syslog, PCAP 및 Argus.
• file_glob- 모든 로그 파일과 일치 해야하는 쉘 글로브 패턴.
• 최근_file_glob- 오늘의 로그 파일과 일치 해야하는 스트프 프리 타임+쉘 글로브 패턴.
• filename_to_database_regex- 데이터베이스의 이름을 지정하는 데 사용되는 정보를 추출하는 데 사용되는 각 파일 이름에 적용되는 정규 표현식.
• Database_ROOT- 데이터베이스가 작성 될 위치. 인덱서 별이어야합니다.
• Datapath_Path- 개별 데이터베이스의 이름. 여기에는 filename_to_database_regex에 설정된 $ 변수가 포함될 수 있습니다.

데이터베이스를 분할하는 방법에 대한 결정 요소는 하루에 얼마나 많은 고유 한 IP를 보는지입니다. 월별 색인으로 시작하는 것이 좋습니다. 인덱싱 성능이 달 말까지 큰 타격을 받으면 매일 인덱스로 전환하십시오.

초기 인덱스를 실행하십시오

indexall 명령은 file_glob을 확장하고 일치하는 모든 로그 파일을 인덱싱합니다.

 $ ~/go/bin/flow-indexer indexall

데몬을 시작하십시오

초기 인덱스가 완료되면 데몬을 시작하십시오. 데몬을 시작하면 최근 _file_glob을 확장하고 최근에 생성 된 로그 파일을 색인화합니다.

 $ ~/go/bin/flow-indexer daemon

최신 상태를 유지하기 위해 60 초 루프 로이 작업을 수행합니다.

쿼리 API

 $ curl -s 'localhost:8080/search?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/dump?i=conn&q=1.2.3.0/24'
$ curl -s 'localhost:8080/stats?i=conn&q=1.2.3.0/24'

서비스 구성

서비스로 흐름 인덱서를 실행합니다

시스템

SystemD를 사용하는 시스템에서 Flow-Indexer를 서비스로 실행하려면 제공된 Flow-Indexer.Service 파일을 사용할 수 있습니다.

갑자기 나타나다

Flow-Indexer를 시작을 사용하는 시스템에서 Flow-Indexer를 서비스로 실행하려는 경우 Flow-Indexer에서 Syslog STDOUT 및 STDERR을 올바르게하기 위해 다음과 같은 CONF 파일을 고려하고 뿌리가 아닌 사용자로 실행할 수 있습니다.

 # flow-indexer - Flow Indexer
#
# flow-indexer is a service that indexes and allows retrieval of flows using bro logs

description     "Flow Indexer Daemon"

start on runlevel [345]
stop on runlevel [!345]

setuid flowindexer
setgid flowindexer

exec /path/to/bin/flow-indexer daemon --config /path/to/flow-indexer/config.json 2>&1 | logger -t flow-indexer

일반적인 문제

too many open files 오류 오류를 피하기 위해 Flow-Indexer가 실행하는 사용자가 액세스 할 수있는 열린 파일 수를 늘릴 수 있습니다. 이것은 아래와 같이 /etc/security/limits.conf 에서 nofile 설정을 변경하여 수행 할 수 있습니다.

 flowindexer soft nofile 65535
flowindexer hard nofile 65535

낮은 레벨 명령 예제

실제로 실제로 사용되지 않는 데몬은 Flow-Indexer를 사용하는 권장 방법입니다. 그러나 이러한 명령은 테스트 및 개발에 유용 할 수 있습니다.

색인 흐름

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Read 4260 lines in 24.392765ms
2016/02/06 23:36:51 /tmp/f/conn.00:00:00-01:00:00.log.gz: Wrote 281 unique ips in 2.215219ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Read 4376 lines in 24.186168ms
2016/02/06 23:36:51 /tmp/f/conn.01:00:00-02:00:00.log.gz: Wrote 310 unique ips in 1.495277ms
[...]
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Read 7799 lines in 18.350788ms
2016/02/06 23:36:51 /tmp/f/conn.22:00:00-23:00:00.log.gz: Wrote 775 unique ips in 5.155262ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Read 5255 lines in 15.296847ms
2016/02/06 23:36:51 /tmp/f/conn.23:00:00-00:00:00.log.gz: Wrote 400 unique ips in 2.910344ms

재인덱스 흐름

 ./flow-indexer --dbpath /tmp/f/flows.db index /tmp/f/conn*
2016/02/06 23:37:36 /tmp/f/conn.00:00:00-01:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.01:00:00-02:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.02:00:00-03:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.03:00:00-04:00:00.log.gz Already indexed
[...]
2016/02/06 23:37:36 /tmp/f/conn.20:00:00-21:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.21:00:00-22:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.22:00:00-23:00:00.log.gz Already indexed
2016/02/06 23:37:36 /tmp/f/conn.23:00:00-00:00:00.log.gz Already indexed

CIDR 범위를 확장합니다

 ./flow-indexer --dbpath /tmp/f/flows.db expandcidr 192.30.252.0/24
192.30.252.86
192.30.252.87
192.30.252.92
192.30.252.124
192.30.252.125
192.30.252.126
192.30.252.127
192.30.252.128
192.30.252.129
192.30.252.130
192.30.252.131
192.30.252.141

찾다

 ./flow-indexer --dbpath /tmp/f/flows.db search 192.30.252.0/24
/tmp/f/conn.03:00:00-04:00:00.log.gz
/tmp/f/conn.04:00:00-05:00:00.log.gz
/tmp/f/conn.06:00:00-07:00:00.log.gz
/tmp/f/conn.14:00:00-15:00:00.log.gz
/tmp/f/conn.18:00:00-19:00:00.log.gz
/tmp/f/conn.20:00:00-21:00:00.log.gz
/tmp/f/conn.22:00:00-23:00:00.log.gz