toshokan

Introdução

toshokan é um mecanismo de pesquisa (pense em Elasticsearch, Splunk), mas armazenando os dados sobre armazenamento de objetos, mais semelhante ao Quickwit.

Ele usa:

• TANTIVY - Para construir e pesquisar a estrutura de dados do índice invertido.
• Apache Opendal - Para uma abstração sobre os armazenamentos de objeto.
• PostgreSQL - Para armazenar metadados atomicamente, removendo as corridas de dados.

Também publiquei uma postagem no blog explicando os benefícios e desvantagens do uso de um armazenamento de objetos para aplicativos intensivos em dados.

Arquitetura

Como usar

toshokan create example_config.yaml

# Index a json file delimited by new lines.
toshokan index test ~ /hdfs-logs-multitenants-10000.json

# Index json records from kafka.
# Every --commit-interval, whatever was read from the source is written to a new index file.
toshokan index test kafka://localhost:9092/topic --stream

toshokan search test " tenant_id:[60 TO 65} AND severity_text:INFO " --limit 1 | jq .
# {
#   "attributes": {
#     "class": "org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace"
#   },
#   "body": "src: /10.10.34.30:33078, dest: /10.10.34.11:50010, bytes: 234, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_-202827006_103, offset: 0, srvID: d9ef1b17-4314-4cd8-91eb-095413c3427f, blockid: BP-108841162-10.10.34.11-1440074360971:blk_1074072709_331885, duration: 2571934",
#   "resource": {
#     "service": "datanode/01"
#   },
#   "severity_text": "INFO",
#   "tenant_id": 61,
#   "timestamp": "2016-04-13T06:46:54Z"
# }

# Merge index files for faster searching.
toshokan merge test

toshokan drop test