Download es indexer - es indexer DOWNLOAD Código

es indexer

Código-Fonte de IA

1.0.0

Baixar

ES-Indexer

O ES-Indexer (Elasticsearch Indexer) é uma ferramenta simples de linha de comando simultânea escrita no Python para ajudá-lo a preencher rapidamente alguns dados JSON no Elasticsearch.

Sobre

Normalmente, você terá que usar um software de terceiros ou uma biblioteca de clientes para indexar dados para o Elasticsearch e configurar isso pode ser realmente demorado e cansativo ( tosse com tosse de logstash ). O ES-Indexer ajuda a indexar o conteúdo bruto de *.json documenta rapidamente com a ajuda de multi-threading.

Atualmente, o ES-Indexer não fornece nenhuma sincronização dos dados, você precisará reindexar os dados se eles mudarem, mas sempre preencherão um novo índice e, em seguida, criar um alias, os dados antigos estarão presentes ao reiniciar até que o novo índice esteja totalmente preenchido. Uma atualização futura pode incluir a sincronização.

Como o Elasticsearch expõe um API REST na porta 9200, não há necessidade de ES-Indexer fornecendo um API REST.

Instalação

Requer python 3.x e é compatível com elasticsearch 7.xx

O ES-Indexer pode ser instalado com a ajuda do PIP.
```
 $ pip install es-indexer
```

(OU)

Clone o repositório.

 $ git clone https://github.com/itsron717/es-indexer.git

Mova -se dentro do repo.
```
 $ cd es-indexer
```
Instale o pacote localmente.
```
 $ pip install .
```

Uso

Config

Você precisa criar um config.yml antes de executar o ES-Indexer:

 host: http://127.0.0.1:9200
index: twitter-example
type: documents
mapping:
    settings:
        number_of_shards: 1
        number_of_replicas: 0

Você pode fornecer um mapeamento personalizado no arquivo de configuração, o ES-Indexer converterá o mapeamento YAML 1: 1 em JSON.

 $ es-indexer --config path/to/config/file --source path/to/json/folder

Adicionando mais fontes de dados

Mais fontes de dados além json , como SQL , Filesystem , etc. também devem ser adicionadas à ferramenta ES-Indexer, de modo que possa ser um lojista único para todas as necessidades de indexação do Elasticsearch. Qualquer pessoa que gostasse de contribuir na integração de outras fontes de dados pode aumentar e emitir e podemos começar a trabalhar nele!.