es indexer

es-indexer

ES-Indexer （Elasticsearch Indexer）是用Python编写的简单并发命令行工具，可帮助您快速将一些JSON数据填充到Elasticsearch中。

关于

通常，您必须使用第三方软件或客户端库来索引数据以索取Elasticsearch并设置该数据可能确实很耗时且令人讨厌（咳嗽Logstash咳嗽）。 ES-Indexer有助于借助多线程迅速索引*.json文档的原始内容。

ES-Indexer当前没有提供任何数据同步，如果数据更改，您必须重新索引数据，但始终将填充一个新的索引，然后创建一个别名，在重新索引时将存在旧数据，直到新索引完全填充为止。未来的更新可能包括同步。

由于Elasticsearch在端口9200上公开了一个REST-API，因此无需提供ES-Indexer提供REST-API本身。

安装

需要Python 3.x，并且与Elasticsearch 7.xx兼容

• 可以在PIP的帮助下安装ES-Indexer。

   $ pip install es-indexer
  

（或者）

• 克隆存储库。

   $ git clone https://github.com/itsron717/es-indexer.git
  

• 移入存储库。

   $ cd es-indexer
  

• 本地安装软件包。

   $ pip install .
  

用法

config

在运行ES-Indexer之前，您需要创建一个config.yml ：

 host: http://127.0.0.1:9200
index: twitter-example
type: documents
mapping:
    settings:
        number_of_shards: 1
        number_of_replicas: 0

您可以在配置文件中提供自定义映射，ES-Indexer将将YAML映射1：1转换为JSON。

 $ es-indexer --config path/to/config/file --source path/to/json/folder

添加更多数据源

除json （例如SQL ， Filesystem等）以外的其他数据源还将添加到ES-Indexer工具中，以便它可以作为Elasticsearch的所有索引需求的一站式商店。任何想在集成其他数据源中做出贡献的人都可以提出和发行，我们可以开始努力！

待办事项

• 添加json支持。
• 添加SQL数据源集成。
• 添加FileSystem数据源集成。
• 提高索引速度。
• 添加测试。

参考

ES-Indexer是使用对GO编写的惊人工具的启动来构建的。

执照

麻省理工学院许可证（MIT）

版权（C）2019 Rounak Vyas