es indexer

es-indexer

ES-Indexer （Elasticsearch Indexer）是用Python編寫的簡單並發命令行工具，可幫助您快速將一些JSON數據填充到Elasticsearch中。

關於

通常，您必須使用第三方軟件或客戶端庫來索引數據以索取Elasticsearch並設置該數據可能確實很耗時且令人討厭（咳嗽Logstash咳嗽）。 ES-Indexer有助於借助多線程迅速索引*.json文檔的原始內容。

ES-Indexer當前沒有提供任何數據同步，如果數據更改，您必須重新索引數據，但始終將填充一個新的索引，然後創建一個別名，在重新索引時將存在舊數據，直到新索引完全填充為止。未來的更新可能包括同步。

由於Elasticsearch在端口9200上公開了一個REST-API，因此無需提供ES-Indexer提供REST-API本身。

安裝

需要Python 3.x，並且與Elasticsearch 7.xx兼容

• 可以在PIP的幫助下安裝ES-Indexer。

   $ pip install es-indexer
  

（或者）

• 克隆存儲庫。

   $ git clone https://github.com/itsron717/es-indexer.git
  

• 移入存儲庫。

   $ cd es-indexer
  

• 本地安裝軟件包。

   $ pip install .
  

用法

config

在運行ES-Indexer之前，您需要創建一個config.yml ：

 host: http://127.0.0.1:9200
index: twitter-example
type: documents
mapping:
    settings:
        number_of_shards: 1
        number_of_replicas: 0

您可以在配置文件中提供自定義映射，ES-Indexer將將YAML映射1：1轉換為JSON。

 $ es-indexer --config path/to/config/file --source path/to/json/folder

添加更多數據源

除json （例如SQL ， Filesystem等）以外的其他數據源還將添加到ES-Indexer工具中，以便它可以作為Elasticsearch的所有索引需求的一站式商店。任何想在集成其他數據源中做出貢獻的人都可以提出和發行，我們可以開始努力！

待辦事項

• 添加json支持。
• 添加SQL數據源集成。
• 添加FileSystem數據源集成。
• 提高索引速度。
• 添加測試。

參考

ES-Indexer是使用對GO編寫的驚人工具的啟動來構建的。

執照

麻省理工學院許可證（MIT）

版權（C）2019 Rounak Vyas