es indexer Download - es indexer Quellcode Download

es indexer

AI-Quellcode

1.0.0

Herunterladen

Es-Indexer

ES-Indexer (Elasticsearch Indexer) ist ein einfaches in Python geschriebenes einfaches Befehlszeilen-Tool, mit dem Sie einige JSON-Daten schnell in ElasticSearch einleiten können.

Um

Normalerweise müssen Sie eine Drittanbieter-Software oder eine Client-Bibliothek verwenden, um Daten in Elasticsearch zu indexieren und zu richten, dass dies sehr zeitaufwändig und lästig sein kann ( Husten -Logstash -Husten ). ES-Indexer hilft bei der Indexierung des Rohinhalts von *.json Dokumenten schnell mit Hilfe des Multi-Threading.

ES-Indexer liefert derzeit keine Synchronisierung der Daten. Sie müssen die Daten neu in die Runde des Datens erstellen, aber immer einen neuen Index füllen und dann einen Alias erstellen. Die alten Daten werden während der Wiederindexierung vorhanden, bis der neue Index vollständig besiedelt ist. Ein zukünftiges Update könnte die Synchronisierung beinhalten.

Da Elasticsearch einen Rest-API für Port 9200 enthüllt, ist kein ES-Indexer erforderlich, der selbst einen Rest-API selbst bereitstellt.

Installation

Benötigt Python 3.x und ist mit Elasticsearch 7.xx kompatibel

ES-Indexer kann mit Hilfe von PIP installiert werden.
```
 $ pip install es-indexer
```

(ODER)

Klonen Sie das Repository.

 $ git clone https://github.com/itsron717/es-indexer.git

Bewegen Sie sich in das Repo.
```
 $ cd es-indexer
```
Installieren Sie das Paket lokal.
```
 $ pip install .
```

Verwendung

Konfiguration

Sie müssen eine config.yml erstellen, bevor Sie ES-Indexer ausführen:

 host: http://127.0.0.1:9200
index: twitter-example
type: documents
mapping:
    settings:
        number_of_shards: 1
        number_of_replicas: 0

Sie können eine benutzerdefinierte Zuordnung in der Konfigurationsdatei bereitstellen. ES-Indexer konvertiert die YAML-Zuordnung 1: 1 in JSON.

 $ es-indexer --config path/to/config/file --source path/to/json/folder

Hinzufügen weiterer Datenquellen

Weitere Datenquellen als json wie SQL , Filesystem usw. sind ebenfalls zum ES-Indexer-Tool hinzugefügt, sodass es ein One-Stop-Shop für alle Indizierungsanforderungen von Elasticsearch sein kann. Jeder, der bei der Integration anderer Datenquellen beitragen möchte, kann aufnehmen und ausgeben, und wir können anfangen, daran zu arbeiten!.