NeuronBlocks Download - NeuronBlocks Quellcode herunterladen

NeuronBlocks

Python

1.0.0

Herunterladen

Erstellen Sie Ihre NLP -DNN -Modelle wie das Spielen von LEGO

简体中文

Tutorial 中文教程 Demo Video

Inhaltsverzeichnis

Überblick
Beginnen Sie in 60 Sekunden
Wer sollte in Betracht ziehen, Neuronblocks zu verwenden?
Beitragen
Referenz
Verwandte Projekt
Lizenz
Kontakt

Überblick

NeuronBlocks ist ein NLP Deep Learning Modeling Toolkit , mit dem Ingenieure/Forscher End-to-End-Pipelines für das Modell der neuronalen Netzwerkmodelltraining für NLP-Aufgaben erstellen können. Das Hauptziel dieses Toolkits ist es, die Entwicklungskosten für das Gebäudetodellaufbau des NLP Deep Neural Network zu minimieren, einschließlich der Trainings- und Inferenzphasen.

NeuronBlocks besteht aus zwei Hauptkomponenten: Blockzoo und Modellzoo .

Im Blockzoo bieten wir häufig verwendete neuronale Netzwerkkomponenten als Bausteine für das Design der Modellarchitektur.
Im Modellzoo bieten wir eine Suite von NLP -Modellen für gemeinsame NLP -Aufgaben in Form von JSON -Konfigurationsdateien .

Sprache unterstützt

Englisch
chinesisch

NLP -Aufgaben unterstützt

Satzklassifizierung
Stimmungsanalyse
Frage Beantwortung von Matching
Textbeschaffung
Slot -Tagging
Maschinenleseverständnis
Wissensdestillation für die Modellkomprimierung
Fortlaufender

Toolkit -Nutzung

Benutzer können entweder vorhandene Modelle (Konfigurationsdateien) im Modellzoo auswählen, um das Modelltraining zu starten oder neue Modelle zu erstellen, indem sie neuronale Netzwerkblöcke im Blockzoo genutzt, genau wie das Spielen mit LEGO.

Beginnen Sie in 60 Sekunden

Installation

Hinweis: NeuronBlocks erfordert Python 3.6 und höher.

Klonen Sie dieses Projekt.

git clone https://github.com/Microsoft/NeuronBlocks

Installieren Sie Python -Pakete in Anforderungen.txt unter dem folgenden Befehl.
```
pip install -r requirements.txt
```
Installieren Sie Pytorch ( NeuronBlocks unterstützt Pytorch 0.4.1 und höher ).
Führen Sie für Linux den folgenden Befehl aus:
```
pip install " torch>=0.4.1 "
```
Für Windows empfehlen wir Ihnen, Pytorch über Conda zu installieren, indem Sie die Anweisung von Pytorch befolgen.

Schneller Start

Beginnen Sie mit den angegebenen Beispielen. Sowohl Linux/Windows, GPU/CPU werden unterstützt. Für Windows empfehlen wir Ihnen, PowerShell anstelle von CMD zu verwenden.

Tipps: In der folgenden Anweisung bezeichnet Projectroot das Stammverzeichnis dieses Projekts.

 # train
cd PROJECT_ROOT
python train.py --conf_path=model_zoo/demo/conf.json

# test
python test.py --conf_path=model_zoo/demo/conf.json

# predict
python predict.py --conf_path=model_zoo/demo/conf.json

Für die Vorhersage haben Neuronblocks zwei Modi: interaktiv und Charge .

Interaktiver Vorhersagemodus: Der interaktive Modus bietet eine interaktive Schnittstelle, Benutzer können den Fall entsprechend der entsprechenden Eingabeaufforderung eingeben und das Echtzeit -Vorhersageergebnis vom trainierten Modell und "Beenden" eingeben, um die interaktive Schnittstelle zu beenden.

 # use the above example
# interactive prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' interactive '

Batch -Vorhersagemodus: Für die Vorhersage von Batched Cases bietet NeuronBlocks den Batch -Vorhersagemodus, der eine Fälledatei als Eingabe empfängt und die Vorhersageergebnisse in der Vorhersagedatei schreiben.

 # use the above example
# batch prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' batch ' --predict_data_path=dataset/demo/predict.tsv

Weitere Informationen finden Sie in Tutorial.MD und Code -Dokumentation.

Wer sollte in Betracht ziehen, Neuronblocks zu verwenden?

Ingenieure oder Forscher, die sich vor den folgenden Herausforderungen stellen, wenn sie neuronale Netzwerkmodelle verwenden, um NLP -Probleme anzugehen:

Viele Rahmenbedingungen zur Auswahl und hohen Rahmenbedingungen, die Kosten untersuchen.
Schwere Codierungskosten. Viele Details machen es schwierig, zu debuggen.
Schnelle Modellarchitekturentwicklung. Für Ingenieure ist es schwierig, die mathematischen Prinzipien dahinter zu verstehen.
Die Modellcodeoptimierung erfordert ein tiefes Fachwissen.
Modellplattformkompatibilitätsanforderung. Es erfordert eine zusätzliche Codierung, damit das Modell auf verschiedenen Plattformen wie Linux/Windows, GPU/CPU ausgeführt werden muss.

Die Vorteile der Nutzung von Neuronblocks für das NLP -Modell der neuronalen Netzwerk -Modells umfassen:

Modellbildung : Für das Modellieren und Parameterabstieg müssen Benutzer nur einfache JSON -Konfigurationsdateien schreiben, die den Aufwand für die Implementierung neuer Ideen erheblich minimieren.
Modellfreigabe Es ist super einfach, Modelle genau über JSON -Dateien zu teilen, anstatt durch böse Codes. Bei verschiedenen Modellen oder Aufgaben müssen unsere Benutzer nur eine einzelne zentralisierte Quellcode -Basis beibehalten.
Wiederverwendbarkeit von Code : Gemeinsame Blöcke können einfach über verschiedene Modelle oder Aufgaben ausgetauscht werden, wodurch die doppelte Codierungsarbeiten reduziert werden.
Plattformflexibilität : NeuronBlocks können sowohl auf Linux- als auch auf Windows -Maschinen mit CPU und GPU ausgeführt werden. Es unterstützt auch Schulungen auf GPU -Plattformen wie Philly und Pai.
CPU -Inferenz Einzel-GPU-Inferenz Multi-GPU-Inferenz
CPU -Zug ✓ ✓ ✓
Ein-GPU-Zug ✓ ✓ ✓
Multi-GPU-Zug ✓ ✓ ✓
Modellvisualisierung : Ein Modellvisualisierer wird zur Visualisierung und Konfiguration der Korrektheitsprüfung bereitgestellt, mit der Benutzer die Modellarchitektur während des Debuggens leicht visualisieren können.
Erweiterbarkeit : NeuronBlocks ist erweiterbar, sodass Benutzer neue Blöcke beitragen oder neuartige Modelle (JSON -Dateien) beitragen können.

Beitragen

NeuronBlocks arbeitet in einem offenen Modell. Es wurde von der STCA NLP Group, Microsoft , entwickelt und entwickelt. Beiträge aus Akademie und Industrie sind ebenfalls sehr willkommen. Weitere Informationen finden Sie unter Beitrags.md.

Laufende Arbeit und Forderung nach Beiträgen

Jeder, der vertraut ist, ist sehr ermutigt, Code beizutragen.

Wissensdestillation für die Modellkomprimierung. Wissensdestillation für schwere Modelle wie Bert, OpenAI -Transformator. Die auf Lehrer-Student basierende Wissensdestillation ist eine gemeinsame Methode zur Modellkomprimierung.
Mehrsprachige Unterstützung
NER -Modellunterstützung
Multi-Task-Trainingsunterstützung

Referenz

NeuronBlocks - Erstellen Sie Ihre NLP -DNN -Modelle wie das Spielen von LEGO. EMNLP 2019 , unter https://arxiv.org/abs/1904.09535.

 @article{gong2019neuronblocks,
  title={NeuronBlocks--Building Your NLP DNN Models Like Playing Lego},
  author={Gong, Ming and Shou, Linjun and Lin, Wutao and Sang, Zhijie and Yan, Quanjia and Yang, Ze, Cheng, Feixiang and Jiang, Daxin},
  journal={arXiv preprint arXiv:1904.09535},
  year={2019}
}