gluon nlp

Gluonnlp: Ihre Wahl des tiefen Lernens für NLP

Gluonnlp ist ein Toolkit, mit dem Sie NLP -Probleme lösen können. Es bietet einfach zu bedienende Tools, mit denen Sie die Textdaten laden, die Textdaten verarbeiten und Modelle trainieren können.

Siehe unsere Dokumente unter https://nlp.gluon.ai/master/index.html.

Merkmale

• Einfach zu bedienende Textverarbeitungswerkzeuge und modulare APIs
• Vorbereiteter Modellzoo
• Schreiben Sie Modelle mit numpy-ähnlicher API
• Schnelle Inferenz über Apache TVM (inkubieren) (experimentell)
• AWS -Integration über Sagemaker

Installation

Installieren Sie zunächst die MXNET 2 -Version wie MXNET 2 Alpha. Sie können die folgenden Befehle verwenden:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Um Gluonnlp zu installieren, verwenden Sie

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Wenn Sie feststellen, dass Sie nicht über die Berechtigung verfügen, können Sie auch im Benutzerordner installieren:

python3 -m pip install -U -e . --user

Für Windows -Benutzer empfehlen wir, das Windows -Subsystem für Linux zu verwenden.

Greifen Sie auf die Befehlszeilen-Toolkits zu

Um sowohl die Ingenieure als auch die Forscher zu erleichtern, bieten wir Befehlszeilen-Toolkits zum Herunterladen und Verarbeiten der NLP-Datensätze an. Weitere Informationen finden Sie in GluonnLP -Datensätzen und GluonnLP -Datenverarbeitungstools.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Laufen Sie unittest

Sie können zu Tests gehen, um zu sehen, wie man die untestesten betreibt.

Verwenden Sie Docker

Sie können Docker verwenden, um eine JupyterLab -Entwicklungsumgebung mit installiertem GluonnLP zu starten.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Weitere Informationen finden Sie auf die Anleitung in Tools/Docker.