gluon nlp

Gluonnlp: Votre choix d'apprentissage en profondeur pour NLP

Gluonnlp est une boîte à outils qui vous aide à résoudre les problèmes de PNL. Il fournit des outils faciles à utiliser qui vous aident à charger les données du texte, à traiter les données texte et à former des modèles.

Voir nos documents sur https://nlp.gluon.ai/master/index.html.

Caractéristiques

• Outils de traitement de texte faciles à utiliser et API modulaires
• Zoo du modèle pré-entraîné
• Écrivez des modèles avec une API de type Numpy
• Inférence rapide via Apache TVM (incubation) (expérimental)
• Intégration AWS via Sagemaker

Installation

Tout d'abord, installez la version MXNET 2 telle que MXNET 2 Alpha. Vous pouvez utiliser les commandes suivantes:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Pour installer Gluonnlp, utilisez

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Si vous constatez que vous n'avez pas l'autorisation, vous pouvez également installer dans le dossier utilisateur:

python3 -m pip install -U -e . --user

Pour les utilisateurs de Windows, nous vous recommandons d'utiliser le sous-système Windows pour Linux.

Accéder aux boîtes à outils de ligne de commande

Pour faciliter à la fois les ingénieurs et les chercheurs, nous fournissons des outils de ligne de commande pour le téléchargement et le traitement des ensembles de données NLP. Pour plus de détails, vous pouvez vous référer aux ensembles de données GluonnLP et aux outils de traitement des données GluonnLP.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Exécuter des unités

Vous pouvez aller aux tests pour voir comment exécuter les unitaires.

Utiliser Docker

Vous pouvez utiliser Docker pour lancer un environnement de développement JupyterLab avec Gluonnlp installé.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Pour plus de détails, vous pouvez vous référer aux conseils dans Tools / Docker.