gluon nlp

Gluonnlp: Su elección de aprendizaje profundo para la PNL

Gluonnlp es un kit de herramientas que te ayuda a resolver problemas de PNL. Proporciona herramientas fáciles de usar que lo ayudan a cargar los datos de texto, procesar los datos de texto y los modelos de trenes.

Vea nuestros documentos en https://nlp.guon.ai/master/index.html.

Características

• Herramientas de procesamiento de texto fáciles de usar y API modulares
• Zoológico modelo previamente
• Escribir modelos con API numpy
• Inferencia rápida a través de Apache TVM (incubación) (experimental)
• Integración de AWS a través de Sagemaker

Instalación

En primer lugar, instale la versión MXNET 2 como MXNET 2 Alpha. Puede usar los siguientes comandos:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Para instalar Gluonnlp, use

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Si encuentra que no tiene el permiso, también puede instalar en la carpeta de usuario:

python3 -m pip install -U -e . --user

Para los usuarios de Windows, recomendamos usar el subsistema de Windows para Linux.

Acceda a los kits de herramientas de línea de comandos

Para facilitar tanto a los ingenieros como a los investigadores, proporcionamos botes de línea de comandos para descargar y procesar los conjuntos de datos NLP. Para obtener más detalles, puede consultar los conjuntos de datos Gluonnlp y las herramientas de procesamiento de datos de Gluonnlp.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Ejecutar unittests

Puede ir a las pruebas para ver cómo ejecutar los Unittests.

Use Docker

Puede usar Docker para lanzar un entorno de desarrollo JupyterLab con Gluonnlp instalado.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Para obtener más detalles, puede consultar la guía en Herramientas/Docker.