gluon nlp

Gluonnlp: sua escolha de aprendizado profundo para a PNL

Gluonnlp é um kit de ferramentas que ajuda a resolver problemas de PNL. Ele fornece ferramentas fáceis de usar que ajudam a carregar os dados de texto, processar os dados de texto e treinar modelos.

Consulte nossos documentos em https://nlp.glluon.ai/master/index.html.

Características

• Ferramentas de processamento de texto fácil de usar e APIs modulares
• Zoológico de modelo pré -terenciado
• Escreva modelos com API do tipo Numpy
• Inferência rápida via Apache TVM (incubação) (experimental)
• Integração da AWS via Sagemaker

Instalação

Primeiro de tudo, instale a liberação do MXNET 2, como o MXNET 2 Alpha. Você pode usar os seguintes comandos:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Para instalar Gluonnlp, use

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Se você achar que não possui permissão, também pode instalar na pasta do usuário:

python3 -m pip install -U -e . --user

Para usuários do Windows, recomendamos usar o subsistema do Windows para o Linux.

Acesse os kits de ferramentas da linha de comando

Para facilitar os engenheiros e os pesquisadores, fornecemos-line-toolkits para baixar e processar os conjuntos de dados da PNL. Para obter mais detalhes, você pode consultar os conjuntos de dados Gluonnlp e as ferramentas de processamento de dados Gluonnlp.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Executar unittests

Você pode ir a testes para ver como executar os unitests.

Use Docker

Você pode usar o Docker para iniciar um ambiente de desenvolvimento JupyterLab com o Gluonnlp instalado.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Para mais detalhes, você pode consultar a orientação em ferramentas/docker.