gluon nlp

Gluonnlp: ваш выбор глубокого обучения для NLP

Gluonnlp - это инструментарий, который помогает вам решить проблемы с НЛП. Он предоставляет простые в использовании инструменты, которые помогают загрузить текстовые данные, обрабатывать текстовые данные и модели поезда.

Смотрите наши документы на https://nlp.gluon.ai/master/index.html.

Функции

• Простые в использовании инструменты обработки текста и модульные API
• Предварительный модельный зоопарк
• Напишите модели с Numpy, похожим на API
• Быстрый вывод через Apache TVM (инкубация) (экспериментально)
• Интеграция AWS через SageMaker

Установка

Прежде всего, установите релиз MXNET 2, такой как MXNET 2 Alpha. Вы можете использовать следующие команды:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Чтобы установить Gluonnlp, используйте

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Если вы обнаружите, что у вас нет разрешения, вы также можете установить в папку пользователя:

python3 -m pip install -U -e . --user

Для пользователей Windows мы рекомендуем использовать подсистему Windows для Linux.

Доступ к набору инструментов командной строки

Чтобы облегчить как инженеров, так и исследователей, мы предоставляем командную линию для загрузки и обработки наборов данных NLP. Для получения более подробной информации вы можете обратиться к наборам данных Gluonnlp и инструментам обработки данных Gluonnlp.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Запустить

Вы можете перейти на тесты, чтобы увидеть, как запустить единицы.

Используйте Docker

Вы можете использовать Docker, чтобы запустить среду разработки JupyterLab с установленной Gluonnlp.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Для получения более подробной информации вы можете обратиться к руководству в инструментах/Docker.