gluon nlp

gluonnlp：NLPの深い学習の選択

GluonnLPは、NLPの問題を解決するのに役立つツールキットです。テキストデータのロード、テキストデータの処理、およびモデルをトレーニングするのに役立つ使いやすいツールを提供します。

https://nlp.gluon.ai/master/index.htmlのドキュメントをご覧ください。

特徴

• 使いやすいテキスト処理ツールとモジュラーAPI
• 前処理されたモデル動物園
• Numpy-like APIでモデルを作成します
• Apache TVM（インキュベーション）を介した高速推論（実験）
• SagemakerによるAWS統合

インストール

まず、MXNET 2アルファなどのMXNET 2リリースをインストールします。次のコマンドを使用できます。

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

gluonnlpをインストールするには、使用してください

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

許可がない場合は、ユーザーフォルダーにインストールすることもできます。

python3 -m pip install -U -e . --user

Windowsユーザーには、LinuxにWindowsサブシステムを使用することをお勧めします。

コマンドラインツールキットにアクセスします

エンジニアと研究者の両方を促進するために、NLPデータセットをダウンロードおよび処理するためのコマンドラインツールキットを提供します。詳細については、GluonnLPデータセットとGluonnLPデータ処理ツールを参照できます。

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

最小限に走ります

テストにアクセスして、Unittestsを実行する方法を確認できます。

Dockerを使用します

Dockerを使用して、GluonnLPをインストールしたJupyterLab開発環境を起動できます。

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

詳細については、ツール/Dockerのガイダンスを参照できます。