gluon nlp

Gluonnlp：您選擇的NLP深度學習

Gluonnlp是一種工具包，可幫助您解決NLP問題。它提供易於使用的工具，可幫助您加載文本數據，處理文本數據和火車模型。

請參閱https://nlp.gluon.ai/master/index.html的文檔。

特徵

• 易於使用的文本處理工具和模塊化API
• 驗證的模型動物園
• 用像數字的API編寫模型
• 通過Apache TVM（孵化）快速推斷（實驗）
• AWS通過薩格人集成

安裝

首先，安裝MXNET 2釋放，例如MXNET 2 alpha。您可以使用以下命令：

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

要安裝gluonnlp，請使用

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

如果發現沒有許可，也可以安裝到用戶文件夾：

python3 -m pip install -U -e . --user

對於Windows用戶，我們建議將Windows子系統用於Linux。

訪問命令行工具包

為了促進工程師和研究人員，我們提供了下載和處理NLP數據集的命令行 - 工具包。有關更多詳細信息，您可以參考GLUONNLP數據集和GLUONNLP數據處理工具。

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

運行Unitests

您可能會去測試以查看如何運行Unitests。

使用Docker

您可以使用Docker使用Gluonnlp安裝了Jupyterlab開發環境。

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

有關更多詳細信息，您可以參考工具/Docker中的指南。