gluon nlp

Gluonnlp: pilihan pembelajaran mendalam Anda untuk NLP

Gluonnlp adalah toolkit yang membantu Anda memecahkan masalah NLP. Ini menyediakan alat yang mudah digunakan yang membantu Anda memuat data teks, memproses data teks, dan melatih model.

Lihat dokumen kami di https://nlp.gluon.ai/master/index.html.

Fitur

• Alat pemrosesan teks yang mudah digunakan dan API modular
• Kebun Binatang Model Pretrained
• Tulis model dengan API seperti numpy
• Inferensi Cepat melalui Apache TVM (Inkubasi) (Eksperimental)
• Integrasi AWS via Sagemaker

Instalasi

Pertama -tama, instal rilis MXNET 2 seperti MXNET 2 Alpha. Anda dapat menggunakan perintah berikut:

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

Untuk menginstal gluonnlp, gunakan

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

Jika Anda menemukan bahwa Anda tidak memiliki izin, Anda juga dapat menginstal ke folder pengguna:

python3 -m pip install -U -e . --user

Untuk pengguna Windows, kami sarankan untuk menggunakan subsistem Windows untuk Linux.

Akses toolkit baris perintah

Untuk memfasilitasi insinyur dan peneliti, kami menyediakan alat-baris perintah untuk mengunduh dan memproses kumpulan data NLP. Untuk detail lebih lanjut, Anda dapat merujuk ke dataset Gluonnlp dan alat pemrosesan data Gluonnlp.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

Jalankan Unittests

Anda dapat pergi ke tes untuk melihat cara menjalankan Unittests.

Gunakan Docker

Anda dapat menggunakan Docker untuk meluncurkan lingkungan pengembangan Jupyterlab dengan Gluonnlp terpasang.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

Untuk detail lebih lanjut, Anda dapat merujuk pada panduan di Tools/Docker.