gluon nlp

Gluonnlp : NLP에 대한 딥 러닝 선택

GLUONNLP는 NLP 문제를 해결하는 데 도움이되는 툴킷입니다. 텍스트 데이터를로드하고 텍스트 데이터를 처리하며 모델을 트레인하는 데 도움이되는 사용하기 쉬운 도구를 제공합니다.

https://nlp.gluon.ai/master/index.html에서 문서를 참조하십시오.

특징

• 사용하기 쉬운 텍스트 처리 도구 및 모듈 식 API
• 사전 예방 모델 동물원
• Numpy와 같은 API가있는 모델을 작성하십시오
• Apache TVM을 통한 빠른 추론 (인큐베이션) (실험)
• Sagemaker를 통한 AWS 통합

설치

우선, MXNET 2 Alpha와 같은 MXNET 2 릴리스를 설치하십시오. 다음 명령을 사용할 수 있습니다.

 # Install the version with CUDA 10.2
python3 -m pip install -U --pre " mxnet-cu102>=2.0.0a "

# Install the version with CUDA 11
python3 -m pip install -U --pre " mxnet-cu110>=2.0.0a "

# Install the cpu-only version
python3 -m pip install -U --pre " mxnet>=2.0.0a "

gluonnlp를 설치하려면 사용하십시오

python3 -m pip install -U -e .

# Also, you may install all the extra requirements via
python3 -m pip install -U -e . " [extras] "

권한이 없으면 사용자 폴더에 설치할 수도 있습니다.

python3 -m pip install -U -e . --user

Windows 사용자의 경우 Linux 용 Windows 서브 시스템을 사용하는 것이 좋습니다.

명령 줄 툴킷에 액세스하십시오

엔지니어와 연구원 모두를 용이하게하기 위해 NLP 데이터 세트를 다운로드하고 처리하기위한 명령 라인-툴 키트를 제공합니다. 자세한 내용은 GLUONNLP 데이터 세트 및 GLUONNLP 데이터 처리 도구를 참조하십시오.

 # CLI for downloading / preparing the dataset
nlp_data help

# CLI for accessing some common data processing scripts
nlp_process help

# Also, you can use `python -m` to access the toolkits
python3 -m gluonnlp.cli.data help
python3 -m gluonnlp.cli.process help

UnitTests를 실행하십시오

UnitTests를 실행하는 방법을보기 위해 테스트를 진행할 수 있습니다.

Docker를 사용하십시오

Docker를 사용하여 Gluonnlp가 설치된 Jupyterlab 개발 환경을 시작할 수 있습니다.

 # GPU Instance
docker pull gluonai/gluon-nlp:gpu-latest
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:gpu-latest

# CPU Instance
docker pull gluonai/gluon-nlp:cpu-latest
docker run --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 --shm-size=2g gluonai/gluon-nlp:cpu-latest

자세한 내용은 도구/도커의 지침을 참조하십시오.