NeZha_Chinese_PyTorch

nezha_chinese_pytorch

Pytorch 버전 Nezha는 변압기에 적합합니다

논문 다운로드 주소 : Nezha : 중국어 이해를위한 신경 맥락화 된 표현

스크립트 종속성 모듈을 실행하십시오

케이스 스크립트를 실행 해야하는 경우 다음 모듈을 설치해야합니다.

1. Trainsformers> = 4.1.1
2. 토치 블록

모델 웨이트 다운로드

공식 Tensorflow 버전 무게 다운로드 주소 : Huawei-Noah

중량 다운로드 주소는 Pytorch 버전으로 변환되었습니다.

• NEZHA-CN-BASE BAIDU 네트워크 디스크 링크 추출 코드 : HCKQ

• Nezha-Large-Zh Baidu Network Disk 링크 추출 코드 : QKS2

• NEZHA-BASE WWM BAIDU 네트워크 디스크 링크 추출 코드 : YSG3

• NEZHA-LARGE-WWM BAIDU NETDISK 링크 추출 코드 : 8DIG

참고 :로드 된 모델 무게가 다음 Baidu NetDisk 에서 다운로드 한 Pytorch 모델 가중치 인 경우 Torch 버전> = 1.6.0을 확인해야합니다.

달리다

명령 실행 :

sh scripts/run_task_text_classification_chnsenti.sh

긴 텍스트

긴 텍스트는 config.max_position_embeddings 매개 변수를 설정하여 다음과 같은 512의 기본값을 설정하여 구현할 수 있습니다.

 config . max_position_embeddings = args . train_max_seq_length

결과

Nezha (기본 WWM)	Chnsenti
텐서 플로	94.75
Pytorch	94.92