NeZha_Chinese_PyTorch

Nezha_chinese_pytorch

версия Pytorch Nezha, адаптированная к трансформаторам

Адрес загрузки бумаги: Неза: Нейронное контекстуализированное представление для понимания китайского языка

Запустить модуль зависимости сценария

Если вам нужно запустить сценарий корпуса , вам нужно установить следующие модули:

1. Trainsformers> = 4.1.1
2. Горелки

Скачать вес модели

Официальная версия TensorFlow Вес Адрес: Huawei-Noah

Адрес загрузки веса был преобразован в версию Pytorch:

• NEZHA-CN-BASE BAIDU STELINE DISK CODE CODE: HCKQ

• Nezha-Large-Zh Baidu Network Disk Code Code: QKS2

• Nezha-Base-WWM Baidu Network Disk Code Code: YSG3

• Nezha-Large-WWM Baidu NetDisk Code Code: 8DIG

ПРИМЕЧАНИЕ . Если вес, загруженная весом модели Pytorch, загруженный из следующего Baidu NetDisk , вам необходимо убедиться, что версия Torch> = 1.6.0

бегать

Выполнить команду:

sh scripts/run_task_text_classification_chnsenti.sh

Длинный текст

Длинный текст может быть реализован путем установки параметра config.max_position_embeddings со значением по умолчанию 512, например:

 config . max_position_embeddings = args . train_max_seq_length

результат

Nezha (Base-WWM)	Chnsenti
Tensorflow	94,75
пирог	94,92