NeZha_Chinese_PyTorch

Nezha_chinese_pytorch

Versão Pytorch Nezha, adaptada aos transformadores

Endereço para download em papel: Nezha: Representação contextualizada neural para entendimento da língua chinesa

Executar módulo de dependência do script

Se você precisar executar o script do caso , precisará instalar os seguintes módulos:

1. trensformers> = 4.1.1
2. Torchblocks

Download de peso do modelo

O Endereço Oficial de Download de Peso da Versão Tensorflow: Huawei-Noah

O endereço de download de peso foi convertido para a versão Pytorch:

• Código de extração de disco de rede Base Nezha-CN-BASE BASE: HCKQ

• Nezha-Large-ZH Baidu Rede Link de disco Código de extração: QKS2

• Nezha-Base-WWM Baidu Network Disk Link Código de extração: YSG3

• Nezha-Large-WWM Baidu NetDisk Link Código de Extração: 8dig

Nota : Se o peso do modelo carregado for o peso do modelo Pytorch baixado do seguinte Baidu NetDisk , você precisará garantir que a versão da tocha> = 1.6.0

correr

Executar o comando:

sh scripts/run_task_text_classification_chnsenti.sh

Texto longo

O texto longo pode ser implementado definindo o parâmetro config.max_position_embeddings , com o valor padrão de 512, como:

 config . max_position_embeddings = args . train_max_seq_length

resultado

Nezha (Base-WWM)	Chnsenti
tensorflow	94.75
Pytorch	94.92