NeZha_Chinese_PyTorch

Nezha_chinese_pytorch

Versión de Pytorch Nezha, adaptada a Transformers

Dirección de descarga en papel: Nezha: representación contextualizada neural para la comprensión del idioma chino

Ejecutar el módulo de dependencia de script

Si necesita ejecutar el script de casos , debe instalar los siguientes módulos:

1. TrainSformers> = 4.1.1
2. Mechones de antorchas

Descarga de peso del modelo

La versión oficial de TensorFlow Descarga de peso: Huawei-Noah

La dirección de descarga de peso se ha convertido a la versión de Pytorch:

• Nezha-CN-Base Baidu Network Disk Link Código de extracción: HCKQ

• Nezha-Large-Zh Baidu Network Disk Link Código de extracción: QKS2

• Nezha-Base-WWM Baidu Network Disk Link Código de extracción: YSG3

• Nezha-Large-WWM Baidu NetDisk Link Código de extracción de enlace: 8Dig

Nota : Si el peso del modelo cargado es el peso del modelo Pytorch descargado del siguiente Baidu NetDisk , debe asegurarse de que la Versión de la antorcha> = 1.6.0

correr

Ejecutar el comando:

sh scripts/run_task_text_classification_chnsenti.sh

Texto largo

El texto largo se puede implementar configurando el parámetro config.max_position_embeddings , con el valor predeterminado de 512, como:

 config . max_position_embeddings = args . train_max_seq_length

resultado

Nezha (Base-WWM)	chnsenti
flujo tensor	94.75
pytorch	94.92