NeZha_Chinese_PyTorch

Nezha_chinese_pytorch

Version Pytorch Nezha, adaptée aux transformateurs

Adresse de téléchargement du papier: Nezha: représentation contextualisée neurale de la compréhension de la langue chinoise

Exécuter le module de dépendance au script

Si vous devez exécuter le script de cas , vous devez installer les modules suivants:

1. formateurs de trains> = 4.1.1
2. Boucles de torche

Téléchargement du poids du modèle

L'adresse de téléchargement du poids de la version TensorFlow officielle: Huawei-Noah

L'adresse de téléchargement du poids a été convertie en version Pytorch:

• NEZHA-CN-BASE BASE Network Disk Disk Link Extraction Code: HCKQ

• NEZHA-LARGE-ZH BAIDU Network Disk Link Extraction Code: QKS2

• NEZHA-BASE-WWM BAIDU Network Disk Link Extraction Code: YSG3

• NEZHA-LARGE-WWM Baidu Netdisk Link Extraction Code: 8DIG

Remarque : Si le poids du modèle chargé est le poids du modèle Pytorch téléchargé à partir du baidu netdisk suivant, vous devez vous assurer que la version torche> = 1.6.0

courir

Exécuter la commande:

sh scripts/run_task_text_classification_chnsenti.sh

Texte long

Le texte long peut être implémenté en définissant le paramètre config.max_position_embeddings , avec la valeur par défaut de 512, comme:

 config . max_position_embeddings = args . train_max_seq_length

résultat

Nezha (base-wwm)	chnsenti
tensorflow	94.75
pytorch	94.92