NeZha_Chinese_PyTorch

Nezha_chinese_pytorch

Pytorch -Version Nezha, angepasst an Transformers

Papier -Download -Adresse: Nezha: Neuronal kontextualisierte Darstellung für das Verständnis der chinesischen Sprache

Führen Sie das Skriptabhängigkeitsmodul aus

Wenn Sie das Fallskript ausführen müssen, müssen Sie die folgenden Module installieren:

1. Trainingsforscher> = 4.1.1
2. Torchblocks

Modellgewicht herunterladen

Die offizielle Download-Adresse des TensorFlow-Versions-Gewichts: Huawei-noah

Die Gewichts -Download -Adresse wurde in die Pytorch -Version umgewandelt:

• NEZHA-CN-Base Baidu Network Disk Link-Extraktionscode: HCKQ

• Nezha-Large-Zh Baidu Network Disk Link-Extraktionscode: QKS2

• Nezha-Base-WWM Baidu Network Disk Link-Extraktionscode: YSG3

• Nezha-large-wwm Baidu NetDisk Link Extraktionscode: 8Dig

Hinweis : Wenn das geladene Modellgewicht das von den folgende Baidu NetDisk heruntergeladene Pytorch -Modellgewicht ist, müssen Sie sicherstellen, dass die Fackelversion> = 1.6.0 sichergestellt wird

laufen

Führen Sie den Befehl aus:

sh scripts/run_task_text_classification_chnsenti.sh

Langer Text

Langer Text kann implementiert werden, indem der Parameter config.max_position_embeddings mit dem Standardwert von 512 festgelegt wird, z. B.:

 config . max_position_embeddings = args . train_max_seq_length

Ergebnis

Nezha (Basis-wwm)	CHNSENTI
Tensorflow	94.75
Pytorch	94.92