NeZha_Chinese_PyTorch

nezha_chinese_pytorch

PytorchバージョンNezha、トランスに適応

紙のダウンロードアドレス：Nezha：中国語の理解のための神経文脈化された表現

スクリプト依存性モジュールを実行します

ケーススクリプトを実行する必要がある場合は、次のモジュールをインストールする必要があります。

1. Trainsformers> = 4.1.1
2. トーチブロック

モデルの重量ダウンロード

公式のTensorflowバージョンの重量ダウンロードアドレス：Huawei-Noah

WeightダウンロードアドレスはPytorchバージョンに変換されました。

• Nezha-CN-Base Baiduネットワークディスクリンク抽出コード：HCKQ

• Nezha-Large-Zh Baiduネットワークディスクリンク抽出コード：QKS2

• Nezha-Base-WWM Baiduネットワークディスクリンク抽出コード：YSG3

• Nezha-Large-WWM Baidu NetDiskリンク抽出コード：8Dig

注：ロードされたモデルの重量が次のBaidu NetdiskからダウンロードされたPytorchモデルの重量である場合、Torchバージョン> = 1.6.0を確認する必要があります

走る

コマンドを実行します。

sh scripts/run_task_text_classification_chnsenti.sh

長いテキスト

長いテキストは、 config.max_position_embeddingsパラメーターを設定することで実装できます。

 config . max_position_embeddings = args . train_max_seq_length

結果

ネザ（ベースWWM）	Chnsenti
Tensorflow	94.75
Pytorch	94.92