albert_pytorch

英語版本|中文版說明

Albert_pytorch

該存儲庫包含本文中Albert模型的Pytorch實現

一個自我監督的學習語言表示的精簡版

Zhenzhong lan。 mingda chen ....

依賴性

• pytorch = 1.10
• CUDA = 9.0
• cudnn = 7.5
• Scikit-Learn
• 句子

下載預先培訓的英語模型

官方下載鏈接：Google Albert

適應此版本，下載Pytorch模型（Google Drive）：

V1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

v2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

微調

１。將config.json和30k-clean.model放置到prev_trained_model/albert_base_v2目錄中。例子：

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2． Convert Albert TF檢查站到Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

一般語言理解評估（GLUE）基準是九個句子或句子的語言理解任務，用於評估和分析自然語言理解系統。

在運行這些膠水任務的任何人之前，您應該通過運行此腳本並將其解放到某些目錄$ data_dir下載膠水數據。

3． run sh scripts/run_classifier_sst2.sh至微調阿爾伯特模型

結果

Albert在DEV上使用單模設置的膠水基準結果的性能：

	可樂	SST-2	mnli	STS-B
公制	matthews_corrcoef	準確性	準確性	皮爾遜

模型	可樂	SST-2	mnli	STS-B
albert_base_v2	0.5756	0.926	0.8418	0.9091
albert_large_v2	0.5851	0.9507		0.9151
albert_xlarge_v2	0.6023			0.9221