albert_pytorch

Versi Bahasa Inggris |中文版说明

Albert_pytorch

Repositori ini berisi implementasi Pytorch dari model Albert dari kertas

Lite Bert untuk representasi bahasa pembelajaran sendiri

Oleh Zhenzhong Lan. Mingda Chen ....

Dependensi

• pytorch = 1.10
• CUDA = 9.0
• cudnn = 7.5
• scikit-learn
• kalimat

Unduh model bahasa Inggris yang sudah terlatih

Tautan Unduhan Resmi: Google Albert

Beradaptasi dengan versi ini, unduh model Pytorch (Google Drive):

v1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

v2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

Fine-tuning

１. Tempatkan config.json dan 30k-clean.model ke dalam direktori prev_trained_model/albert_base_v2 . contoh:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．onvert Albert TF Checkpoint ke Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

Benchmark evaluasi pemahaman bahasa umum (lem) adalah kumpulan sembilan kalimat atau tugas pemahaman bahasa pasangan kalimat untuk mengevaluasi dan menganalisis sistem pemahaman bahasa alami.

Sebelum menjalankan siapa pun dari tugas lem ini, Anda harus mengunduh data lem dengan menjalankan skrip ini dan membongkar beberapa direktori $ data_dir.

3．run sh scripts/run_classifier_sst2.sh untuk menyempurnakan model Albert

Hasil

Kinerja Albert pada hasil benchmark lem menggunakan pengaturan model tunggal di dev :

	Cola	SST-2	Mnli	STS-B
metrik	Matthews_corrcoef	ketepatan	ketepatan	Pearson

model	Cola	SST-2	Mnli	STS-B
albert_base_v2	0.5756	0.926	0.8418	0.9091
albert_large_v2	0,5851	0.9507		0.9151
albert_xlarge_v2	0.6023			0.9221