albert_pytorch

เวอร์ชันภาษาอังกฤษ |中文版说明

Albert_pytorch

ที่เก็บนี้มีการใช้งาน Pytorch ของโมเดลอัลเบิร์ตจากกระดาษ

Lite Bert สำหรับการเป็นตัวแทนภาษาการเรียนรู้ที่ดูแลตนเอง

โดย Zhenzhong Lan Mingda Chen ....

การพึ่งพาอาศัยกัน

• pytorch = 1.10
• cuda = 9.0
• cudnn = 7.5
• Scikit-learn
• ชิ้นประโยค

ดาวน์โหลดรุ่นภาษาอังกฤษที่ผ่านการฝึกอบรมมาล่วงหน้า

ลิงค์ดาวน์โหลดอย่างเป็นทางการ: Google Albert

ปรับให้เข้ากับเวอร์ชันนี้， ดาวน์โหลด Pytorch Model (Google Drive):

V1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

V2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

การปรับแต่ง

１. วาง config.json และ 30k-clean.model ลงในไดเรกทอรี prev_trained_model/albert_base_v2 ตัวอย่าง:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．Convert จุดตรวจสอบ Albert TF ไปยัง Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

เกณฑ์มาตรฐานการประเมินความเข้าใจภาษาทั่วไป (กาว) เป็นชุดของการทำความเข้าใจภาษาคู่หนึ่งประโยคหรือประโยคคู่สำหรับการประเมินและวิเคราะห์ระบบทำความเข้าใจภาษาธรรมชาติ

ก่อนที่จะเรียกใช้งานกาวเหล่านี้คุณควรดาวน์โหลดข้อมูลกาวโดยเรียกใช้สคริปต์นี้และแกะกล่องลงในไดเรกทอรี $ data_dir

3．Run sh scripts/run_classifier_sst2.sh เพื่อปรับจูนรุ่นอัลเบิร์ต

ผลลัพธ์

ประสิทธิภาพของอัลเบิร์ตในผลการวัดเกณฑ์มาตรฐานกาวโดยใช้การตั้งค่าแบบจำลองเดียวใน dev :

	โคล่า	SST-2	mnli	STS-B
ตัวชี้วัด	matthews_corrcoef	ความแม่นยำ	ความแม่นยำ	เพียร์สัน

แบบอย่าง	โคล่า	SST-2	mnli	STS-B
Albert_base_v2	0.5756	0.926	0.8418	0.9091
Albert_large_v2	0.5851	0.9507		0.9151
albert_xlarge_v2	0.6023			0.9221