bert_distill

การทดลองกลั่นตามเบิร์ต

เอกสารอ้างอิง "ความรู้เฉพาะงานกลั่นจาก Bert ไปสู่เครือข่ายประสาทง่าย"

การทดลองดำเนินการตาม textcnn และ bilstm (GRU) โดยใช้ keras และ pytorch ตามลำดับ

ข้อมูลการทดลองแบ่งออกเป็น 1 (การฝึกอบรมแท็ก): 8 (ไม่มีการฝึกอบรมฉลาก): 1 (ทดสอบ)

ผลลัพธ์เบื้องต้นในชุดข้อมูลของเสื้อผ้าการจำแนกประเภทอารมณ์ 2 มีดังนี้:

• ความแม่นยำของโมเดลขนาดเล็ก (TextCNN & BILSTM) อยู่ระหว่าง 0.80 ถึง 0.81

• ความแม่นยำของแบบจำลอง Bert อยู่ระหว่าง 0.90 ถึง 0.91

• ความแม่นยำของแบบจำลองการกลั่นอยู่ระหว่าง 0.87 ถึง 0.88

ผลการทดลองนั้นสอดคล้องกับข้อสรุปของกระดาษและสอดคล้องกับความคาดหวัง

แผนการกลั่นที่มีประสิทธิภาพอื่น ๆ จะได้รับการลองในภายหลัง

วิธีใช้

ก่อนอื่น Finetune Bert

python ptbert.py

จากนั้นกลั่นความรู้ของเบิร์ตในรูปแบบเล็ก ๆ

คุณต้องคลาย data/cache/word2vec.gz ก่อน

แล้ว

python distill.py

การปรับ use_aug และพารามิเตอร์ต่อไปนี้ในไฟล์สามารถใช้วิธีการเพิ่มประสิทธิภาพข้อมูลสองวิธีที่กล่าวถึงในกระดาษ (การปิดบัง, การสุ่มตัวอย่าง N-GRAM)