LIMIT BERT

ขีด จำกัด-เบิร์ต

สารบัญ

1. ความต้องการ
2. การฝึกอบรม

ความต้องการ

• Python 3.6 หรือสูงกว่า
• Cython 0.25.2 หรือรุ่นที่เข้ากันได้ใด ๆ
• Pytorch 1.0.0+
• evalb ก่อนที่จะเริ่มใช้ make ภายใน EVALB/ ไดเรกทอรีเพื่อรวบรวมการทำงานของ evalb สิ่งนี้จะถูกเรียกจาก Python เพื่อการประเมินผล
• Pytorch-transformers Pytorch 1.0.0+ หรือรุ่นที่เข้ากันได้ใด ๆ

โมเดลที่ผ่านการฝึกอบรมมาก่อน (Pytorch)

รุ่นที่ผ่านการฝึกอบรมมาก่อนมีให้ดาวน์โหลดจาก Google Drive:

• LIMIT-BERT : รุ่น Pytorch, การตั้งค่าเดียวกันกับ Bert-Large-WWM， รุ่นโหลดพร้อมกับ pytorch-transformers

การฝึกอบรม

เพื่อฝึก Limit-Bert เพียงแค่วิ่ง:

 sh run_limitbert.sh

คำแนะนำการประเมินผล

เพื่อทดสอบหลังจากตั้งค่าเส้นทางโมเดล:

 sh test_bert.sh