LIMIT BERT

Limit-Bert

Isi

1. Persyaratan
2. Pelatihan

Persyaratan

• Python 3.6 atau lebih tinggi.
• Cython 0.25.2 atau versi yang kompatibel.
• Pytorch 1.0.0+.
• Evalb. Sebelum memulai, jalankan make Inside the EVALB/ Directory untuk mengkompilasi evalb Executable. Ini akan dipanggil dari Python untuk evaluasi.
• Pytorch-Transformers Pytorch 1.0.0+ atau versi yang kompatibel.

Model pra-terlatih (pytorch)

Model pra-terlatih berikut tersedia untuk diunduh dari Google Drive:

• LIMIT-BERT : Versi Pytorch, pengaturan yang sama dengan Model Bert-Large-WWM, pemuatan dengan transformer Pytorch.

Pelatihan

Untuk melatih Limit-Bert, cukup jalankan:

 sh run_limitbert.sh

Instruksi evaluasi

Untuk menguji setelah pengaturan model model:

 sh test_bert.sh