CharLM
1.0.0
นี่คือการใช้ Pytorch ของรูปแบบภาษาประสาทที่รู้ตัวเป็นตัวละครที่เสนอในบทความนี้โดย Yoon Kim
รหัสถูกเรียกใช้และทดสอบด้วย Python 3.5.2 และ Pytorch 0.3.1
| Hyperparam | ค่า |
|---|---|
| ขนาดแบทช์ LSTM | 20 |
| ความยาวลำดับ LSTM | 35 |
| LSTM หน่วยซ่อน | 300 |
| ยุค | 35 |
| อัตราการเรียนรู้เบื้องต้น | 1.0 |
| มิติการฝังตัวละคร | 15 |
ฝึกอบรมแบบจำลองด้วยข้อมูลแบบแยกรถไฟ/ข้อมูลที่ถูกต้อง/ทดสอบ
python train.py
รูปแบบที่ผ่านการฝึกอบรมจะบันทึกใน cache/net.pkl ทดสอบแบบจำลอง
python test.py
ผลลัพธ์ที่ดีที่สุดในชุดทดสอบ: ppl = 127.2163 การสูญเสียเอนโทรปีข้าม = 4.8459
การนำไปใช้นี้ยืมแนวคิดจาก
https://github.com/jarfo/kchar
https://github.com/cronos123/character-aware-neural-language-models
