CharLM

Pytorch-Character-Aware-Neural-Language-Model

Ini adalah implementasi Pytorch dari model bahasa saraf yang sadar karakter yang diusulkan dalam makalah ini oleh Yoon Kim.

Persyaratan

Kode dijalankan dan diuji dengan Python 3.5.2 dan Pytorch 0.3.1 .

Hyperparameters

Hyperparam	nilai
Ukuran batch LSTM	20
Panjang urutan LSTM	35
Unit tersembunyi LSTM	300
zaman	35
Tingkat Pembelajaran Awal	1.0
dimensi embedding karakter	15

Demo

Latih model dengan data kereta/valid/uji split.

python train.py

Model terlatih akan disimpan dalam cache/net.pkl . Uji model.

python test.py

Hasil Terbaik Pada Set Tes: PPL = 127.2163 Kehilangan entropi silang = 4.8459

Pengakuan

Implementasi ini meminjam ide dari

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-neural-danguage-models