CharLM

Pytorch-Character-Aware-Neural-Language-Model

これは、Yoon Kimによってこの論文で提案されたキャラクター認識のニューラル言語モデルのPytorchの実装です。

要件

コードは実行され、 Python 3.5.2およびPytorch 0.3.1でテストされます。

ハイパーパラメーター

ハイパーパラム	価値
LSTMバッチサイズ	20
LSTMシーケンス長	35
LSTM隠されたユニット	300
エポック	35
初期学習率	1.0
キャラクター埋め込みディメンション	15

デモ

スプリットトレイン/有効/テストデータでモデルをトレーニングします。

python train.py

訓練されたモデルはcache/net.pklで保存されます。モデルをテストします。

python test.py

テストセットでの最良の結果：ppl = 127.2163クロスエントロピー損失= 4.8459

了承

この実装はアイデアを借りました

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-neural-language-models