CharLM

Pytorch-Character-taure-warre-nural語言模型

這是Yoon Kim本文提出的角色感知神經語言模型的Pytorch實施。

要求

該代碼使用Python 3.5.2和Pytorch 0.3.1進行運行和測試。

超參數

Hyperparam	價值
LSTM批處理大小	20
LSTM序列長度	35
LSTM隱藏單元	300
時代	35
初始學習率	1.0
字符嵌入維度	15

演示

使用分列/有效/測試數據訓練模型。

python train.py

訓練有素的模型將保存在cache/net.pkl中。測試模型。

python test.py

測試集的最佳結果：PPL = 127.2163橫熵損失= 4.8459

致謝

該實施從中藉來的想法

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-aur-naturage-models