CharLM

Pytorch-character-Aware-Neural-Language-Model

Это внедрение Pytorch модели нейронного языка с акцентом на характер, предложенной в этой статье Юном Ким.

Требования

Код запускается и протестирован с помощью Python 3.5.2 и Pytorch 0.3.1 .

Гиперпараметры

Гиперпарам	ценить
Размер партии LSTM	20
Длина последовательности LSTM	35
LSTM скрытые единицы	300
эпохи	35
Первоначальный уровень обучения	1.0
Встроенный характер измерение	15

Демо

Обучите модель с разделенным поездом/достоверным/тестовым данных.

python train.py

Обученная модель будет сохранена в cache/net.pkl . Проверьте модель.

python test.py

Лучший результат на наборе тестирования: PPL = 127.2163 Потеря поперечной энтропии = 4,8459

Подтверждение

Эта реализация заимствовала идеи у

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-neraular-language-models