CharLM

Pytorch-Character-Ocredare Neural-Language Model

Esta é a implementação de Pytorch do modelo de linguagem neural com reconhecimento de característica proposto neste artigo por Yoon Kim.

Requisitos

O código é executado e testado com Python 3.5.2 e Pytorch 0.3.1 .

Hyperparameters

Hyperparam	valor
Tamanho do lote LSTM	20
Comprimento da sequência LSTM	35
Unidades ocultas LSTM	300
épocas	35
taxa de aprendizado inicial	1.0
Dimensão de incorporação de caracteres	15

Demonstração

Treine o modelo com o trem dividido/dados válidos/de teste.

python train.py

O modelo treinado será salvo em cache/net.pkl . Teste o modelo.

python test.py

Melhor resultado no conjunto de testes: ppl = 127.2163 Perda de entropia cruzada = 4,8459

Reconhecimento

Esta implementação emprestou idéias de

https://github.com/jarfo/kchar

https://github.com/cronos123/character-warare-neural-language-models