CharLM
1.0.0
Esta es la implementación de Pytorch del modelo de lenguaje neuronal consciente de los carácter propuesto en este documento por Yoon Kim.
El código se ejecuta y se prueba con Python 3.5.2 y Pytorch 0.3.1 .
| Hiperparama | valor |
|---|---|
| Tamaño por lotes LSTM | 20 |
| Longitud de secuencia LSTM | 35 |
| Unidades ocultas de LSTM | 300 |
| épocas | 35 |
| tasa de aprendizaje inicial | 1.0 |
| Dimensión de incrustación de personajes | 15 |
Entrena el modelo con datos de tren dividido/válido/de prueba.
python train.py
El modelo capacitado se guardará en cache/net.pkl . Prueba el modelo.
python test.py
El mejor resultado en el conjunto de pruebas: PPL = 127.2163 Pérdida de entropía cruzada = 4.8459
Esta implementación tomó ideas prestadas de
https://github.com/jarfo/kchar
https://github.com/cronos123/character-ware-neural-language-models
