CharLM

Pytorch-caracter-aware-neural-language-model

Il s'agit de la mise en œuvre pytorch du modèle de langage neuronal conscient du caractère proposé dans cet article par Yoon Kim.

Exigences

Le code est exécuté et testé avec Python 3.5.2 et Pytorch 0.3.1 .

Hyperparamètres

Hyperparam	valeur
Taille du lot LSTM	20
Longueur de séquence LSTM	35
LSTM Unités cachées	300
époques	35
taux d'apprentissage initial	1.0
Dimension d'intégration du caractère	15

Démo

Former le modèle avec des données de train / valide / test / test.

python train.py

Le modèle qualifié sera enregistré dans cache/net.pkl . Tester le modèle.

python test.py

Meilleur résultat sur l'ensemble de tests: PPL = 127.2163 Perte d'entropie croisée = 4.8459

Reconnaissance

Cette implémentation a emprunté des idées à

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-neural-language-models