CharLM

Pytorch-charakterbewusstes-neuralsprachiges Modell

Dies ist die Pytorch-Implementierung des in diesem Artikel von Yoon Kim vorgeschlagenen charakterbewussten neuronalen Sprachmodells.

Anforderungen

Der Code wird mit Python 3.5.2 und Pytorch 0.3.1 ausgeführt und getestet.

Hyperparameter

Hyperparam	Wert
LSTM -Chargengröße	20
LSTM -Sequenzlänge	35
LSTM versteckte Einheiten	300
Epochen	35
Erste Lernrate	1.0
Charakter -Einbettungsdimension	15

Demo

Trainieren Sie das Modell mit geteilten Zug-/gültigen/Testdaten.

python train.py

Das geschulte Modell wird in cache/net.pkl gespeichert. Testen Sie das Modell.

python test.py

Bestes Ergebnis im Testsatz: ppl = 127.2163 Querentropy -Verlust = 4,8459

Anerkennung

Diese Implementierung liehen Ideen von ausgeliehen

https://github.com/jarfo/kchar

https://github.com/cronos123/character-ware-neural-language-models