RNN Language Model

RNN -Sprachmodell

Charaktersequenzvorhersage unter Verwendung einfacher RNN (rezidivierende neuronale Netzwerke) oder LSTM (langes Kurzzeitgedächtnis).

Warum LSTM?

Standard -RNNs leiden unter verschwundenen und explodierenden Gradientenproblemen. LSTM befassen sich mit diesen Problemen, indem sie Feedback-Verbindungen verwenden und neue Gates einführen, wie z. B. Eingabe und Vergessen von Toren, die eine bessere Kontrolle über den Gradientenfluss ermöglichen und eine bessere Erhaltung der Abhängigkeiten von Langstrecken ermöglichen.