RNN Language Model

Modèle de langue RNN

Prédiction de séquence de caractères utilisant un RNN simple (réseaux de neurones récurrents) ou LSTM (mémoire à court terme).

Pourquoi LSTM?

Les RNN standard souffrent de problèmes de dégradé disparaître et d'exploser. LSTM s'occupe de ces problèmes en utilisant des connexions de rétroaction et en introduisant de nouvelles portes, telles que les portes d'entrée et d'oubli, qui permettent un meilleur contrôle sur le flux de gradient et permettent une meilleure préservation des dépendances à long terme.