RNN Language Model

Modelo de idioma rnn

Predicción de secuencia de caracteres utilizando RNN simple (redes neuronales recurrentes) o LSTM (memoria a largo plazo).

¿Por qué LSTM?

Los RNN estándar sufren problemas de gradiente de desaparición y explosión. LSTM aborda estos problemas utilizando conexiones de retroalimentación e introduciendo nuevas puertas, como las puertas de entrada y olvida, que permiten un mejor control sobre el flujo de gradiente y permiten una mejor preservación de las dependencias de largo alcance.