RNN Language Model

RNN语言模型

使用简单的RNN（复发性神经网络）或LSTM（长期短期记忆）的字符序列预测。

为什么要LSTM？

标准RNN因消失和爆炸梯度问题而遭受。 LSTM通过使用反馈连接并引入新门（例如输入和忘记门）来处理这些问题，从而可以更好地控制梯度流，并可以更好地保留长期依赖性。