RNN Language Model

RNN 언어 모델

간단한 RNN (재발 성 신경망) 또는 LSTM (긴 단기 메모리)을 사용한 문자 서열 예측.

왜 lstm인가?

표준 RNN은 사라지고 폭발하는 그라디언트 문제로 어려움을 겪습니다. LSTM은 피드백 연결을 사용하고 입력 및 잊어 버린 게이트와 같은 새로운 게이트를 도입하여 이러한 문제를 처리하여 그라디언트 흐름을 더 잘 제어하고 장거리 종속성을 더 잘 보존 할 수 있도록합니다.