RNN Language Model

Model Bahasa RNN

Prediksi urutan karakter menggunakan RNN sederhana (jaringan saraf berulang) atau LSTM (memori jangka pendek).

Mengapa LSTM?

RNN standar menderita masalah gradien menghilang dan meledak. LSTM menangani masalah-masalah ini dengan menggunakan koneksi umpan balik dan memperkenalkan gerbang baru, seperti input dan melupakan gerbang, yang memungkinkan kontrol yang lebih baik atas aliran gradien dan memungkinkan pelestarian ketergantungan jarak jauh yang lebih baik.