Word Prediction Ngram

Kata-prediksi-ngram

Prediksi kata berikutnya menggunakan model probabilistik n-gram.

Berbagai buku catatan Jupyter ada menggunakan model bahasa yang berbeda untuk prediksi kata berikutnya.

Input:

Pengguna memasukkan kalimat teks

Output:

Memprediksi kata yang dapat mengikuti kalimat input

Berbagai teknik smoothing telah digunakan dalam model bahasa yang berbeda bersama dengan kombinasi interpolasi dan backoff dalam model bahasa yang berbeda ini.

Teknik smoothing digunakan:

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

Bagaimana Kode Bekerja:

1. Pembersihan corpus pelatihan (menghilangkan tanda baca dll)
2. Penciptaan model bahasa:
   i) Pembentukan N-gram (Unigram, Bigram, Trigram, Quadgram)
   ii) Penciptaan kamus probabilitas dengan penyediaan berbagai mekanisme perataan