Word Prediction Ngram

單詞預測ngram

使用n-gram概率模型的下一個單詞預測。

各種jupyter筆記本都使用不同的語言模型來進行下一個單詞預測。

輸入 ：

用戶輸入文字句子

輸出 ：

預測一個可以遵循輸入句子的單詞

在不同的語言模型中使用了各種平滑技術，以及在這些不同語言模型中的插值和退縮的結合。

使用的平滑技術：

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

代碼的工作原理：

1. 清潔培訓語料庫（刪除標點等）
2. 語言模型的創建：
   i）N-grams的形成（Umigram，Bigram，Trigram，Quadgram）
   ii）提供各種平滑機制的概率詞典創建