Word Prediction Ngram

单词预测ngram

使用n-gram概率模型的下一个单词预测。

各种jupyter笔记本都使用不同的语言模型来进行下一个单词预测。

输入 ：

用户输入文字句子

输出 ：

预测一个可以遵循输入句子的单词

在不同的语言模型中使用了各种平滑技术，以及在这些不同语言模型中的插值和退缩的结合。

使用的平滑技术：

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

代码的工作原理：

1. 清洁培训语料库（删除标点等）
2. 语言模型的创建：
   i）N-grams的形成（Umigram，Bigram，Trigram，Quadgram）
   ii）提供各种平滑机制的概率词典创建