Word Prediction Ngram

Word-Prediction-ngram

n-gram確率モデルを使用した次の単語予測。

さまざまなJupyterノートブックは、次の単語予測のために異なる言語モデルを使用しています。

入力：

ユーザーはテキスト文を入力します

出力：

入力文に従うことができる単語を予測します

これらの異なる言語モデルでの補間とバックオフの組み合わせとともに、さまざまな言語モデルでさまざまな平滑化技術が使用されています。

使用されるスムージングテクニック：

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

コードの仕組み：

1. トレーニングコーパスのクリーニング（句読点など）
2. 言語モデルの作成：
   i）n-gramsの形成（Unigram、Bigram、Trigram、Quadgram）
   ii）さまざまな平滑化メカニズムを提供する確率辞書の作成