Word Prediction Ngram

Wortvorsprachhilfe-Ngram

Nächste Wortvorhersage mit N-Gram-probabilistischen Modell.

Verschiedene Jupyter -Notizbücher verwenden verschiedene Sprachmodelle für die Vorhersage des nächsten Wortes.

Eingabe:

Die Benutzer geben in einen Textsatz ein

Ausgabe :

Prognostiziert ein Wort, das dem Eingabersatz folgen kann

In verschiedenen Sprachmodellen wurden verschiedene Glättungstechniken zusammen mit der Kombination von Interpolation und Backoff in diesen verschiedenen Sprachmodellen verwendet.

Verwendete Glättungstechniken:

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

Wie der Code funktioniert:

1. Reinigung des Trainingskorpus (Entfernen von Unterbrechungen usw.)
2. Schaffung eines Sprachmodells:
   i) Bildung von N-Gramm (Unigram, Bigram, Trigramm, Quadgram)
   ii) Erstellung der Wahrscheinlichkeitswörterbuch mit der Bereitstellung verschiedener Glättungsmechanismus