Word Prediction Ngram

Word-Prediction-Ngram

Следующее прогноз слова с использованием вероятностной модели N-грамма.

Различные ноутбуки Jupyter используют различные языковые модели для следующего прогнозирования слова.

Вход :

Пользователи входят в текстовое предложение

Выход :

Предсказывает слово, которое может следовать входном предложении

Различные методы сглаживания использовались в различных языковых моделях, а также комбинация интерполяции и отключения в этих различных языковых моделях.

Используются методы сглаживания:

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

Как работает код:

1. Очистка учебного корпуса (удаление пунктуаций и т. Д.)
2. Создание языковой модели:
   i) Формирование N-граммов (Unigram, Bigram, Trigram, Quadgram)
   ii) Создание словесного слова с предоставлением различного механизма сглаживания