ngram language model

N-грамм Языковая модель

Реализация питона модели N-грамма с сглаживанием Лапласа и генерацией предложений.

Используются некоторые функции NLTK ( nltk.ngrams , nltk.FreqDist ), но большинство всего все реализовано вручную.

ПРИМЕЧАНИЕ. Класс LanguageModel ожидает, что будут предоставлены данные, которые уже ориентированы на предложения. При использовании включенной функции load_data файлы train.txt и test.txt уже должны быть обработаны таким образом, чтобы:

1. пунктуация удаляется
2. Каждое предложение находится на собственной линии

См. data/ каталог для примеров.

---

Пример вывода для модели триграммы, обученной data/train.txt , и протестирован на data/test.txt :

 Loading 3-gram model...
Vocabulary size: 23505
Generating sentences...
...
<s> <s> the company said it has agreed to sell its shares in a statement </s> (0.03163)
<s> <s> he said the company also announced measures to boost its domestic economy and could be a long term debt </s> (0.01418)
<s> <s> this is a major trade bill that would be the first quarter of 1987 </s> (0.02182)
...
Model perplexity: 51.555

Цифры в скобках, кроме сгенерированных предложений, являются совокупными вероятностями, возникающими.

---

Информация об использовании:

 usage: N-gram Language Model [-h] --data DATA --n N [--laplace LAPLACE] [--num NUM]

optional arguments:
  -h, --help         show this help message and exit
  --data DATA        Location of the data directory containing train.txt and test.txt
  --n N              Order of N-gram model to create (i.e. 1 for unigram, 2 for bigram, etc.)
  --laplace LAPLACE  Lambda parameter for Laplace smoothing (default is 0.01 -- use 1 for add-1 smoothing)
  --num NUM          Number of sentences to generate (default 10)

---

Первоначально написанный Джошем Лором и Робином Косби, с небольшими модификациями. Последнее отредактировано 8 февраля 2018 года.