ngramModelTrainer

ngrammodeltrainer

在給定的語料庫中學習N-Gram語言模型。語料庫應為文本文件，每行單詞一個單詞，沒有任何詞間空間。

學習的數量是：

• UMIGRAMS的概率，P（G _I ）
• Bigrams的概率，P（g _i | g _i-1 ）
• Trigrams的概率，P（g _i | g _i-1 ，g _i-2 ）

測試和運行

通過沒有參數運行來測試腳本：

 python3 ngramModelTrainer

使用-h標誌以獲取有關如何使用適當輸入的工具的詳細信息：

 python3 ngramModelTrainer -h

fixtures/有一些示例輸入。

輸出保存為四個MATLAB矩陣。

• Unigrams：u（i）代表p（i）。
• Bigrams：B（I，J）代表P（J | I）。
• Trigrams：T（I，J，K）代表P（K | J，I）。
• Quadgrams（Tetragrams）：Q（I，J，K，L）代表P（L | K，J，I）。

字母

需要定義一個特定可接受的摘要的字母。默認情況下，我們使用的是36個可能的字母/數字的字母。這些按以下順序在稱為“字母”的Python列表中舉行：

• 位置0-25：拉丁小寫字母字母，標準字母順序。
• 位置26-35：數字0-9。

“替代”字母

可以使用上述字母的非標準版本。其中包括： dutta_extended ：許多額外的字符（這些是喬治·華盛頓手寫文檔集中發現的字符和標點符號的編碼）。索菲亞：多磨的希臘角色。假人：有限的3個字符的測試集