ngramModelTrainer

ngrammodeltrainer

コーパスを与えられたN-Gram言語モデルを学習します。コーパスは、単語間スペースが含まれていない1行ごとに1つの単語を持つテキストファイルでなければなりません。

学習された量は次のとおりです。

• ユニグラムの確率、P（g _i ）
• Bigramsの確率、P（g _i | g _i-1 ）
• トリグラムの確率、P（g _i | g _i-1 、g _i-2 ）

テストと実行

引数なしで実行してスクリプトをテストします。

 python3 ngramModelTrainer

適切な入力でツールを使用する方法の詳細については、-hフラグを使用してください。

 python3 ngramModelTrainer -h

fixtures/ 。

出力は4つのMATLABマトリックスとして保存されます。

• Unigrams：u（i）はp（i）を表します。
• bigrams：b（i、j）はp（j | i）を表します。
• Trigrams：t（i、j、k）はp（k | j、i）を表します。
• Quadgrams（Tetragrams）：Q（I、J、K、L）はP（L | K、J、I）を表しています。

アルファベット

特定の許容可能なユニグラムのアルファベットを定義する必要があります。デフォルトでは、36の可能な文字/数字のアルファベットを使用しています。これらは、「Alphabet」と呼ばれるPythonリストに次の順序で保持されています。

• 位置0-25：ラテン小文字のアルファベット文字、標準的なアルファベット順。
• 位置26-35：数字0-9。

「代替」アルファベット

上記のアルファベットの「標準以外」バージョンが使用される場合があります。これらには、 dutta_extended ：多くの余分なキャラクター（これらは特に、ジョージワシントンの手書きドキュメントセットに見られるキャラクターのエンコーディングと句読点です）。ソフィア：ポリトンギリシャのキャラクター。ダミー：3文字の限られたテストセット