ngramModelTrainer

NGRAMMODELTRAINER

Mempelajari model bahasa N-gram yang diberi korpus. Corpus harus menjadi file teks, dengan satu kata per baris, tidak mengandung ruang antar kata.

Jumlah yang dipelajari adalah:

• Probabilitas Unigrams, P (G _I )
• Probabilitas bigrams, p (g _i | g _i-1 )
• Probabilitas Trigram, P (G _I | G _I-1 , G _I-2 )

Menguji dan berlari

Uji skrip dengan berjalan tanpa argumen:

 python3 ngramModelTrainer

Gunakan bendera -H untuk detail tentang cara menggunakan alat dengan input yang tepat:

 python3 ngramModelTrainer -h

Ada beberapa contoh input pada fixtures/ .

Output disimpan sebagai empat matriks Matlab.

• UNIGRAM: U (i) adalah singkatan dari P (I).
• Bigrams: B (I, J) berarti P (j | i).
• Trigram: t (i, j, k) berarti P (k | j, i).
• Quadgrams (Tetragram): Q (I, J, K, L) berarti P (L | K, J, I).

Alfabet

Alfabet unigram yang dapat diterima spesifik harus ditentukan. Secara default, kami menggunakan alfabet 36 kemungkinan huruf/digit. Ini diadakan dalam daftar ular python yang disebut 'alfabet', dalam urutan berikut:

• Posisi 0-25: huruf alfabet huruf kecil Latin, dalam urutan alfabet standar.
• Posisi 26-35: Digit 0-9.

Alternatif 'alternatif'

Versi alfabet di atas non-standar dapat digunakan. Ini termasuk: Dutta_Extended : Sejumlah karakter tambahan (ini terutama penyandian karakter dan tanda baca yang ditemukan dalam set dokumen tulisan tangan George Washington). Sophia : Karakter Yunani Polytonik. Dummy : satu set pengujian terbatas 3 karakter