ngramModelTrainer

NGrammodelTrainer

Aprende um modelo de idioma n-gramas dado um corpus. O corpus deve ser um arquivo de texto, com uma única palavra por linha, não contendo espaços entre palavras.

As quantidades aprendidas são:

• Probabilidades de Unigrams, P (G _I )
• Probabilidades de bigrams, p (g _i | g _i-1 )
• Probabilidades de TriGramas, P (G _I | G _I-1 , G _I-2 )

Testando e executando

Teste o script executando sem argumento:

 python3 ngramModelTrainer

Use o sinalizador -h para obter detalhes sobre como usar a ferramenta com entrada adequada:

 python3 ngramModelTrainer -h

Existem alguns exemplos de entradas nos fixtures/ .

A saída é salva como quatro matrizes MATLAB.

• Unigrams: u (i) significa p (i).
• bigrams: B (i, j) significa p (j | i).
• TriGramas: t (i, j, k) significa p (k | j, i).
• Quadgrams (tetragramas): q (i, j, k, l) significa p (l | k, j, i).

Alfabeto

É necessário definir um alfabeto de unigramas aceitáveis ​​específicos. Por padrão, estamos usando um alfabeto de 36 letras/dígitos possíveis. Estes são mantidos em uma lista de Python chamada 'Alphabet', na seguinte ordem:

• Posições 0-25: Letters de alfabetos minúsculos latinos, em ordem alfabética padrão.
• Posições 26-35: dígitos 0-9.

Alfabetos 'alternativos'

As versões não-padrão do alfabeto acima podem ser usadas. Isso inclui: Dutta_extended : vários caracteres extras (são notavelmente codificações dos personagens e pontuação encontrados no conjunto de documentos manuscritos de George Washington). Sophia : Personagens Gregos Polonônicos. Dummy : um conjunto de testes limitado de 3 caracteres