spacy_kenlm

spacy_kenlm: extensão Kenlm para spacy 2.0

Este pacote adiciona suporte Kenlm como uma extensão Spacy 2.0.

Uso

Treine um modelo de idioma kenLM primeiro (ou use o modelo de teste do test.arpa ).

Adicione o spacykenlm ao oleoduto Spacy para retornar as pontuações.

 import spacy
from spacy_kenlm import spaCyKenLM

nlp = spacy.load('en_core_web_sm')

spacy_kenlm = spaCyKenLM()  # default model from test.arpa

nlp.add_pipe(spacy_kenlm)

doc = nlp('How are you?')

# doc score
doc._.kenlm_score

# span score
doc[:2]._.kenlm_score

# token score
doc[2]._.kenlm_score

Instalação

Instale no pacote PIP.

 pip install spacy_kenlm