spacy_kenlm
Initial release of spacy KenLM
Dieses Paket fügt die KenLM -Unterstützung als Spacy 2.0 -Erweiterung hinzu.
Trainieren Sie zuerst ein kenLM -Sprachmodell (oder verwenden Sie das Testmodell von test.arpa ).
Fügen Sie die Spazykenlm in die Spacy -Pipeline hinzu, um die Ergebnisse zurückzugeben.
import spacy
from spacy_kenlm import spaCyKenLM
nlp = spacy.load('en_core_web_sm')
spacy_kenlm = spaCyKenLM() # default model from test.arpa
nlp.add_pipe(spacy_kenlm)
doc = nlp('How are you?')
# doc score
doc._.kenlm_score
# span score
doc[:2]._.kenlm_score
# token score
doc[2]._.kenlm_score
Installieren Sie aus dem PIP -Paket.
pip install spacy_kenlm
