Word Prediction Ngram

Word-Prediction-Ngram

N-Gram 확률 모델을 사용한 다음 단어 예측.

다음 단어 예측을 위해 다양한 언어 모델을 사용하는 다양한 Jupyter 노트북이 있습니다.

입력 :

사용자는 텍스트 문장을 입력합니다

출력 :

입력 문장을 따를 수있는 단어를 예측합니다

다양한 언어 모델에서 다양한 언어 모델에서 다양한 스무딩 기술이 사용되었습니다.

사용 된 평활 기술 :

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

코드 작동 방식 :

1. 훈련 코퍼스 청소 (구두점 제거 등)
2. 언어 모델 생성 :
   i) N-Grams 형성 (유니 그램, Bigram, Trigram, Quadgram)
   ii) 다양한 평활화 메커니즘을 제공하는 확률 사전 생성