Word Prediction Ngram

الكلمات الهرم النغمة

تنبؤ الكلمة التالية باستخدام نموذج احتمالي N-Gram.

توجد أجهزة كمبيوتر محمولة مختلفة من Jupyter باستخدام نماذج لغة مختلفة للتنبؤ بالكلمة التالية.

مدخل :

يدخل المستخدمون جملة نصية

الإخراج:

يتوقع كلمة يمكنها اتباع جملة الإدخال

تم استخدام تقنيات تجانس مختلفة في نماذج لغة مختلفة إلى جانب مزيج من الاستيفاء والتراجع في هذه النماذج اللغوية المختلفة.

تقنيات التنعيم المستخدمة:

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

كيف يعمل الرمز:

1. تنظيف مجموعة التدريب (إزالة العلامات التجارية وما إلى ذلك)
2. إنشاء نموذج اللغة:
   ط) تشكيل n-grams (unigram ، bigram ، trigram ، quadgram)
   2) إنشاء قاموس الاحتمالات مع توفير آلية تجانس مختلفة