Sentence Completion using Hidden Markov Models
1.0.0
الهدف من هذا البرنامج النصي هو تنفيذ ثلاثة نماذج من Langauge لأداء إكمال الجملة ، أي إعطاء جملة بكلمة مفقودة لاختيار النماذج الصحيحة من قائمة الكلمات المرشحة. تتمثل طريقة استخدام نموذج اللغة لهذه المشكلة في النظر في كلمة مرشح محتملة للجمل في وقت واحد ثم اسأل نموذج اللغة عن إصدار الجملة الأكثر احتمالًا.
الجمل التي سيتم إكمالها مع الكلمات المرشحة موجودة في هذا الملف: QUESSIPTES.TXT. يتم الإشارة إلى الكلمة التي سيتم إكمالها بـ " " في حين أن زوج الكلمات المرشحة في نهاية السطر (على سبيل المثال الطقس/ما إذا). الشخصية ":" بين الجملة والمرشحين ليسوا جزءًا من Sentece. لتطبيق نموذج لغة على جملة لكلمة مرشح معينة ، يستبدل البرنامج النصي " " بكلمة المرشح.
توجد نصوص لتدريب نماذج لغتك في هذا الملف: News-Corpus-500K.TXT (70MB) ، وهي مجموعة فرعية صغيرة من معيار كلمة مليار.
لتشغيل البرنامج النصي استخدام: Python3 LM.Py News-Corpus-500K.TXT QUESS.TXT
إذا كنت ترغب في تدريب النموذج الخاص بك على مجموعة أخرى من News-Corpus-500K ، فما عليك سوى استبدال الوسيطة الثانية بالمسار إلى مجموعةك الخاصة ، أيضًا ، منك ، تريد اختبار نموذجك على مجموعة مختلفة من الجمل ، فقط استبدل الجرح الثالث بالمسار إلى الجمل الخاصة بك. ضع في اعتبارك استخدام نفس النمط للجمل المخصصة التي تريد اختبار النموذج الخاص بك.
