الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

ngrammodeltrainer

يتعلم نموذج لغة n-gram أعطى مجموعة. يجب أن يكون الجسم ملفًا نصيًا ، بكلمة واحدة لكل سطر ، لا تحتوي على مسافات بين الكلمات.

الكميات المستفادة هي:

  • احتمالات unigrams ، p (g i )
  • احتمالات Bigrams ، P (g i | g i-1 )
  • احتمالات Trigrams ، P (g i | g i-1 ، g i-2 )

اختبار وتشغيل

اختبر البرنامج النصي عن طريق الجري بدون حجة: 

 python3 ngramModelTrainer

استخدم علامة -H للحصول على تفاصيل حول كيفية استخدام الأداة مع الإدخال المناسب: 

 python3 ngramModelTrainer -h

هناك بعض الأمثلة على المدخلات على fixtures/ .

يتم حفظ الإخراج كأربعة مصفوفات MATLAB.

  • unigrams: u (i) تعني P (i).
  • Bigrams: B (I ، J) تعني P (J | I).
  • trigrams: t (i ، j ، k) يرمز إلى p (k | j ، i).
  • Quadgrams (tetragrams): Q (i ، j ، k ، l) تعني p (l | k ، j ، i).

الأبجدية

يلزم تحديد أبجدية من unigrams مقبولة محددة. بشكل افتراضي ، نستخدم أبجديًا من 36 حرفًا/أرقامًا ممكنة. يتم عقدها في قائمة Python تسمى "Alphabet" ، بالترتيب التالي:

  • المواضع 0-25: أحرف الأبجدية الصغيرة اللاتينية ، بالترتيب الأبجدي القياسي.
  • المواضع 26-35: الأرقام 0-9.

أبجدية "بديلة"

يمكن استخدام إصدارات غير standard من الأبجدية أعلاه. وتشمل هذه: dutta_extended : عدد من الأحرف الإضافية (هذه هي ترميزات بشكل ملحوظ للشخصيات وعلامات الترقيم الموجودة في مجموعة المستندات المكتوبة بخط اليد جورج واشنطن). صوفيا : الشخصيات اليونانية polytonic. دمية : مجموعة اختبار محدودة من 3 أحرف

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل