jpreprocess

jpreprocess

إنه يوسع الجمل اليابانية ويولد ملصقات سياق كاملة.

هذا هو إعادة كتابة الجزء المسبق للمعالجة من OpenJtalk (بخلاف محرك HTS) باستخدام الصدأ.

الأهداف والسياسات

• بدلاً من مجرد نقل بنية OpenJtalk ، تم تصميمه ليكون من السهل القراءة والكتابة قدر الإمكان.
• مع تقليل حجم ملفات القاموس بتنسيق القاموس الخاص به ، فإنه يستخدم أيضًا قاموس "جميع المعلومات كأوتار" التقليدية.
  • لا يتوافق مع قاموس MECAB نفسه ، ولكن يمكنك إنشاء قاموس باستخدام نفس ملف CSV كما تستخدمه لإنشاء قاموس MECAB.
• باستثناء بعض الميزات التي يبدو أنها أخطاء ، يمكنك الحصول على نفس الإخراج (ملصق السياق الكامل) تمامًا مثل OpenJtalk
  • على سبيل المثال ، تختلف طريقة قراءة "الأفعال المساعدة الخاصة" وإرباك 2 و 2 و 3 أرقام مفصولة عن OpenJtalk.
  • على الرغم من أنه لا يلغي إضافة ميزات جديدة ، إلا أننا نود التأكد من أنه لا تزال هناك طريقة للحصول على نفس الإخراج مثل OpenJtalk باستخدام الخيارات والإصدارات والميزات ، إلخ.
• هذا المستودع لا يتعامل مع محرك HTS
  • وهو يدعم إنشاء ملصقات السياق الكاملة ، ولكن بعد ذلك ، فهو خارج نطاق هذا المستودع.
  • يمكن العثور على مشروع لإعادة كتابة محرك HTS مع الصدأ في JPreprocess/jBonsai.

الصناديق

jpreprocess

إنها الواجهة الرئيسية. إنه غلاف لـ Lindera و JPreprocess-NJD و JPreprocess-Jpcommon والمزيد. يتم الاحتفاظ بالكلمات في نتيجة التحليل في بنية البيانات المحددة بواسطة jpreprocess-core.

مثال:

 use jpreprocess :: * ;

let config = JPreprocessConfig {
     dictionary : SystemDictionaryConfig :: File ( path ) ,
     user_dictionary : None ,
 } ;
let jpreprocess = JPreprocess :: from_config ( config ) ? ;

let jpcommon_label = jpreprocess
    . extract_fullcontext ( "日本語文を解析し、音声合成エンジンに渡せる形式に変換します．" ) ? ;
assert_eq ! (
  jpcommon_label [ 2 ] . to_string ( ) ,
  concat! (
      "sil^n-i+h=o" ,
      "/A:-3+1+7" ,
      "/B:xx-xx_xx" ,
      "/C:02_xx+xx" ,
      "/D:02+xx_xx" ,
      "/E:xx_xx!xx_xx-xx" ,
      "/F:7_4#0_xx@1_3|1_12" ,
      "/G:4_4%0_xx_1" ,
      "/H:xx_xx" ,
      "/I:3-12@1+2&1-8|1+41" ,
      "/J:5_29" ,
      "/K:2+8-41"
  )
) ;

jpreprocess-core

ويشمل هياكل البيانات مثل النطق ، والكلمات ، وأجزاء من الكلام ، و jpcommon ، وغيرها من الوظائف والهياكل ذات الصلة التي تمثل الأخطاء. pos هو اختصار لجزء من الكلام ويمثل "جزء من الكلام".

jpreprocess dictionary

يقوم بتحميل قاموس الكلمة الناتج عن بني JPreprocess-dictionary في الذاكرة ، مما يسمح بالبحث في الكلمات.

في هذا الوقت ، سيتم تحديد تنسيق القاموس تلقائيًا.

JPreprocess-dictionary-builder

يكون القاموس الأصلي بنفس تنسيق CSV مثل MECAB ، ولكن تحتاج إلى إنشاء قاموس مخصص مقدمًا حتى يمكن تحليله بسرعة عالية مع Lindera.

يتم إنشاؤه استنادًا إلى باني ليندريرا غير الجهدية ، لكن بوكس ​​القنوان JPreprocess يوسع أيضًا الأوتار مسبقًا ، ويمكنه توليد قاموس (قاموس JPreprocess) الذي يمكن معالجته مباشرة مع المعالجة jpreprocess.

jpreprocess-naist-jdic

قم بإنشاء قاموس لـ JPreprocess باستخدام القاموس الذي تم شحنه باستخدام OpenJtalk. تستخدم لميزة naist-jdic من قفص JPreprocess.

لاحظ أنه إذا قمت بتمكين ميزة naist-jdic وقمت بتضمين هذا الصندوق ، فسوف يستغرق الأمر عدة دقائق.

JPreprocess-NJD

إنه يحدد بنية njdnode و njd في OpenJtalk ، ويؤدي معالجة التحويل لـ NJD.

على وجه التحديد ، يقوم بتحويل قراءة الأرقام (على سبيل المثال ، "10،120" إلى "Ichiman Hyakuniju") ويقدر موضع اللكنة.

jpreprocess-jpcommon

إنه يحدد بنية JPCommonLabel في OpenJtalk ، ويحوله من NJD إلى JPCommon ثم JPCommon إلى ملصقات السياق الكاملة.

jpreprocess-window

قم بتنفيذ نافذة قابلة للتغيير المستخدمة في عملية تحويل JPreprocess-NJD.

حقوق الطبع والنشر

يتضمن هذا البرنامج رمز المصدر من:

• OpenJtalk. حقوق الطبع والنشر (C) 2008-2016 معهد ناجويا لتكنولوجيا قسم علوم الكمبيوتر
• لينديرا. حقوق الطبع والنشر (ج) 2019 من قبل مؤلفي المشروع
• يادا: راعٍ مزدوج آخر.

على الرغم من أن هذا المستودع يحتوي على ملف أصحاب الكود ، إلا أنه لا يعني بالضرورة أن المطورين المدرجين في ملف CodeAners لديهم حقوق الطبع والنشر لجميع الملفات في هذا المستودع. يتم سرد حقوق الطبع والنشر في ملفات الإشعار أو الترخيص ، وملف كود ماونين فقط لمراجعة التعليمات البرمجية.

رخصة

BSD-3-cause