jpreprocess

jpreprocess

它解析日语句子并生成完整的上下文标签。

这是使用Rust的OpenJtalk（HTS发动机除外）的预处理部分的重写。

目标和政策

• 它不仅仅是传输openjtalk结构，而是旨在尽可能易于读写。
• 同时，使用自己的字典格式缩小了字典文件的大小，它还使用传统的“所有信息作为字符串”字典。
  • 与MeCab字典本身都不兼容，但是您可以使用与构建MeCab词典相同的CSV文件生成字典。
• 除某些似乎是错误的功能外，您可以获得与OpenJtalk完全相同的输出（完整上下文标签）
  • 例如，阅读“特殊辅助动词”和使2、2、3位分隔数字混淆的方法与OpenJtalk不同。
  • 尽管它不会消除新功能的添加，但我们要确保仍然有一种使用选项，版本，功能等获得与OpenJtalk相同输出的方法。
• 该存储库无法处理HTS引擎
  • 它支持创建完整的上下文标签，但除此之外，它超出了此存储库的范围。
  • 可以在JPReprocess/jbonsai找到一个用Rust重写HTS引擎的项目。

板条箱

jpreprocess

它是主要接口。它是Lindera，JpreProcess-NJD，JPReprocess-jpcommon等的包装纸。分析结果中的单词保留在JPReprocess核心定义的数据结构中。

例子：

 use jpreprocess :: * ;

let config = JPreprocessConfig {
     dictionary : SystemDictionaryConfig :: File ( path ) ,
     user_dictionary : None ,
 } ;
let jpreprocess = JPreprocess :: from_config ( config ) ? ;

let jpcommon_label = jpreprocess
    . extract_fullcontext ( "日本語文を解析し、音声合成エンジンに渡せる形式に変換します．" ) ? ;
assert_eq ! (
  jpcommon_label [ 2 ] . to_string ( ) ,
  concat! (
      "sil^n-i+h=o" ,
      "/A:-3+1+7" ,
      "/B:xx-xx_xx" ,
      "/C:02_xx+xx" ,
      "/D:02+xx_xx" ,
      "/E:xx_xx!xx_xx-xx" ,
      "/F:7_4#0_xx@1_3|1_12" ,
      "/G:4_4%0_xx_1" ,
      "/H:xx_xx" ,
      "/I:3-12@1+2&1-8|1+41" ,
      "/J:5_29" ,
      "/K:2+8-41"
  )
) ;

jpreprocess核

它包括发音，单词，语音部分，jpcommon的部分以及代表错误的其他相关功能和结构等数据结构。 pos是演讲部分的首字母缩写，代表“言语的一部分”。

jpreprocess-dictionary

将jpreprocess-dictionary-builder生成的单词词典加载到内存中，从而可以搜索单词。

目前，将自动确定字典格式。

jpreprocess-dictionary-builder

原始词典与MeCab的CSV格式相同，但是您需要提前生成专用词典，以便可以与Lindera高速分析。

它是基于Lindera的Lindera-ipadic-Builder创建的，但是JPReCrecess-dictionary-Builder也提前解析了字符串，并且可以生成一个可以直接与JPreProcess一起处理的字典（JPreProcess Dictionary）。

jpreprocess-naist-jdic

使用用OpenJtalk发货的字典生成jpreprocess的字典。用于JpreProcess Crate的naist-jdic特征。

请注意，如果启用naist-jdic功能并包括此板条箱，则需要几分钟才能构建。

jpreprocess-njd

它在OpenJtalk中定义了NJDNODE和NJD的结构，并为NJD执行转换处理。

具体而言，它将数字的读数（例如，“ 10,120”转换为“ Ichiman Hyakuniju”），并估计了口音位置。

jpreprocess-jpcommon

它在OpenJtalk中定义了JPCommonLabel的结构，并将其从NJD转换为JPCommon，然后将JPCommon转换为完整上下文标签。

jpreprocess-window

在JPReprocess-NJD转换过程中实现一个可变窗口。

版权

该软件包括以下来自以下的源代码

• OpenJtalk。版权（C）2008-2016名古屋技术学院计算机科学系
• Lindera。项目作者的版权（c）2019
• Yada：另一个双阵列。

尽管该存储库中有复论者文件，但这并不一定意味着在清算员文件中列出的开发人员具有此存储库中所有文件的版权。版权在通知或许可证文件中列出，而计量师文件仅用于代码审核。

执照

BSD-3-C-sause