jpreprocess

JPREPROCESS

Es analysiert japanische Sätze und generiert vollständige Kontextbezeichnungen.

Dies ist ein Umschreiben des Vorverarbeitungsteils von OpenJtalk (außer HTS -Motor) mit Rost.

Ziele und Richtlinien

• Anstatt nur die OpenJtalk -Struktur zu übertragen, ist sie so einfach wie möglich zu lesen und zu schreiben.
• Während die Größe der Wörterbuchdateien mit einem eigenen Wörterbuchformat reduziert wird, verwendet es auch traditionelle "Alle Informationen als Zeichenfolgen" -Dictionary.
  • Keiner ist mit dem Mecab -Wörterbuch selbst kompatibel, aber Sie können ein Wörterbuch mit derselben CSV -Datei erstellen, wie Sie ein Mecab -Wörterbuch erstellen würden.
• Mit Ausnahme einiger Funktionen, die anscheinend Fehler sind, können Sie genau die gleiche Ausgabe (volles Kontextetikett) wie OpenJtalk erhalten
  • Zum Beispiel unterscheidet sich die Art und Weise, wie "Special Auxiliary Verben" und das Verwirren von 2, 2, 3 Ziffern getrennten Zahlen von OpenJtalk unterscheiden.
  • Obwohl es die Hinzufügung neuer Funktionen nicht beseitigt, möchten wir jedoch sicherstellen, dass es immer noch eine Möglichkeit gibt, die gleiche Ausgabe wie OpenJtalk mit Optionen, Versionen, Funktionen usw. zu erhalten, usw.
• Dieses Repository behandelt keine HTS -Engine
  • Es unterstützt die Erstellung vollständiger Kontextbezeichnungen, aber darüber hinaus liegt es außerhalb des Rahmens dieses Repositorys.
  • Ein Projekt zum Umschreiben von HTS -Engine mit Rost finden Sie bei JProprocess/JBONSAI.

Kisten

JPREPROCESS

Es ist die Hauptschnittstelle. Es ist ein Wrapper für Lindera, JProprocess-NJD, JProprocess-Jpcommon und mehr. Die Wörter im Analyseergebnis werden in der von JProprocess-Core definierten Datenstruktur aufbewahrt.

Beispiel:

 use jpreprocess :: * ;

let config = JPreprocessConfig {
     dictionary : SystemDictionaryConfig :: File ( path ) ,
     user_dictionary : None ,
 } ;
let jpreprocess = JPreprocess :: from_config ( config ) ? ;

let jpcommon_label = jpreprocess
    . extract_fullcontext ( "日本語文を解析し、音声合成エンジンに渡せる形式に変換します．" ) ? ;
assert_eq ! (
  jpcommon_label [ 2 ] . to_string ( ) ,
  concat! (
      "sil^n-i+h=o" ,
      "/A:-3+1+7" ,
      "/B:xx-xx_xx" ,
      "/C:02_xx+xx" ,
      "/D:02+xx_xx" ,
      "/E:xx_xx!xx_xx-xx" ,
      "/F:7_4#0_xx@1_3|1_12" ,
      "/G:4_4%0_xx_1" ,
      "/H:xx_xx" ,
      "/I:3-12@1+2&1-8|1+41" ,
      "/J:5_29" ,
      "/K:2+8-41"
  )
) ;

JPREPROCESS-CORE

Es enthält Datenstrukturen wie Aussprache, Wörter, Teile der Sprache, JPCommon und andere verwandte Funktionen und Strukturen, die Fehler darstellen. pos ist ein Akronym für einen Teil der Sprache und repräsentiert "Teil der Sprache".

JPREPROCESS-DIMITARY

Lädt das von JProprocess-Dictionary-Builder generierte Wort Dictionary in das Gedächtnis, sodass Wörter durchsucht werden können.

Zu diesem Zeitpunkt wird das Wörterbuchformat automatisch ermittelt.

JPREPROCESS-DICYARY-BUMPERILER

Das ursprüngliche Wörterbuch befindet sich im selben CSV -Format wie Mecab, aber Sie müssen im Voraus ein dediziertes Wörterbuch erzeugen, damit es mit Lindera mit hoher Geschwindigkeit analysiert werden kann.

Es basiert auf Linkera-Ipadic-Builder von Lindera, aber JProprocess-Dictionary-Builder analysiert auch Strings im Voraus und kann ein Wörterbuch (JProprocess Dictionary) generieren, das direkt mit JProprocess verarbeitet werden kann.

JPREPROCESS-NAIST-JDIC

Generieren Sie ein Wörterbuch für JProprocess unter Verwendung des Wörterbuchs, das mit OpenJtalk versendet wurde. Wird für naist-jdic Merkmale von JProprocess Crate verwendet.

Beachten Sie, dass der Bau einige Minuten dauert, wenn Sie naist-jdic -Funktion aktivieren und diese Kiste einschließen.

JPREPROCESS-NJD

Es definiert die Struktur von NJDNode und NJD in OpenJtalk und führt die Konversionsverarbeitung für NJD durch.

Insbesondere wandelt es das Lesen von Zahlen (z. B. "10,120" in "Ichiman Hyakuniju") um und schätzt die Akzentposition.

JPREPROCESS-JPCOMMON

Es definiert die Struktur von JPCommonLabel in OpenJtalk und wandelt sie von NJD in JPCommon und dann in JPCommon in vollständige Kontextbezeichnungen um.

JPREPROCESS-Window

Implementieren Sie ein veränderliches Fenster, das im Conversionsprozess von JProprocess-NJD verwendet wird.

Urheberrechte

Diese Software enthält Quellcode von:

• OpenJtalk. Copyright (C) 2008-2016 Nagoya Institute of Technology Department of Information
• Lindera. Copyright (c) 2019 durch die Projektautoren
• Yada: Noch ein Doppelarray.

Obwohl dieses Repository die Codewesendatei enthält, bedeutet dies nicht unbedingt, dass die in der Codekerndatei aufgeführten Entwickler über das Urheberrecht für alle Dateien in diesem Repository verfügen. Urheberrechte sind in Bekanntmachung oder Lizenzdateien aufgeführt, und die Code -Incorers -Datei dient nur zur Überprüfung des Codes.

Lizenz

BSD-3-Klausel