speech aligner

Sprachausstattung

Chinesische Readme:

Sprach-Aligner ist ein Tool, das Zeitalignment-Annotationen auf Phoneme-Ebene aus "Vocal Voice" und seinem "Sprachtext" generiert.

Beispiel

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Zusammenstellung

• Vorbereiten:

  • CMake> = 3.1

  • Es gibt eine der folgenden BLAS -Schnittstellen -Mathematikbibliotheken:

    • Vorschläge: MKL

      • Installieren Sie Conda und installieren Sie MKL über Conda: conda install mkl (MKL wird standardmäßig mit Conda installiert)
      • Stellen Sie beim Kompilieren sicher, dass conda ausführbar ist ( which conda hat Ausgabe hat)

    • Atlas

      • Ubuntu-Installation: sudo apt-get install libatlas3-base

      • Es gibt viele Linux -Verteilungen, und die Pfade der mathematischen Bibliothek sind unterschiedlich und ändern sich so, sodass Sie den Pfad über den folgenden Befehl angeben können:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Das OSX -System (Darwin) wird mit einem beschleunigten Framework ausgestattet, der angepasst werden kann

    • … Andere mathematische Bibliotheken können Sie cmake/Modules/FindBLAS.cmake anzeigen, um mehr über die unterstützten mathematischen Bibliotheken zu erfahren

• CMAKE -Zusammenstellung

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Kompilierungsergebnisse

  • Bin/Speech-Aligner: Eine binäre ausführbare Datei, typische Aufrufe sind in EGS/CN_PHN/Run.sh angezeigt, einschließlich drei Parametern:
    • Konfiguration: Unterstützt das Lesen --config=egs/cn_phn/conf/align.conf Parametern durch Konfigurationsdateien und Befehlszeilen.
    • Eingabe: Audioliste, entsprechende Textliste
    • Ausgabe: Annotation von Phonem Time Alignment

Anwendungsszenarien und Beispiele

• Forschung:
  • Generieren Sie zeitliche Trainingsdaten für TTs
    • EGS/CN_PHN
• Projekt:
  • Texte Ausrichtung
    • EGS/CN_LYRIC [Todo]
  • Untertitelausrichtung
    • EGS/CN_SUBTITLE [Todo]
• zum Spaß:
  • Ghost Beast
    • EGS/CN_GC [Todo]

erneuern

• Unterstützung für die chinesische Pinyin (mit Melodie) Eingabe hinzugefügt, siehe EGS/CN_PHN/DATA/Text

Todo

• Chinesische Umgebung: Interpunktion und englische Verarbeitung
• Fügen Sie weitere Beispiele hinzu

um

• Das Projekt basiert auf dem berühmten Open -Source -Projekt von Voice Kaldi , das dem ursprünglichen Projekt folgt.
• Beispiel EGS/CN_PHN, die verwendete Phonemliste stammt von einem anderen chinesischen Open -Source -Projekt Dacidian .

---

Englisch Readme:

Sprachauszeichner ist ein Werkzeug, das eine Ausrichtung auf Phonemebene zwischen menschlicher Sprache und seiner Transkription erzeugt

Nutzungsbeispiel

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Kompilieren

• Anforderungen

  • CMake> = 3.1

  • Eine von Blas Math Lib:

    • MKL (empfohlen)

      • Installieren Sie Conda und verwenden Sie es, um MKL zu installieren: conda install mkl (MKL ist standardmäßig mit Conda installiert)
      • Bei CMake sollte conda auf Ihrem Weg sein

    • Atlas

      • Ubuntu: sudo apt-get install libatlas3-base

      • Wenn CMake möglicherweise nicht automatisch Ihr Atlas gefunden wird, müssen Sie den mathematischen Lib -Pfad wie unten festlegen:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Beschleunigen des Frameworks (brauchen nichts für "macOS/Darwin")

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Ergebnisse

  • Bin/Speech-Aligner: Eine binäre ausführbare Datei mit Argumenten:
    • Konfiguration: Über Konfigurationsdatei (Empfehlung, z.
    • Eingaben: Die WAV -Liste und die Correlation -Transkriptionsliste (z. B. EGS/CN_PHN/DATA)
    • Ausgabe: Die Ergebnisausrichtung

Anwendungen

• Für Forschung:
  • Generieren Sie Trainingsdaten für TTs
    • EGS/CN_PHN: Erzeugen Sie die chinesische Phonemausrichtung
• Für Ingenieurwesen:
  • Lyric ausrichten
    • EGS/CN_LYRIC [Todo]
  • Untertitel ausrichten
    • EGS/CN_SUBTITLE [Todo]
• zum Spaß:
  • きちく
    • EGS/CN_GC [Todo]

Um

• Dieses Projekt basiert auf einem großartigen Rede Open-Source-Projekt Kaldi .
• Die in der Umgebung verwendeten Phoneme: EGS/CN_PHN stammen aus einem chinesischen Open-Source-Projekt Dacidian .