speech aligner

discours

Readme chinois:

L'aligneur de la parole est un outil qui génère des annotations d'alignement de temps au niveau du phonème à partir de la "voix vocale" et de son "texte de langue".

Exemple

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Compilation

• Préparer:

  • cmake> = 3.1

  • Il y a l'une des bibliothèques mathématiques de l'interface Blas suivantes:

    • Suggestions: MKL

      • Installer conda et installer MKL via conda: conda install mkl (MKL sera installé avec conda par défaut)
      • Lors de la compilation, assurez-vous que conda est exécutable ( which conda a une sortie)

    • atlas

      • Installation d'Ubuntu: sudo apt-get install libatlas3-base

      • Il existe de nombreuses distributions Linux, et les chemins de la bibliothèque mathématique sont différents et changent, vous pouvez donc spécifier le chemin à travers la commande suivante:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • OSX System (Darwin) est livré avec un cadre Accelerate, qui peut être ajusté

    • … Autres bibliothèques mathématiques, vous pouvez voir cmake/Modules/FindBLAS.cmake pour en savoir plus sur les bibliothèques mathématiques prises en charge

• compilation Cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Résultats de la compilation

  • Bin / Speech-Aligneur: un fichier exécutable binaire, les appels typiques sont affichés dans EGS / CN_PHN / Run.sh, y compris trois paramètres:
    • Configuration: prend en charge les paramètres de lecture via des fichiers de configuration et --config=egs/cn_phn/conf/align.conf lignes de commande.
    • Entrée: liste audio, liste de texte correspondante
    • Sortie: annotation d'alignement du temps de phonème

Scénarios et exemples d'application

• Recherche:
  • Générer des données de formation à temps de phonème pour TTS
    • EGS / CN_PHN
• projet:
  • Paroles alignement
    • EGS / CN_LYRY [TODO]
  • Alignement des sous-titres
    • EGS / CN_SUBTITLE [TODO]
• pour le plaisir:
  • Bête fantôme
    • EGS / CN_GC [TODO]

renouveler

• Ajout de la prise en charge de l'entrée chinoise Pinyin (avec Tune), voir EGS / CN_PHN / DATA / Texte

Faire

• Environnement chinois: ponctuation et traitement anglais
• Ajouter plus d'exemples

à propos

• Le projet est basé sur le célèbre projet open source de Voice Kaldi , qui suit le projet original.
• Exemple EGS / CN_PHN, la liste des phonèmes utilisée provient d'un autre projet open source du dictionnaire chinois Dacidian .

---

Readme anglais:

L'aligneur de la parole, est un outil qui génère un alignement au niveau des phonèmes entre la parole humaine et sa transcription

Exemple d'utilisation

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Compiler

• Exigences

  • cmake> = 3.1

  • L'une des mathématiques Blas:

    • MKL (recommandé)

      • Installez conda et utilisez-le pour installer MKL: conda install mkl (MKL est installé avec conda par défaut)
      • Quand Cmake, conda devrait être sur votre chemin

    • atlas

      • Ubuntu: sudo apt-get install libatlas3-base

      • Lorsque CMake, il peut ne pas trouver automatiquement votre atlas, vous avez donc besoin de définir le chemin de la lib mathématique comme ci-dessous:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Accélérer le cadre (Besoin de ne rien faire pour "macOS / Darwin")

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Résultats

  • bac / discours-aligneur: un fichier exécutable binaire, avec arguments:
    • Configuration: via le fichier config (recommandation, par exemple: --Config = egs / cn_phn / conf / align.conf) ou la ligne de commande
    • Entrées: la liste WAV et la liste de transcription de corrélation (par exemple EGS / CN_PHN / DATA)
    • Sortie: l'alignement des résultats

Applications

• pour la recherche:
  • générer des données de formation pour TTS
    • EGS / CN_PHN: Générez l'alignement du phonème chinois
• pour l'ingénierie:
  • Aligner les paroles
    • EGS / CN_LYRY [TODO]
  • Aligner le sous-titre
    • EGS / CN_SUBTITLE [TODO]
• pour le plaisir:
  • きちく
    • EGS / CN_GC [TODO]

À propos

• Ce projet est basé sur un excellent projet d'ouverture de discours Kaldi .
• Les phonèmes utilisés dans l'environnement: EGS / CN_PHN, proviennent d'un projet open-source de dictionnaire chinois dacidian .