speech aligner

speech-aligner

Chinese readme：

speech-aligner，是一個從“人聲語音”及其“語言文本”，產生音素級別時間對齊標註的工具。

示例

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

編譯

• 預先準備：

  • cmake >= 3.1

  • 有如下blas接口數學庫之一：

    • 建議：mkl

      • 安裝conda，並通過conda安裝mkl： conda install mkl （mkl默認會隨conda一起安裝）
      • 編譯時，確保conda可執行（ which conda有輸出）

    • atlas

      • ubuntu安裝: sudo apt-get install libatlas3-base

      • linux發行版眾多，數學庫路徑不一且變動，所以可以通過如下命令進行路徑指定：

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • OSX系統（Darwin）自帶Accelerate framework，可調過這項

    • …其他數學庫，可查看cmake/Modules/FindBLAS.cmake ，了解支持的數學庫

• cmake編譯

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• 編譯結果

  • bin/speech-aligner: 二進制可執行文件，典型調用見egs/cn_phn/run.sh，包括三個參數：
    • 配置：支持通過配置文件和命令行讀取參數，建議使用如--config=egs/cn_phn/conf/align.conf
    • 輸入：音頻列表、對應的文本列表
    • 輸出：音素時間對齊標註

應用場景和示例

• 研究：
  • 為TTS產生音素時間標註的訓練數據
    • egs/cn_phn
• 工程：
  • 歌詞對齊
    • egs/cn_lyric [todo]
  • 字幕對齊
    • egs/cn_subtitle [todo]
• for fun:
  • 鬼畜
    • egs/cn_gc [todo]

更新

• 增加支持中文拼音（帶調）輸入，見egs/cn_phn/data/text

Todo

• 中文環境：標點和英文的處理
• 增加更多示例

關於

• 該工程基於著名語音開源項目kaldi ，copyright遵循原項目。
• 示例egs/cn_phn中，使用的音素列表，來自另一個中文詞典開源項目DaCiDian 。

---

English readme：

speech-aligner, is a tool that generate phoneme-level alignment between human speech and its transcription

Usage example

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Compile

• requirements

  • cmake >= 3.1

  • one of blas math lib:

    • mkl (recommended)

      • install conda, and use it to install mkl: conda install mkl (mkl is installed with conda by default)
      • when cmake, conda should be in your path

    • atlas

      • ubuntu: sudo apt-get install libatlas3-base

      • when cmake, it maynot find your atlas automatically, thus you need set the math lib path as below:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Accelerate framework (need do nothing for "macOS/Darwin")

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• results

  • bin/speech-aligner: a binary executable file, with arguments:
    • configuration: through config file (recommendation, eg: --config=egs/cn_phn/conf/align.conf) or command line
    • inputs: the wav list and the correspoing transcription list (eg egs/cn_phn/data )
    • output: the result alignment

Applications

• for research:
  • generate training data for TTS
    • egs/cn_phn: generate chinese phoneme alignment
• for engineering:
  • align lyric
    • egs/cn_lyric [todo]
  • align subtitle
    • egs/cn_subtitle[todo]
• for fun:
  • きちく
    • egs/cn_gc [todo]

About

• This project is based on a great speech open-source project kaldi .
• The phonemes used in the environment: egs/cn_phn, come from a chinese dictionary open-source project DaCiDian .