speech aligner

音声アライナー

中国のreadme：

Speech-Alignerは、「ボーカルボイス」とその「言語テキスト」から音声レベルの時間アライメント注釈を生成するツールです。

例

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

編集

• 準備する：

  • cmake> = 3.1

  • 次のBLASインターフェイス数学ライブラリのいずれかがあります。

    • 提案：MKL

      • コンドラをインストールしてMKLをインストールしてコンドラ： conda install mkl （MKLはデフォルトでCondaとともにインストールされます）
      • コンパイルするときは、 condaが実行可能であることを確認してください（ which condaは出力があります）

    • アトラス

      • ubuntuのインストール： sudo apt-get install libatlas3-base

      • 多くのLinux分布があり、数学ライブラリのパスは異なり、変更されるため、次のコマンドを介してパスを指定できます。

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • OSXシステム（Darwin）にはAccelerate Frameworkが付属しており、調整できます

    • …他の数学ライブラリ、 cmake/Modules/FindBLAS.cmakeを表示して、サポートされている数学ライブラリについて学ぶことができます

• cmakeコンピレーション

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• コンピレーション結果

  • bin/speech-aligner：バイナリ実行可能ファイル、典型的な呼び出しは、3つのパラメーターを含むEGS/cn_phn/run.shに表示されます。
    • 構成：Configurationファイルとコマンドライン--config=egs/cn_phn/conf/align.conf介してパラメーターの読み取り値をサポートします
    • 入力：オーディオリスト、対応するテキストリスト
    • 出力：音素時間アライメント注釈

アプリケーションシナリオと例

• 研究：
  • TTSのPhoneMe Time-Notedトレーニングデータを生成します
    • EGS/CN_PHN
• プロジェクト：
  • 歌詞の調整
    • EGS/CN_LYRIC [TODO]
  • 字幕アライメント
    • egs/cn_subtitle [todo]
• 楽しみのために：
  • ゴーストビースト
    • EGS/CN_GC [TODO]

更新します

• 中国のピニイン（チューン付き）入力のサポートを追加して、EGS/CN_PHN/データ/テキストを参照してください

トト

• 中国の環境：句読点と英語の処理
• より多くの例を追加します

について

• このプロジェクトは、元のプロジェクトに続く有名なオープンソースの音声カルディに基づいています。
• 例EGS/CN_PHN、使用される音素リストは、別の中国の辞書オープンソースプロジェクトDACIDIANからのものです。

---

英語のreadme：

音声alignerは、人間の発話とその転写との間に音素レベルのアラインメントを生成するツールです

使用例

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

コンパイル

• 要件

  • cmake> = 3.1

  • Blas Math Libの1つ：

    • MKL（推奨）

      • コンドラをインストールし、それを使用してMKL： conda install mkl （MKLはデフォルトでCondaでインストールされています）
      • cmakeの場合、 condaあなたの道にいるはずです

    • アトラス

      • ubuntu： sudo apt-get install libatlas3-base

      • cmakeの場合、Atlasが自動的に見つからない場合があるため、以下のようにMath libパスを設定する必要があります。

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • フレームワークを加速します（「macos/darwin」には何もしません）

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• 結果

  • bin/speech-aligner：引数を含むバイナリ実行可能ファイル：
    • 構成：configファイル（推奨、eg：-config = egs/cn_phn/conf/align.conf）またはコマンドラインを介して
    • 入力：WAVリストと相関転写リスト（EGS/CN_PHN/データ）
    • 出力：結果アライメント

アプリケーション

• 研究のために：
  • TTSのトレーニングデータを生成します
    • EGS/CN_PHN：中国の音素アライメントを生成します
• エンジニアリング用：
  • 歌詞を調整します
    • EGS/CN_LYRIC [TODO]
  • サブタイトルを調整します
    • egs/cn_subtitle [todo]
• 楽しみのために：
  • きちく
    • EGS/CN_GC [TODO]

について

• このプロジェクトは、素晴らしいスピーチオープンソースプロジェクトKaldiに基づいています。
• 環境で使用される音素：EGS/CN_PHNは、中国の辞書オープンソースプロジェクトDACIDIANから来ています。