FCL taco2

FCL-TACO2：高速で制御可能で軽量のテキストからスピーチへの合成（ICASSP 2021）論文|デモ

Fcl-Taco2のブロック図。ここで、デコーダーは各音素内でARモードでMELSpectrogramsを生成し、すべての音素に対して共有されます。

環境

• Python 3.6.10
• トーチ1.3.1
• チェーン6.0.0
• ESPNET 8.0.0
• 頂点0.1
• numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0.8.0

トレーニングと推論：

• ステップ1。データの準備と前処理

1. ljspeechをダウンロードしてください

2. ダウンロードしたljspeech-1.1.tar.bz2から/xx/ljspeech-1.1への開梱

3. モントリオール強制アライナーツールを使用して、強制アライメント情報を取得します。または、アライメント結果をダウンロードしてから、 /xx /textgridに展開できます

4. データセットを事前に処理して、メルセプレクトログラム、音素期間、ピッチ、エネルギー、音素シーケンスを抽出します。

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• ステップ2。モデルトレーニング

1. 教師モデルのトレーニングFCL-TACO2-T：

    ./teacher_model_training.sh
   

2. トレーニング学生モデルFCL-TACO2-S：

    ./student_model_training.sh
   

3. 平行波ガンボコーダートレーニング：ここで指示に従ってください。事前に訓練されたPWGボコーダーをダウンロードして、PWGモデルをディレクトリ「VoCoder」の下に配置することもできます。

• ステップ3。モデル評価

1. FCL-TACO2-T評価：

    ./inference_teacher.sh
   

2. FCL-TACO2-S評価：

    ./inference_student.sh
   

引用

コードがあなたの研究で使用されている場合は、私たちのレポを主演させて、私たちの論文を引用してください。

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}