FlashSpeech

Flashspeech

Flashspeech的实现。有关所有详细信息，请查看我们接受ACM MM 2024接受的论文：FlashSpeech：有效的零弹性语音合成。

注意

• 由于原始代码中使用了一些内部Microsoft工具，因此该项目是基于Amphion的NaturalSpeech2的修改版本。
• 环境设置：

  bash env.sh

• 我遇到了类似的问题（相关问题），因此我用lightning替换了Amphion的accelerate 。 lightning训练更快。

数据准备

• 根据您的数据修改ns2dataset.py 。
• 此版本已在库列茨数据集上进行了测试。确保您已提前准备以下数据：
  • 沥青
  • 代码
  • 音素
  • 期间

训练

1. 运行训练脚本：

   bash egs/tts/NaturalSpeech2/run_train.sh

重要说明：

• 选择配置：

  • 您可以根据训练阶段选择***_s1或***_s2配置文件。

• 修改模型编解码器：

  • 在models/tts/naturalspeech2/flashspeech.py中，将编解码器更新为自己。
  • 调整self.latent_norm ，以使对标准偏差的编解码器标准化。 （此步骤对于训练一致性模型至关重要。）

• 阶段2设置：

  • 在models/tts/naturalspeech2/flashspeech_trainer_stage2.py中，设置了从阶段1训练获得的初始权重。

• 第三阶段发展：

  • 阶段3的代码尚未发布。但是，您可以参考第1阶段的一致性培训来实施它。

托多

进一步组织项目结构并完成其余代码。

致谢

特别感谢Amphion ，因为我们的代码库主要是从Amphion借来的。

感谢您使用FlashSpeech！