FastSpeech2 Pytorch Korean Multi Speaker

fastspeech2-pytorch-korean-multi扬声器

该项目是通过将Hifi-Gan Vocoder与FastSpeech2相结合的韩国多演讲者TTS实现的。

介绍

• 该项目旨在开发“可见的个性化AI扬声器”项目的TT 。它被您想要的周围人的声音所取代，而不是“ Siri”，“ Bixby”和“ Ari”的声音。 （例如配偶，儿子，女儿，父母等）

• 为了应付立即生产AI扬声器，而不是Tacotron2和WaveGlow的出色性能，而是非自动效率的Mostspeech2和基于GAN的Vocoder模型Hifi-GAN采用了质量和生产速度。

• 基于与DLLAB中实现的韩国数据集KSS相对应的FastSpeech2源代码。

项目目的

1. 使用声音 - 速施2，Vocoder-Hifigan模型用于快速合成速度和高性能
2. 转移学习用途以少量数据个性化（ +零射克隆侧项目）
3. 扬声器嵌入实施以学习预训练的多演讲者
4. 管道配置，以便在韩国数据集中执行学习过程到端到端

数据集

• 对于预训练，请使用AIHUB的免费对话声音学习。
  • 考虑质量
  • 每个说话者在预处理过程中授予了一个唯一的数字ID
• 有关微调，请参阅KSS脚本，并在100个句子-300句子-600句子中记录新扬声器的声音以评估性能。

贡献（来自Previus项目的添加）

所使用的代码中的添加内容如下。

1. 扬声器嵌入实施（韩国多演讲者FastSpeech2）

   • 将嵌入层添加到模型
   • 编码器输出和代码实现（嵌入，扬声器集成器）
   • get_speakers（）函数实现，导入和存储嵌入信息

2. data_preprocessing.py-end-end-to-end数据预处理实现，包含以下所有项目

   

3. 对长句子不稳定综合的反应

   • 将其设置为在特殊特征单元（句子单元）中合成后将其设置

   

4. 导入G2PK源代码，仅应用数字和英语

   • 将现有G2PK的软件包修改为只有不安装PIP的韩语。

精美的作品

• 如图所示，将WAV目录和JSON或成绩单文件保存在数据集/数据名称中。

• 学习Kaldi的蒙特拉尔强迫艾林格通过学习音频数据来学习Textgrid 。

   # lab 생성, mfa 학습, lab 분리
  python data_preprocessing.py 
  

• 保存HIFI-GAN学到的发电机在Vocoder/Prepained_models目录中学习期间进行评估。

1. 直接根据格式写入数据，或通过参考data_preprocessing.py的功能来创建成绩单。
2. 将生成的成绩单和数据的目录存储在数据集中，然后运行data_propropopessing.py
3. MFA工作已完成，textGrid.zip文件是在顶级目录中创建的
4. Preprocess.py执行并检查预处理的文件夹。

火车

• 设置Hparam.py的批处理大小，HIFI-GAN生成器并开始学习的路径。

   python train.py
  

• 如果您正在学习，则可以通过添加Restore_Step来学习。

   python train.py --restore_step [step]
  

转移学习

1. 如果您对多演讲者进行预训练，则存储扬声器_INFO.JSON自动在预训练期间生成

2. 将speeder_info.json放在目录的顶部

3. 与在火车上进行研究一样，运行Python

    python train.py --restore_step [pre-train의 step]
   

合成

• 用snythesize.py文件合成。

   python synthesize.py --step [step수]
  

  • 合成1、2、3选择作为随机呈现的脚本
  • 4选择4

模型管道

该管道是与服务相对应的TTS学习和创建的流动管道。

• 容器在很大程度上被归类为四个。

  1. 数据库容器包含数据的路径和用户信息
  2. 成绩单创建，文件名简化，使用MFA提取的TextGrid提取，模型的数据预处理容器
  3. 学习用于预训练的容器
  4. 学习用于微调新数据的容器

• 在实际的服务情况下，只有三个容器可以工作。