End to End TTS Fine Tune

端到端TTS微调

介绍

• 该项目旨在开发“老年人AI助手”的TTS系统。您可以使用家人或朋友和恋人的声音创建一个人工智能助手，只有5分钟的语音录制。
• 为了应对需要实时生成的AI扬声器，我们采用了非自动性的声学模型FastSpe2和基于GAN的Vocoder模型HIFI-GAN来考虑质量和生产速度。
• 已经进行了其他习俗，以提高多演讲者的性能。
• 该存储库的配置为简单地执行学习和创建过程，通过使用Shell Scrip来配置D-Vector多扬声器FastSpeech2和HIFI-GAN模型以允许微调。
• 要在应用中提供真实的-Time TTS，请使用FastApi配置服务器并与后端链接。

项目目的

1. Acoustic-fastspeech2（自定义）

2. 合理的表现，利用转移学习来用少量数据进行个性化

3. 提供可以实时在韩国数据集中进行微调创建的API

数据集

• 根据属于数据集文件夹的Fine_tune_transcript.txt，用智能手机记录100个句子，并将M4A文件转换为以16000的采样率的WAV文件。（FFMPEG）。（FFMPEG）

• 如图所示，将100个转换后的WAV文件添加到您的初始文件夹中。

贡献

1. 根据微调修改型号代码

   • FastSpeech2和HIFI-GAN修改和集成
   • 数据集，ckpt和结果目录由数据集将其分为顶级目录

2. 简单的预处理，火车，通过Shell脚本合成

   • 通过更改数据集目录

3. 提供独特的Docker图像

   • 提供可以立即执行的图像，而无需添加复杂的额外依赖软件包
   • 通过Docker Hub链接导入最新图像

精美的作品

• 它匹配FastSpeech2和HIFI-GAN预先训练的CKPT的文件名，并将其保留在每个型号中。

  （fastspeech2：30,000步进学习 / hifi -gan -jungil king的官方假装-University -University）

• 对于学习和综合，我们加载和执行包含所有相关软件包的Docker图像。

   docker pull hws0120/e2e_speech_synthesis 
  

• run_fs2_preprocessing.sh步骤通过conda命令连接到docker，并安装python package jamo。

   conda activate aligner
  pip install jamo
  

• 虚拟环境的结束，以执行RUN_FS2_TRAIN或合成。

   conda activate base
  

预处理

• 如果您遇到上述所有项目，请运行Shell脚本以提取MFA。

   sh run_FS2_preprocessing.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

火车

• 成功地创建了一个文本格言，以退出虚拟环境并运行学习脚本。

   sh run_FS2_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

• FastSpeech2 5000步骤学习完成后，请运行HIFI-GAN脚本。

   sh run_HiFi-GAN_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

合成

• 当准备就绪CKPT文件夹中学习的模型时，请运行脚本以进行合成。

   sh run_FS2_synthesize.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

项目管道

每个容器均在学习和合成过程中建立，如图所示。

如果您有适当的HIFI-GAN检查站，则可以省略Hifi-GAN学习。