MB iSTFT VITS with AutoVocoder

MB-istft-fit-vits带有自动编码器

实施动机

从VIT开始，MB-ISTFT-VIT使用以下技术提高了合成速度：

1. 通过将语音信号分解为子带信号，多带平行生成策略
2. 基于ISTFT的波形生成过程
   

基于这个精心设计的框架，该存储库旨在通过AutovoCoder进一步提高声音质量和推理速度。
此存储库基于MB-ISTFT-VIT，预期的修改和增强如下：

• 1。将基于ISTFTNET的解码器替换为基于AutoDocoder的解码器。
  

• 2。在ISTFT操作中，使用真实/虚构而不是相/幅度组件来构造复杂的频谱图。添加时间域重建损失。

• 3。修改后验编码器以接受4个复杂组件，而不是线性光谱图。
  

• 由于VIT的性质对强大的潜伏期进行了建模，因此由于其自动编码器体系结构，AutovoCoder可以是适当的应用。此外，它具有通过(1024, 256, 1024) FFT/HOP/WIN大小直接生成波形，而无需UPSMPLING模块，它具有快速的推理速度。 （将保持多频段的启动）
• 传统的TTS模型在内，包括VIT，建模阶段信息完全是解码器（Vocoder）的作用。在Mod 3.中，通过向潜在的提供相位信息，我们测试了先验是否可以可靠地大约这些潜在。

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

笔记

• 为了简化比较，我们没有更改后编码器的整个架构。取而代之的是，我们仅在前部使用小组卷积来处理修订后的输入（4个复杂组件）。
• 目前，此存储库试图实现基于MB-ISTFT-VITS的模型。应用于Mini，MS，没有MB可能是将来的工作。

解释（来自MB-ISTFT-VITS）

0。基线：MB-ISTFT-VITS

1。先决条件

0. python> = 3.6
1. 克隆这个存储库
2. 安装Python要求。请参阅要求
   1. 您可能需要先安装ESPEAK： apt-get install espeak
3. 下载数据集
   1. 下载并提取LJ语音数据集，然后重命名或创建指向数据集文件夹的链接： ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. 如果您使用自己的数据集，则构建单调对齐搜索并进行预处理。

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2。训练

在MB-ISTFT-VITS培训的情况下，请运行以下脚本

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

训练后，您可以使用temperion.ipynb检查推理音频

参考

• MB-ISTFT-VIT：纸 /代码
• 自动编码器：纸 /代码（非官方）