MB iSTFT VITS with AutoVocoder

MB-istft-fit-vits帶有自動編碼器

實施動機

從VIT開始，MB-ISTFT-VIT使用以下技術提高了合成速度：

1. 通過將語音信號分解為子帶信號，多帶平行生成策略
2. 基於ISTFT的波形生成過程
   

基於這個精心設計的框架，該存儲庫旨在通過AutovoCoder進一步提高聲音質量和推理速度。
此存儲庫基於MB-ISTFT-VIT，預期的修改和增強如下：

• 1。將基於ISTFTNET的解碼器替換為基於AutoDocoder的解碼器。
  

• 2。在ISTFT操作中，使用真實/虛構而不是相/幅度組件來構造複雜的頻譜圖。添加時間域重建損失。

• 3。修改後驗編碼器以接受4個複雜組件，而不是線性光譜圖。
  

• 由於VIT的性質對強大的潛伏期進行了建模，因此由於其自動編碼器體系結構，AutovoCoder可以是適當的應用。此外，它具有通過(1024, 256, 1024) FFT/HOP/WIN大小直接生成波形，而無需UPSMPLING模塊，它具有快速的推理速度。 （將保持多頻段的啟動）
• 傳統的TTS模型在內，包括VIT，建模階段信息完全是解碼器（Vocoder）的作用。在Mod 3.中，通過向潛在的提供相位信息，我們測試了先驗是否可以可靠地大約這些潛在。

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

筆記

• 為了簡化比較，我們沒有更改後編碼器的整個架構。取而代之的是，我們僅在前部使用小組卷積來處理修訂後的輸入（4個複雜組件）。
• 目前，此存儲庫試圖實現基於MB-ISTFT-VITS的模型。應用於Mini，MS，沒有MB可能是將來的工作。

解釋（來自MB-ISTFT-VITS）

0。基線：MB-ISTFT-VITS

1。先決條件

0. python> = 3.6
1. 克隆這個存儲庫
2. 安裝Python要求。請參閱要求
   1. 您可能需要先安裝ESPEAK： apt-get install espeak
3. 下載數據集
   1. 下載並提取LJ語音數據集，然後重命名或創建指向數據集文件夾的鏈接： ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. 如果您使用自己的數據集，則構建單調對齊搜索並進行預處理。

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2。訓練

在MB-ISTFT-VITS培訓的情況下，請運行以下腳本

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

訓練後，您可以使用temperion.ipynb檢查推理音頻

參考

• MB-ISTFT-VIT：紙 /代碼
• 自動編碼器：紙 /代碼（非官方）