MB iSTFT VITS with AutoVocoder

オートボコーダーを使用したMB-ISTFT-VITS

実装の動機

Vitsから始めて、MB-Istft-vitsは、以下の手法を使用して合成速度を改善します。

1. 音声信号をサブバンド信号に分解することによるマルチバンド並列生成戦略
2. ISTFTベースの波形生成プロセス
   

この適切に設計されたフレームワークに基づいて、このリポジトリは、オートボコーダーによる音質と推論速度をさらに向上させることを目的としています。
このレポはMB-Istft-vitsに基づいており、予想される変更と拡張機能は次のとおりです。

• 1. ISTFTNETベースのデコーダーをオートボコーダーベースのデコーダーに交換します。
  

• 2。ISTFT操作では、フェーズ/マグニチュードコンポーネントの代わりにリアル/イマジナリーを使用して、複雑なスペクトログラムを構築します。タイムドメイン再構成損失を追加します。

• 3.後部エンコーダーを修正して、線形スペクトログラムの代わりに4つの複雑なコンポーネントを受け入れます。
  

• 強力な潜在性をモデル化するvitsの性質により、オートボコーダーは自動エンコーダーアーキテクチャのために適切な適用になります。また、 (1024, 256, 1024) FFT/HOP/WINサイズで波形を直接生成することにより、波形を直接生成することにより、高速な推論速度があります。 （マルチバンドStartegyが維持されます）
• VITを含む従来のTTSモデル、モデリングフェーズ情報は、完全にデコーダー（ボコーダー）の役割となっています。 Mod 3.では、潜伏期に位相情報を提供することにより、事前にこれらの潜伏物を確実に近似できるかどうかをテストします。

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

注記

• 簡単に比較するために、事後エンコーダーのアーキテクチャ全体を変更しませんでした。代わりに、前部のグループ畳み込みのみを使用して、改訂された入力（4つの複雑なコンポーネント）を処理しました。
• 現在、このレポはMB-Istft-vitsベースのモデルを実装しようとします。 MINI、MS、W/O MBへのアプリケーションは、将来の作業かもしれません。

説明（MB-Istft-vitsから）

0。ベースライン：MB-Istft-vits

1。前提条件

0. Python> = 3.6
1. このリポジトリをクローンします
2. Python要件をインストールします。要件を参照してください。txt
   1. ESPEAKを最初にインストールする必要があるかもしれません： apt-get install espeak
3. データセットをダウンロードします
   1. LJ Speech Datasetをダウンロードして抽出し、データセットフォルダーへのリンクln -s /path/to/LJSpeech-1.1/wavs DUMMY1変更または作成します。
4. 独自のデータセットを使用する場合は、単調アライメント検索を構築し、プリプロセシングを実行します。

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2。トレーニング

MB-Istft-Vitsトレーニングの場合、次のスクリプトを実行します

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

トレーニング後、inconference.ipynbを使用して推論オーディオを確認できます

参照

• MB-ISTFT-VITS：紙 /コード
• オートボコーダー：紙 /コード（非公式）