DeepConvolutionalTTS pytorch

DCTTS（ディープ畳み込みTTS）-Pytorchの実装

論文：ガイド付きの注意を払った深い畳み込みネットワークに基づく効率的にトレーニング可能なテキストからスピーチへのシステム

前提条件

• Python 3.6
• Pytorch 1.0
• Librosa、Scipy、TQDM、Tensorboardx

データセット

• LJスピーチ1.1、女性の単一スピーカーデータセット。
• KyubyongのDCTTSリポジトリをフォローして、Tensorflowを使用して、音声信号を前処理するために。実際にはうまくいきました。

使用法

1. 上記のデータセットをダウンロードして、config.pyのパスを変更します。次に、以下のコマンドを実行します。第1 arg：信号pretro、2番目のarg：メタデータ（列車/テストの分割）

    python prepro.py 1 1
   

2. DCTTSには2つのモデルがあります。まず、モデルText2Melをトレーニングする必要があります。 20kステップで十分だと思います（たった1時間）。ただし、衰退したガイド付き注意損失でモデルをますますトレーニングする必要があります。

    python train.py 1 <gpu_id>
   

3. 第二に、SSRNを訓練します。 SSRNの出力は多くの高解像度データです。したがって、SSRNのトレーニングはText2Melのトレーニングよりも遅いです

    python train.py 2 <gpu_id>
   

4. トレーニング後、テキストからのスピーチを合成できます。

    python synthesize.py <gpu_id>
   

注意

• 音声統合では、注意モジュールが重要です。モデルが通常トレーニングされている場合、次の数字のような単調な注意を見ることができます。

メモ

• やる：推論のための以前の注意。
• やる：過剰なフィッティングを軽減します。
• 論文では、彼らは正規化を参照しませんでした。そこで、deepvoice3のような重量正規化を使用しました。
• 一部のハイパーパラメーターは異なります。
• パフォーマンスを改善したい場合は、すべてのデータを使用する必要があります。いくつかのさまざまな実験で、トレーニングセットと検証セットを分離しました。

他のコード

• 別のPytorchの実装
• Tensorflowの実装