tf glow tts

tf-glow-tts

（非公式）Glow-TTSのTensorflow実装、Jaehyeon Kim et al。、Neurips 2020。

• Glow-TTS：単調なアライメント検索によるテキスト間の生成フロー[arxiv：2005.11129]
• 完全なコードは、元のGithubリポジトリJaywalnut310/Glow-TTSに基づいています

要件

Python 3.8.5 Windows10 Conda Environment、Recomations.txtでテストされています

使用法

LJスピーチデータセットをダウンロードするには、スクリプトの下で実行します。

データセットは、tfrecord形式で「〜/tensorflow_datasets」でダウンロードされます。ダウンロードディレクトリを変更する場合は、 LJSpeech initializerのdata_dirパラメーターを指定します。

 from dataset . ljspeech import LJSpeech

# lj = LJSpeech(data_dir=path, download=True)
lj = LJSpeech ( download = True ) 

モデルをトレーニングするには、train.pyを実行します。

チェックポイントは、 TrainConfig.ckpt 、 TrainConfig.logのテンソルボードの概要に記述されます。

python train.py
tensorboard --logdir . l og

RAWオーディオからモデルをトレーニングする場合は、オーディオディレクトリを指定し、フラグをオンにします--from-raw 。

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

以前のチェックポイントからトレーニングを開始するには、 --load-epochが利用可能です。

python . t rain.py --load-epoch 20 --config D: t f c kpt g lowtts.json

オーディオを推論するには、inderence.pyを実行します。
このコードはPOC用であるため、アルファベットと複数の特殊文字のみが利用可能です。

python . i nference.py
    --config D: t f c kpt g lowtts.json
    --ckpt D: t f c kpt g lowtts g lowtts_20.ckpt-1
    --text " Hello, my name is revsic "

事前に保護されたチェックポイントは、リリースに関連しています。

前処理されたモデルを使用するには、ファイルをダウンロードして解凍します。フォローはサンプルスクリプトです。

 from config import Config
from glowtts import GlowTTS

with open ( 'glowtts.json' ) as f :
    config = Config . load ( json . load ( f ))

tts = GlowTTS ( config . model )
tts . restore ( './glowtts_20.ckpt-1' ). expect_partial ()

学習曲線

tf-diffwaveを備えたljspeech 20エポックを訓練します

サンプル

参照https://revsic.github.io/tf-glow-tts。