tf glow tts

tf-glow-tts

(Não oficial) Implementação de tensorflow de Glow-TTS, Jaehyeon Kim et al., Em Neurips 2020.

• GLOW-TTS: Um fluxo generativo para a fala em fala via pesquisa de alinhamento monotônico [ARXIV: 2005.11129]
• O código completo é baseado no repositório GitHub original Jaywalnut310/GLOW-TTS

Requisitos

Testado no Python 3.8.5 Windows10 Ambiente do CONDA, requisitos.txt

Uso

Para baixar o conjunto de dados de LJ-Speech, execute no script.

O conjunto de dados será baixado em '~/tensorflow_datasets' no formato tfrecord. Se você deseja alterar o diretório de download, especifique o parâmetro data_dir do Initializador LJSpeech .

 from dataset . ljspeech import LJSpeech

# lj = LJSpeech(data_dir=path, download=True)
lj = LJSpeech ( download = True ) 

Para treinar o modelo, execute o trem.py.

O ponto de verificação será escrito em TrainConfig.ckpt , resumo do Tensorboard no TrainConfig.log .

python train.py
tensorboard --logdir . l og

Se você deseja treinar o modelo a partir do áudio bruto, especifique o diretório de áudio e ligue a bandeira --from-raw .

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

Para começar a treinar do ponto de verificação anterior, --load-epoch está disponível.

python . t rain.py --load-epoch 20 --config D: t f c kpt g lowtts.json

Para infere o áudio, execute inference.py.
Como este código é para o POC, apenas alfabetos e vários caracteres especiais estão disponíveis, reference textNormalizer.Gphemes.

python . i nference.py
    --config D: t f c kpt g lowtts.json
    --ckpt D: t f c kpt g lowtts g lowtts_20.ckpt-1
    --text " Hello, my name is revsic "

Os pontos de verificação pré -rastreados são relatados nos lançamentos.

Para usar o modelo pré -terenciado, faça o download de arquivos e descompacte -o. Os seguintes são o script de amostra.

 from config import Config
from glowtts import GlowTTS

with open ( 'glowtts.json' ) as f :
    config = Config . load ( json . load ( f ))

tts = GlowTTS ( config . model )
tts . restore ( './glowtts_20.ckpt-1' ). expect_partial ()

Curva de aprendizado

Treine LJSpeech 20 épocas com TF-Diffwave

Amostras

Referência https://revsic.github.io/tf-glow-tts.