tf glow tts

TF-Glow-TTS

(Неофициальная) Тенорфлоу реализация Glow-TTS, Jaehyeon Kim et al., In Neurips 2020.

• Glow-TTS: генеративный поток для текста в речь с помощью монотонного поиска выравнивания [arxiv: 2005.11129]
• Полный код основан на оригинальном репозитории GitHub Jaywalnut310/Glow-TTS

Требования

Протестировано в Python 3.8.5 Windows10 Conda Environment, TEDIP.TXT.

Использование

Чтобы загрузить набор данных LJ-Speech, запустите под скриптом.

Набор данных будет загружен в '~/tensorflow_datasets' в формате tfrecord. Если вы хотите изменить каталог загрузки, укажите параметр data_dir инициализатора LJSpeech .

 from dataset . ljspeech import LJSpeech

# lj = LJSpeech(data_dir=path, download=True)
lj = LJSpeech ( download = True ) 

Чтобы тренировать модель, запустите Train.py.

Контрольная точка будет записана на TrainConfig.ckpt , резюме Tensorboard на TrainConfig.log .

python train.py
tensorboard --logdir . l og

Если вы хотите тренировать модель из Raw Audio, укажите аудио-каталог и включите флаг --from-raw .

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

Чтобы начать тренироваться с предыдущей контрольной точки, доступен --load-epoch .

python . t rain.py --load-epoch 20 --config D: t f c kpt g lowtts.json

Чтобы сделать вывод аудио, запустите sopect.py.
Поскольку этот код предназначен для POC, доступны только алфавиты и несколько специальных символов, ссылка TextNormalizer.graphemes.

python . i nference.py
    --config D: t f c kpt g lowtts.json
    --ckpt D: t f c kpt g lowtts g lowtts_20.ckpt-1
    --text " Hello, my name is revsic "

Предварительные контрольно -пропускные пункты решаются по выпускам.

Чтобы использовать предварительную модель, загрузите файлы и разкачивайте ее. Последования являются образцом сценария.

 from config import Config
from glowtts import GlowTTS

with open ( 'glowtts.json' ) as f :
    config = Config . load ( json . load ( f ))

tts = GlowTTS ( config . model )
tts . restore ( './glowtts_20.ckpt-1' ). expect_partial ()

Кривая обучения

Обучить ljspeech 20 эпох с TF-Diffwave

Образцы

Ссылка https://revsic.github.io/tf-glow-tts.