tf glow tts

tf-glow-tts

(비공식) Neurips 2020에서 Glow-Tts, Jaehyeon Kim et al.의 텐서 플로 구현.

• Glow-TTS : 단조로운 정렬 검색을 통한 텍스트 음성 연설의 생성 흐름 [ARXIV : 2005.11129]
• 전체 코드는 원래 Github 저장소 Jaywalnut310/Glow-Tts를 기반으로합니다

요구 사항

Python 3.8.5 Windows10 Conda 환경, 요구 사항에서 테스트

용법

lj-speech 데이터 세트를 다운로드하려면 스크립트에서 실행하십시오.

데이터 세트는 '~/tensorflow_datasets'로 tfrecord 형식으로 다운로드됩니다. 다운로드 디렉토리를 변경하려면 LJSpeech 이니셜 라이저의 data_dir 매개 변수를 지정하십시오.

 from dataset . ljspeech import LJSpeech

# lj = LJSpeech(data_dir=path, download=True)
lj = LJSpeech ( download = True ) 

모델을 훈련 시키려면 Train.py를 실행하십시오.

Checkpoint는 TrainConfig.ckpt , Tensorboard TrainConfig.log 에 작성됩니다.

python train.py
tensorboard --logdir . l og

Raw Audio에서 모델을 훈련 시키려면 오디오 디렉토리를 지정하고 --from-raw 을 켜십시오.

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

이전 체크 포인트에서 훈련을 시작하려면 --load-epoch 사용할 수 있습니다.

python . t rain.py --load-epoch 20 --config D: t f c kpt g lowtts.json

오디오를 추론하려면 unference.py를 실행하십시오.
이 코드는 POC 용이므로 알파벳과 여러 특수 문자 만 사용할 수 있습니다. 참조 TextNormalizer.graphemes.

python . i nference.py
    --config D: t f c kpt g lowtts.json
    --ckpt D: t f c kpt g lowtts g lowtts_20.ckpt-1
    --text " Hello, my name is revsic "

사전 조정 체크 포인트는 릴리스에 상관됩니다.

사전 치료 된 모델을 사용하려면 파일을 다운로드하고 압축을 풀습니다. 다음은 샘플 스크립트입니다.

 from config import Config
from glowtts import GlowTTS

with open ( 'glowtts.json' ) as f :
    config = Config . load ( json . load ( f ))

tts = GlowTTS ( config . model )
tts . restore ( './glowtts_20.ckpt-1' ). expect_partial ()

학습 곡선

TF-Diffwave로 ljspeech 20 에포크를 훈련시킵니다

샘플

참조 https://revsic.github.io/tf-glow-tts.