FastSpeech2 다운로드 - FastSpeech2 소스 코드 다운로드

FastSpeech2

AI 소스 코드

1.0.0

다운로드

FastSpeech 2

FastSpeech 2의 비공식 Pytorch 구현 : FAST 및 고품질 엔드 투 엔드-엔드-엔드-연설 . 이 repo는 ESPNET의 FastSpeech 구현을 기본으로 사용합니다. 이 구현에서 나는 정확한 용지 세부 사항을 복제하려고 시도했지만 더 나은 모델을 위해서는 여전히 수정이 필요했지만,이 repo는 제안과 개선을 위해 열립니다. 이 repo는 오디오 사전 프로세싱 및 멜간을 보코더로 사용하기 위해 NVIDIA의 Tacotron 2 Preprocessing을 사용합니다.

데모 :

요구 사항 :

Python 3.6.2 로 작성된 모든 코드.

Pytorch를 설치하십시오

Pytorch를 설치하기 전에 다음 명령을 실행하여 Cuda 버전을 확인하십시오 : nvcc --version

 pip install torch torchvision

이 repo에서 나는 이전 버전의 Pytorch에 존재하지 않는 torch.bucketize 기능에 Pytorch 1.6.0을 사용했습니다.

다른 요구 사항 설치 :

 pip install -r requirements.txt

Tensorboard를 사용하려면 tensorboard version 1.14.0 지원되는 tensorflow (1.14.0) 사용하여 Seperatly

전처리 용 :

filelists 폴더에는 MFA (Motreal Force Aligner) 가공 된 LJSpeech 데이터 세트 파일이 포함되어 있으므로 LJSpeech DataSet의 오디오 (추출 기간 동안)와 텍스트를 정렬 할 필요가 없습니다. 다른 데이터 세트는 여기에서 지침을 따르십시오. 다음 명령을 따르는 다른 사전 처리 실행 :

 python .nvidia_preprocessing.py -d path_of_wavs

F0의 최소와 최대 및 에너지를 찾기 위해

 python .compute_statistics.py

최소 및 최대 F0 및 Energy의 hparams.py 에서 다음을 업데이트하십시오.

 p_min = Min F0/pitch
p_max = Max F0
e_min = Min energy
e_max = Max energy

훈련을 위해

 python train_fastspeech.py --outdir etc -c configs/default.yaml -n "name"

추론

현재 Phonemes 기반 합성 만 지원됩니다.

 python .inference.py -c .configsdefault.yaml -p .checkpointsfirst_1ts_version2_fastspeech_fe9a2c7_7k_steps.pyt --out output --text "ModuleList can be indexed like a regular Python list but modules it contains are properly registered."

토치 스크립트 내보내기

 python export_torchscript.py -c configs/default.yaml -n fastspeech_scrip --outdir etc

체크 포인트 및 샘플 :

검사 점을 찾으십시오
샘플의 경우 sample 폴더를 확인하십시오.

텐서 보드

훈련 :
텐서 보드
검증 :

메모

이 repo의 코딩은 논문과 실험 목적을 다시 소개하기 위해 대략 수행됩니다. 더 나은 사용을 위해 코드 정리 및 opyimization이 필요했습니다.
현재이 repo는 양질의 오디오를 생산하지만 여전히 WIP에 있으며 많은 개선이 필요합니다.
F0의 손실 곡선은 상당히 높습니다.
나는 모델을 훈련시키는 데 원시 F0과 에너지를 사용하고 있지만 안정적인 훈련을 위해 정상화 F0과 에너지를 사용할 수도 있습니다.
더 나은 오디오 품질을 위해 Postnet 사용합니다.
보다 완전하고 끝까지 끝까지 음성 복제 또는 TTS (Text to Speech) 도구 상자를 보려면 DeepSync Technologies를 방문하십시오.