Transformer TTS

변압기 tts

• 변압기 네트워크를 통한 신경 음성 합성의 Pytorch 구현
• 이 모델은 Tacotron과 같은 잘 알려진 SEQ2SEQ 모델보다 약 3 ~ 4 배 더 빠르게 훈련 될 수 있으며 합성 된 음성의 품질은 거의 동일합니다. 실험을 통해 단계당 약 0.5 초가 걸렸다는 것을 확인했습니다.
• 나는 Wavenet Vocoder를 사용하지 않았지만 Tacotron의 CBHG 모델을 사용하여 Post Network를 배우고 Griffin-LIM 알고리즘을 사용하여 스펙트로 그램을 원시파로 변환했습니다.

요구 사항

• 파이썬 3을 설치하십시오
• pytorch == 0.4.0을 설치하십시오
• 요구 사항 설치 :

   pip install -r requirements.txt
  

데이터

• 텍스트 스크립트 쌍과 WAV 파일 쌍으로 구성된 ljspeech 데이터 세트를 사용했습니다. 전체 데이터 세트 (13,100 쌍)는 여기에서 다운로드 할 수 있습니다. 전처리 코드에 대해 https://github.com/keithito/tacotron 및 https://github.com/kyubyong/dc_tts를 참조했습니다.

사방 모델

• 사전에 사전 모델을 여기에서 다운로드 할 수 있습니다 (AR 모델의 경우 160K / Postnet의 경우 100k).
• Checkpoint/ Directory에서 사전 각인 모델을 찾으십시오.

주의 음모

• 약 15K 단계 후에 대각선 정렬이 나타났습니다. 아래의주의 음모는 160k 단계입니다. 플롯은 모든 레이어의 멀티 헤드주의를 나타냅니다. 이 실험에서 H = 4는 3 개의주의 층에 사용됩니다. 따라서, 각각의 엔코더, 디코더 및 인코더 디코더에 대해 12 개의주의 플롯이 그려졌다. 디코더를 제외하고, 몇 개의 멀티 헤드만이 대각선 정렬을 보여 주었다.

자기 관심 인코더

자기 관심 디코더

주의 인코더 디코더

학습 곡선 및 알파

• 나는 Noam 스타일의 워밍업과 타코트론과 같은 붕괴를 사용했습니다.

• 스케일링 위치 인코딩의 알파 값은 논문과 다릅니다. 논문에서, 인코더의 알파 값은 4로 증가하는 반면, 본 실험에서는 처음에 약간 증가한 다음 연속적으로 감소했다. 디코더 알파는 처음부터 꾸준히 감소했습니다.

실험 노트

1. 학습 속도는 훈련에 중요한 매개 변수입니다. 초기 학습 속도가 0.001이고 기하 급수적으로 부패하는 것은 작동하지 않습니다.
2. 그라디언트 클리핑은 또한 훈련에 중요한 매개 변수입니다. 나는 규범 값 1으로 그라디언트를 자릅니다.
3. 스톱 토큰 손실로 모델은 훈련하지 않았습니다.
4. 주의 메커니즘에서 입력 및 컨텍스트 벡터를 연결하는 것이 매우 중요했습니다.

생성 된 샘플

• 아래에서 생성 된 샘플을 확인할 수 있습니다. 모든 샘플은 160k의 단계이므로 모델이 아직 수렴되지 않았다고 생각합니다. 이 모델은 긴 문장에서 성능이 낮은 것으로 보입니다.

  • 샘플 1
  • 샘플 2
  • 샘플 3

• 첫 번째 플롯은 예측 된 Mel 스펙트로 그램이고 두 번째 플롯은 지상 진실입니다.

파일 설명

• hyperparams.py 에는 필요한 모든 하이퍼 매개 변수가 포함되어 있습니다.
• prepare_data.py preprocess wav 파일은 선형 스펙트로 그램으로 Mel, 더 빠른 교육 시간을 절약합니다. 텍스트의 전처리 코드는 텍스트/ 디렉토리에 있습니다.
• preprocess.py 데이터를로드 할 때 모든 전처리 코드가 포함되어 있습니다.
• module.py 에는주의, Prenet, Postnet 등을 포함한 모든 방법이 포함되어 있습니다.
• network.py 에는 인코더, 디코더 및 사후 처리 네트워크를 포함한 네트워크가 포함되어 있습니다.
• train_transformer.py 는 자동 회귀주의 네트워크를 훈련하기위한 것입니다. (텍스트 -> mel)
• train_postnet.py 포스트 네트워크를 훈련하기위한 것입니다. (mel-> 선형)
• synthesis.py TTS 샘플을 생성하기위한 것입니다.

네트워크 훈련

• 1 단계. 원하는 디렉토리에서 ljspeech 데이터를 다운로드하여 추출하십시오.
• 2 단계. hyperparams.py , 특히 'data_path'에서 하이퍼 파라미터를 조정하여 파일을 추출하는 디렉토리와 필요한 경우 다른 디렉토리를 조정하십시오.
• 3 단계. prepare_data.py 실행하십시오.
• 4 단계. train_transformer.py 실행하십시오.
• 5 단계. train_postnet.py 실행하십시오.

tts wav 파일을 생성합니다

• 1 단계. synthesis.py 실행하십시오. 복원 단계를 확인하십시오.

참조

• Keith Ito : https://github.com/keithito/tacotron
• Kyubyong Park : https://github.com/kyubyong/dc_tts
• jadore801120 : https://github.com/jadore801120/attention-is-all-you-need-pytorch/

의견

• 코드에 대한 의견은 항상 환영합니다.