MelNet

멜넷

Melnet 구현 : 주파수 영역에서 오디오를위한 생성 모델

전제 조건

• Python 3.6.8 & 3.7.4로 테스트, Pytorch 1.2.0 & 1.3.0.
• pip install -r requirements.txt

훈련하는 방법

데이터 세트

• Blizzard, Voxceleb2 및 KSS에는 config/ 에 YAML 파일이 제공됩니다. 다른 데이터 세트의 경우 다른 데이터 세트에 따라 자신의 YAML 파일을 작성하십시오.
• YAML 파일 내에서 data.extension 설정하여 일관된 파일 확장자가있는 경우 모든 종류의 데이터 세트에 대해 무조건 교육이 가능합니다.
• 조건부 교육은 현재 KSS 및 블리자드 데이터 세트의 하위 집합에 대해서만 구현됩니다.

코드 실행

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • 각 계층은 별도로 훈련 할 수 있습니다. 각 계층이 이전 계층보다 크기 때문에 (1 단계 제외) 각 계층의 배치 크기를 수정하십시오.
    • 블리자드 데이터 세트의 6 단계는 배치 크기가 1 인 16GB P100에 맞지 않습니다.
  • -s 플래그는 TTS 계층을 훈련할지 여부를 결정하기위한 부울입니다. TT TIER는 1 단계에서만 다르므로 [tier number] != 0 일 때이 플래그는 무시됩니다. 경고 :이 깃발은 깃발을 따르는 것에 상관없이 True 입니다. 당신이 그것을 사용할 계획이라면 그것을 무시하십시오.

샘플링하는 방법

체크 포인트 준비

• 체크 포인트는 chkpt/ 에 저장해야합니다.
• inference.yaml 이라는 YAML 파일은 config/ 에 제공되어야합니다.
• inference.yaml 계층 수, 체크 포인트의 이름 및 조건부 생성 여부를 지정해야합니다.

코드 실행

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • 타임 스텝은 MEL 스펙트로 그램의 길이를 나타냅니다. 타임 스텝 대 초의 비율은 대략 [sample rate] : [hop length of FFT] 입니다.
  • -i 플래그는 선택 사항이며 조건부 생성에만 필요합니다. 문장을 "" 로 둘러싸고 끝납니다 . .
  • 무조건 생성 및 조건부 생성은 현재 프라이밍 된 생성 (제공된 데이터로부터 추정)을 지원하지 않습니다.

할 일

• 업 샘플링 절차를 구현하십시오
• GMM 샘플링 + 손실 기능
• 무조건 오디오 생성
• TTS 합성
• 텐서 보드 로깅
• 멀티 GPU 교육
• 프라이밍 된 세대

구현 저자

• Seungwon Park, June Young Yi, Yoonhyung Lee, Joowhan Song @ Deepest Season 6

특허

MIT 라이센스