cnn_vocoder

cnnvocoder

참고 : 저는 더 이상이 프로젝트를 진행하지 않습니다. #9를 참조하십시오.

CNN 기반 보코더.

이 작업은 다중 헤드 컨볼 루션 신경 네트워크를 사용하여 빠른 스펙트럼 반전으로 설명 된 M-CNN 모델에서 영감을 얻었습니다. 저자는 간단한 상향 샘플링 네트워크조차도 스펙트로 그램/멜 스피어 그램에서 파형을 합성하기에 충분하다는 것을 보여줍니다.

이 저장소에서는 Mel-Spectrogram 기능보다 더 많은 정보가 포함되어 있기 때문에 교육 모델에 스펙트로 그램 기능을 사용합니다. 그러나 스펙트로 그램에서 멜 스피어 그램으로의 변환은 선형 투영 일 뿐이므로 기본적으로 간단한 네트워크 예측 스펙트로 그램을 Mel-Spectrogram에서 훈련시킬 수 있습니다. 또한 Mel-Spectrogram 기능에서 보코더를 훈련시킬 수 있도록 매개 변수를 변경할 수도 있습니다.

샘플 오디오

건축 노트

M-CNN과 비교하면 제안 된 네트워크에는 몇 가지 차이점이 있습니다.

• 전환 된 Conv 레이어 대신 Upsampling + Conv 레이어를 사용합니다. 이것은 바둑판 인공물을 방지하는 데 도움이됩니다.
• 이 모델은 네트워크를 더 크고 깊게 만들기 위해 많은 잔차 블록을 사전/후에 사용합니다.
• 나는 예측 된 파형의 로그 스케일 stft-magnitude 사이에 L1 손실 만 사용했습니다. 로그 공간에서의 평가 손실은 음량에 대한 인간의 감각에 더 가깝기 때문에 원시 stft-magnitude보다 낫습니다. 스펙트로 그램 기능에서 손실을 계산하려고했지만 많은 도움이되지 않았습니다.

요구 사항을 설치하십시오

$ pip install -r requirements.txt

훈련 보코더

1. 데이터 세트를 준비하십시오

실험에 ljspeech 데이터 세트를 사용합니다. 아직 없다면 데이터 세트를 다운로드하여 어딘가에 넣으십시오.

그런 다음 명령을 실행하여 실험을 위해 데이터 세트를 생성 할 수 있습니다.

$ python preprocessing.py --samples_per_audio 20  
--out_dir ljspeech 
--data_dir path/to/ljspeech/dataset 
--n_workers 4

2. 기차 보코더

$ python train.py --out_dir ${output_directory}

더 많은 교육 옵션은 실행하십시오.

$ python train.py --help

스펙트로 그램에서 오디오를 생성합니다

• 오디오에서 스펙트로 그램을 생성합니다

$ python gen_spec.py -i sample.wav -o out.npz

• 스펙트로 그램에서 오디오를 생성합니다

$ python synthesis.py --model_path path/to/checkpoint 
                      --spec_path out.npz 
                      --out_path out.wav

사방 모델

여기에서 미리 훈련 된 모델을 얻을 수 있습니다.

감사의 말

이 구현은 내 코드에 설명 된대로 Nvidia, Ryuichi Yamamoto, Keith Ito의 코드를 사용합니다.

특허

MIT