cnn_vocoder

CNNVOCODER

Catatan: Saya tidak lagi mengerjakan proyek ini. Lihat #9.

Vocoder berbasis CNN.

Karya ini terinspirasi dari model M-CNN yang dijelaskan dalam inversi spektrogram cepat menggunakan jaringan saraf konvolusional multi-head. Para penulis menunjukkan bahwa bahkan jaringan upampling sederhana sudah cukup untuk sintesis bentuk gelombang dari spektrogram/mel-spectrogram.

Dalam repo ini, saya menggunakan fitur Spectrogram untuk model pelatihan karena berisi lebih banyak informasi daripada fitur Mel-Spectrogram. Namun, karena transformasi dari spektrogram ke Mel-spectrogram hanyalah proyeksi linier, jadi pada dasarnya, Anda dapat melatih spektrogram prediksi jaringan sederhana dari Mel-Spectrogram. Anda juga dapat mengubah parameter untuk dapat melatih vokoder dari fitur Mel-Spectrogram juga.

Contoh audio

Catatan Arsitektur

Bandingkan dengan M-CNN, jaringan yang saya usulkan memiliki beberapa perbedaan:

• Saya menggunakan lapisan UPSAMPLING + CONV alih -alih Lapisan TransposedConV. Ini membantu mencegah artefak kotak -kotak.
• Model ini menggunakan banyak blok residu sebelum/setelah modul upampling untuk membuat jaringan lebih besar/lebih dalam.
• Saya hanya menggunakan kerugian L1 antara magnitudo STFT skala log dari prediksi dan bentuk gelombang target. Kehilangan evaluasi pada ruang log lebih baik daripada pada magnitudo STFT mentah karena lebih dekat dengan sensasi manusia tentang kenyaringan. Saya mencoba menghitung kehilangan pada fitur Spectrogram, tetapi itu tidak banyak membantu.

Pasang persyaratan

$ pip install -r requirements.txt

Melatih vocoder

1. Siapkan dataset

Saya menggunakan dataset LJSPEECH untuk percobaan saya. Jika Anda belum memilikinya, silakan unduh dataset dan letakkan di suatu tempat.

Setelah itu, Anda dapat menjalankan perintah untuk menghasilkan dataset untuk percobaan kami:

$ python preprocessing.py --samples_per_audio 20  
--out_dir ljspeech 
--data_dir path/to/ljspeech/dataset 
--n_workers 4

2. Latih Vocoder

$ python train.py --out_dir ${output_directory}

Untuk lebih banyak opsi pelatihan, silakan jalankan:

$ python train.py --help

Menghasilkan audio dari spektrogram

• Menghasilkan spektrogram dari audio

$ python gen_spec.py -i sample.wav -o out.npz

• Menghasilkan audio dari spektrogram

$ python synthesis.py --model_path path/to/checkpoint 
                      --spec_path out.npz 
                      --out_path out.wav

Model pretrained

Anda bisa mendapatkan model pra-terlatih saya di sini.

Ucapan Terima Kasih

Implementasi ini menggunakan kode dari NVIDIA, Ryuichi Yamamoto, Keith Ito seperti yang dijelaskan dalam kode saya.

Lisensi

Mit