voicefixer_main

2021-11-06: Saya baru saja memperbarui struktur kode untuk membuatnya lebih mudah dipahami. Mungkin ada potensi bug sekarang. Saya akan melakukan beberapa pelatihan tes nanti.

2021-11-01: Saya akan memperbarui kode dan membuatnya lebih mudah digunakan nanti.

Voicefixer

Voicefixer adalah kerangka kerja untuk restorasi pidato umum. Kami bertujuan untuk memulihkan pidato yang sangat terdegradasi dan pidato sejarah.

• Voicefixer
  • Bahan
  • Penggunaan
    • Lingkungan (lakukan ini pada awalnya)
    • Voicefixer untuk restorasi pidato umum
    • Resunet untuk Pemulihan Pidato Umum
    • Resunet untuk restorasi pidato tugas tunggal
  • Kutipan

Bahan

• ARXIV Preprint: https://arxiv.org/abs/2109.13731
• Halaman demo berisi perbandingan antara restorasi pidato tugas tunggal, restorasi pidato umum, dan voicefixer.
• Kami menulis paket PIP untuk voicefixer.
• Dataset yang kami gunakan dalam repo ini: Dataset Pelatihan dan Pengujian

Penggunaan

Lingkungan (lakukan ini pada awalnya)

 # Download dataset and prepare running environment
git clone https://github.com/haoheliu/voicefixer_main.git
cd voicefixer_main
source init.sh 

Voicefixer untuk restorasi pidato umum

Di sini kami mengambil VF_Unet (voicefixer dengan modul analisis yang tidak sesuai) sebagai contoh.

• Pelatihan

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json # you can modify the configuration file to personalize your training

Anda dapat memeriksa direktori log untuk pos pemeriksaan, logging dan validasi.

• Evaluasi

Evaluasi otomatis dan pembuatan file .csv pada semua testset.

Misalnya, jika Anda ingin mengevaluasi semua testset (default).

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 

Misalnya, jika Anda hanya ingin mengevaluasi testset GSR.

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --testset  general_speech_restoration  
                    --description  general_speech_restoration_eval 

Umumnya ada tujuh testset yang dapat Anda lewati -testset :

• Basis : Semua testset
• Klip : Testset dengan ucapan yang memiliki ambang batas 0,1, 0,25, dan 0,5
• Reverb : testset dengan ucapan bergema
• General_Speech_Restoration : Testset dengan ucapan yang berisi semua jenis distorsi acak
• Peningkatan : testset dengan ucapan bising
• pidato_super_resolution : Testset dengan ucapan resolusi rendah yang memiliki laju pengambilan sampel 2kHz, 4kHz, 8kHz, 16kHz, dan 24kHz.

Dan jika Anda ingin mengevaluasi sebagian kecil data, misalnya 10 ucapan. Anda dapat meneruskan nomor tersebut ke ---limit_numbers argumen.

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --limit_numbers 10 

Hasil evaluasi akan disajikan dalam folder Exp_Results .

Resunet untuk Pemulihan Pidato Umum

• Pelatihan

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json

Anda dapat memeriksa direktori log untuk pos pemeriksaan, logging dan validasi.

• Evaluasi (Mirip dengan Evaluasi Voicefixer)

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test >

Resunet untuk restorasi pidato tugas tunggal

• Pelatihan

  • Denoising

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_denoising.json

  • Dereverberation

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_dereverberation.json

  • Resolusi super

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_super_resolution.json

  • Mendeklipkan

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_declipping.json

Anda dapat memeriksa direktori log untuk pos pemeriksaan, logging dan validasi.

• Evaluasi (Mirip dengan Evaluasi Voicefixer)

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test > 

Kutipan

 @misc { liu2021voicefixer ,   
     title = { VoiceFixer: Toward General Speech Restoration With Neural Vocoder } ,   
     author = { Haohe Liu and Qiuqiang Kong and Qiao Tian and Yan Zhao and DeLiang Wang and Chuanzeng Huang and Yuxuan Wang } ,  
     year = { 2021 } ,  
     eprint = { 2109.13731 } ,  
     archivePrefix = { arXiv } ,  
     primaryClass = { cs.SD }  
 }