voicefixer_main

2021-11-06：我剛剛更新了代碼結構，以使其更容易理解。現在可能有潛在的錯誤。稍後我將進行一些測試培訓。

2021-11-01：我將更新代碼，並使以後更容易使用。

VoiceFixer

VoiceFixer是一般語音修復的框架。我們旨在恢復嚴重退化的言論和歷史言論。

• VoiceFixer
  • 材料
  • 用法
    • 環境（首先這樣做）
    • 一般語音修復的語音裝置
    • 重新設置一般語音修復
    • 重新設置單個任務語音恢復
  • 引用

材料

• ARXIV預印本：https：//arxiv.org/abs/2109.13731
• 演示頁麵包含單個任務語音恢復，一般語音修復和語音框架之間的比較。
• 我們為VoiceFixer編寫了PIP包。
• 我們在此存儲庫中使用的數據集：培訓和測試數據集

用法

環境（首先這樣做）

 # Download dataset and prepare running environment
git clone https://github.com/haoheliu/voicefixer_main.git
cd voicefixer_main
source init.sh 

一般語音修復的語音裝置

在這裡，我們以vf_unet （以UNET為分析模塊的VoiceFixer）為例子。

• 訓練

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json # you can modify the configuration file to personalize your training

您可以查看日誌目錄，以獲取檢查點，日誌記錄和驗證結果。

• 評估

自動評估和生成所有測試集上的.CSV文件。

例如，如果您想對所有測試集進行評估（默認）。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 

例如，如果您只想在GSR測試集上評估。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --testset  general_speech_restoration  
                    --description  general_speech_restoration_eval 

通常，您可以將七個測試集傳遞給- 測試：

• 基礎：所有測試集
• 剪輯：帶有剪輯閾值為0.1、0.25和0.5的語音的測試集
• 混響：帶迴響的測試集
• General_speech_restoration ：帶有各種隨機扭曲的語音的測試集
• 增強：帶有嘈雜語音的測試集
• speech_super_resolution ：低分辨率語音的測試集，採樣率為2kHz，4kHz，8kHz，16kHz和24KHz。

如果您想評估一小部分數據，例如10話。您可以將數字傳遞給-limit_numbers參數。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --limit_numbers 10 

評估結果將在EXP_Results文件夾中介紹。

重新設置一般語音修復

• 訓練

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json

您可以查看日誌目錄，以獲取檢查點，日誌記錄和驗證結果。

• 評估（類似於VoiceFixer評估）

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test >

重新設置單個任務語音恢復

• 訓練

  • Denoising

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_denoising.json

  • 取代

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_dereverberation.json

  • 超級分辨率

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_super_resolution.json

  • 傾斜

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_declipping.json

您可以查看日誌目錄，以獲取檢查點，日誌記錄和驗證結果。

• 評估（類似於VoiceFixer評估）

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test > 

引用

 @misc { liu2021voicefixer ,   
     title = { VoiceFixer: Toward General Speech Restoration With Neural Vocoder } ,   
     author = { Haohe Liu and Qiuqiang Kong and Qiao Tian and Yan Zhao and DeLiang Wang and Chuanzeng Huang and Yuxuan Wang } ,  
     year = { 2021 } ,  
     eprint = { 2109.13731 } ,  
     archivePrefix = { arXiv } ,  
     primaryClass = { cs.SD }  
 }