voicefixer_main

2021-11-06：我刚刚更新了代码结构，以使其更容易理解。现在可能有潜在的错误。稍后我将进行一些测试培训。

2021-11-01：我将更新代码，并使以后更容易使用。

VoiceFixer

VoiceFixer是一般语音修复的框架。我们旨在恢复严重退化的言论和历史言论。

• VoiceFixer
  • 材料
  • 用法
    • 环境（首先这样做）
    • 一般语音修复的语音装置
    • 重新设置一般语音修复
    • 重新设置单个任务语音恢复
  • 引用

材料

• ARXIV预印本：https：//arxiv.org/abs/2109.13731
• 演示页面包含单个任务语音恢复，一般语音修复和语音框架之间的比较。
• 我们为VoiceFixer编写了PIP包。
• 我们在此存储库中使用的数据集：培训和测试数据集

用法

环境（首先这样做）

 # Download dataset and prepare running environment
git clone https://github.com/haoheliu/voicefixer_main.git
cd voicefixer_main
source init.sh 

一般语音修复的语音装置

在这里，我们以vf_unet （以UNET为分析模块的VoiceFixer）为例子。

• 训练

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json # you can modify the configuration file to personalize your training

您可以查看日志目录，以获取检查点，日志记录和验证结果。

• 评估

自动评估和生成所有测试集上的.CSV文件。

例如，如果您想对所有测试集进行评估（默认）。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 

例如，如果您只想在GSR测试集上评估。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --testset  general_speech_restoration  
                    --description  general_speech_restoration_eval 

通常，您可以将七个测试集传递给- 测试：

• 基础：所有测试集
• 剪辑：带有剪辑阈值为0.1、0.25和0.5的语音的测试集
• 混响：带回响的测试集
• General_speech_restoration ：带有各种随机扭曲的语音的测试集
• 增强：带有嘈杂语音的测试集
• speech_super_resolution ：低分辨率语音的测试集，采样率为2kHz，4kHz，8kHz，16kHz和24KHz。

如果您想评估一小部分数据，例如10话。您可以将数字传递给-limit_numbers参数。

python3 eval_gsr_voicefixer.py  
                    --config  < path-to-the-config-file > 
                    --ckpt  < path-to-the-checkpoint > 
                    --limit_numbers 10 

评估结果将在EXP_Results文件夹中介绍。

重新设置一般语音修复

• 训练

 # pass in a configuration file to the training script
python3 train_gsr_voicefixer.py -c config/vctk_base_voicefixer_unet.json

您可以查看日志目录，以获取检查点，日志记录和验证结果。

• 评估（类似于VoiceFixer评估）

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test >

重新设置单个任务语音恢复

• 训练

  • Denoising

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_denoising.json

  • 取代

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_dereverberation.json

  • 超级分辨率

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_super_resolution.json

  • 倾斜

   # pass in a configuration file to the training script
  python3 train_ssr_unet.py -c config/vctk_base_ssr_unet_declipping.json

您可以查看日志目录，以获取检查点，日志记录和验证结果。

• 评估（类似于VoiceFixer评估）

  python3 eval_ssr_unet.py  
                      --config  < path-to-the-config-file > 
                      --ckpt  < path-to-the-checkpoint > 
                      --limit_numbers < int-test-only-on-a-few-utterance > 
                      --testset  < the-testset-you-want-to-use >  
                      --description  < describe-this-test > 

引用

 @misc { liu2021voicefixer ,   
     title = { VoiceFixer: Toward General Speech Restoration With Neural Vocoder } ,   
     author = { Haohe Liu and Qiuqiang Kong and Qiao Tian and Yan Zhao and DeLiang Wang and Chuanzeng Huang and Yuxuan Wang } ,  
     year = { 2021 } ,  
     eprint = { 2109.13731 } ,  
     archivePrefix = { arXiv } ,  
     primaryClass = { cs.SD }  
 }