LightSpeech

Lightspeech

LightSpeech的非官方Pytorch实现：通过神经体系结构搜索进行语音轻巧和快速文本。该回购使用ESPNET的FastSpeech 2实现作为基础。该仓库仅实现LightSpeech模型的最终版本，而不是论文中提到的神经体系结构搜索。

But I am able to compress only 3x (from 27 M to 7.99 M trainable parameters) not 15x 。

要求 ：

所有代码以Python 3.6.2编写。

• 安装Pytorch

在安装Pytorch之前，请通过运行以下命令来检查您的CUDA版本： nvcc --version

 pip install torch torchvision

在此存储库中，我使用了pytorch 1.6.0用于torch.bucketize功能，这在pytorch的先前版本中不存在。

• 安装其他要求：

 pip install -r requirements.txt

• 使用张量板安装tensorboard version 1.14.0分别使用受支持的tensorflow (1.14.0)

用于预处理：

filelists文件夹包含MFA（Motreal Force Aligner）处理的LJSpeech数据集文件，因此您无需将文本与LJSpeech数据集的音频（用于提取持续时间）对齐。对于其他数据集，请在此处遵循指令。对于其他预处理运行以下命令：

 python .nvidia_preprocessing.py -d path_of_wavs -c configs/default.yaml

查找F0和能量的最小和最大

 python .compute_statistics.py

在hparams.py中更新以下内容，按min和最大的f0和能量更新

 p_min = Min F0/pitch
p_max = Max F0
e_min = Min energy
e_max = Max energy

进行培训

 python train_lightspeech.py --outdir etc -c configs/default.yaml -n "name"

进行推断

WIP

 python .inference.py -c .configsdefault.yaml -p .checkpointsfirst_1xyz.pyt --out output --text "ModuleList can be indexed like a regular Python list but modules it contains are properly registered."

对于Torchscript导出

 python export_torchscript.py -c configs/default.yaml -n fastspeech_scrip --outdir etc

笔记 ：

• 对于更完整的和端到端语音克隆或文本到语音（TTS）工具箱？请访问DeepSync Technologies。

参考

• LightSpeech：通过神经体系结构搜索轻巧和快速的文字到语音
• FastSpeech 2：快速和高质量的端到端文本到语音
• FastSpeech：快速，健壮且可控制的文本到语音
• ESPNET
• NVIDIA的Wavellow实现
• 梅尔根
• 榴莲
• FastSpeech2 TensorFlow实现
• 其他Pytorch FastSpeech 2实现
• Wavernn