reformer tts

改革者-TT

改革者的改编：文本到语音任务的有效变压器。

该项目包含：

• 根据Rev.com的成绩单创建特朗普语音数据集的预处理代码
• 改革者TTS的实施：改革者的改编：基于Transformer网络的神经语音综合的文本到语音任务的有效变压器
• Squeezewave的实施：现代Pytorch中启用演讲综合的极轻的辅助声音，没有对Tacotron2，WaveNet或Wavellow的依赖性
• Pytorch Lightning包装纸，可轻松培训两种型号，并易于使用配置管理
• 用于运行培训，推理和数据预处理的CLI

项目范围和当前状态

我们的目的是通过在最新的《改革仪论文》中提出的优化替换其变压器体系结构来创建最先进的文本到语音模型的效率更高版本。我们将根据其演讲的自定义数据集（专门为此目的创建）来生成令人信服的唐纳德·特朗普（Donald Trump）。

不幸的是，在2个月内实验了100多个高参数组合后，我们无法产生与Transferer TTS纸的结果相匹配的结果。我们认为，模型大小是这里的重要因素，并且要训练TTS的变压器，真正需要减少过度拟合以允许长时间，稳定的训练过程（在RTX 2080TI上进行了约1周的培训）。

同样，访问变压器TT的原始实现将有很大帮助。

尽管改革者不符合我们的期望，但Squeezewave实施与没有FP16支持的原始性能相匹配。

我们还包括用于运行培训和推理的CLI（请参阅使用情况部分），以及实验复制所需的所有数据（请参阅开发部分）。

该项目在重大的重构之下，此版本在这里留在这里，以允许与我们以前的经验兼容，并将在不久的将来移动。

额外的文件

• 最终演示和幻灯片
• 项目杂志
• 研究文档

使用该项目

该项目是一个普通的Python软件包，只要您拥有Python 3.8或更高，就可以使用pip安装。

转到发布页面以查找最新版本的安装说明。

安装后，您可以通过运行来查看可用命令：

python -m reformer_tts.cli --help

所有命令均使用CLI执行，例如：

python -m reformer_tts.cli train-vocoder

大多数参数（尤其是所有训练超级参数）是通过--config参数到cli （在您要运行的命令之前进行的），例如：

python -m reformer_tts.cli -c /path/to/your/config.yml train-vocoder

默认值可以在reformer_tts.config.Config （及其字段）中找到。

开发设置

1。安装依赖项

使用conda

多亏了Conda-Forge社区，我们可以使用一个命令安装所有软件包（包括ffmpeg等必要的二进制文件）。

conda env create -f environment.yml

使用其他软件包经理

1. 检查您的环境并确保您的Python>=3.8 ：

which python
python --version

2. 安装Python依赖项（还以可编辑模式安装我们的软件包）：

pip install -r requirements.txt

3. 确保您已安装ffmpeg>=3.4,<4.0 （安装说明）

4. 对于培训，请确保您安装了CUDA和GPU司机（有关详细信息，请参阅Pytorch网站上的说明）

2。配置工具

1. 为了使DVC具有对遥控器的写入访问，请配置您的GCP帐户（使用生成的JSON文件中的凭据）：

 export GOOGLE_APPLICATION_CREDENTIALS=/path/to/your/service-account-credentials.json

注意：如果您只需要读取Acces（用于繁殖），则无需执行步骤1

2. 获取所有数据 - 需要重复此步骤：
   • 每次休息后开始工作
   • 每次git拉
   • 检查了另一个git分支

dvc pull

3。检查设置是否正确

为此，您可以运行项目测试：

python -m pytest --pyargs reformer_tts

所有测试均应在CPU和GPU上使用，并且可能需要一分钟才能完成。

请记住将--pyargs reformer_tts传递到Pytest，否则它将搜索数据目录进行测试

设置详细信息

• 使用您想要的任何软件包管理器
• 使用Python>=3.8
• 所有python依赖关系都将在requirements.txt中environment.yml
• 运行任务的一个中央入口点： reformer_tts/cli.py ，运行python reformer_tts/cli.py --help用于详细参考

配置

配置在数据级结构中组织：

• 每个项目子模块都有其自己的配置文件，称为config.py ，其中定义了参数和默认值 - 例如，deataset config参数是在reformer_tts.dataset.config中指定的。
• reformer_tts.config.Config类包含所有subpodules的配置设置
• 配置参数的实际值是从配置文件中以yaml格式加载的，最佳实践是仅覆盖yaml文件中的默认值

这样，将默认值设置为靠近使用的位置，任何配置值都可以在您想要的任何地方覆盖

更改运行时配置

• 使用命令python reformer_tts/cli.py save-config -o config/custom.yml或手动复制config/ Directory中现有配置文件之一，自动使用默认值生成默认值的配置。
• 删除您不希望从生成的配置文件更改的默认值
• 更改您希望在生成的配置文件中更改的值
• 使用-c选项运行CLI脚本python reformer_tts/cli.py -c config/custom.yml [COMMAND]指定您的配置

为新模块添加配置

• 在模块中创建config.py
• 在新文件中使用所有必要的配置参数定义数据级：
  • 确保您的类不重新定义其他配置文件的参数值（即，我们仅指定了频谱频道的数量一次 - 在dataset和squeezewave模块的同一位置）
  • 确保您的类具有所有参数的默认值
• 在reformer_tts.config Main Config类中添加Dataclass的字段

数据依赖性

我们使用DVC定义数据处理管道。遥控器是在Google Cloud Storage上设置的，有关详细信息运行dvc config list 。

在熵集群上运行作业的设置

准备运行的节点：

• Asusgpu3
• Asusgpu4
• Asusgpu1
• 阿诺德
• 西尔维斯特

与Homedir在节点上运行Trainig

• 克隆回购到您的homedir
• 确保在/scidatalg中配置数据集路径
• 设置命令从您的homedir调用文件
• 提交您的更改
• 运行sbatch脚本

在没有homedir的特定节点上进行培训

在运行之前：

• 从已经准备好的节点或使用下面的说明中选择新的节点
• 将存储库复制到您的家中
• 确保在您的环境中设置Neptune API令牌

进行培训：

• 准备培训配置并将其推入远程存储库
• 使用Interactive Session srun --qos=gsn --partition=common --nodelist=<name_of_chosen_node> --pty /bin/bash登录到选择节点
• goto /scidatalg/reformer-tts/reformer-tts/确保将存储库拔出并在适当的分支机构上
• 登录登录节点
• 复制和修改jobs/train_entropy.sbatch填充节点名称和培训命令
• 运行sbatch your/job/script/location.sbatch

专业提示watch -n 1 squeue -u your_username要注意您的作业是否已经在运行PRO TIP2您可以通过运行tail -f file.log或less --follow-name +F file.log观看对日志的更新。

从DVC拉

从DVC拉jobs/entropy_dvc_pull.sbatch 。

• 复制此文件
• 填充节点名称
• 调整DVC命令
• 使用Sbatch运行工作

新节点准备

由于 /scidatasm目录在我们想训练时不同步，因此我们必须手动在每个节点上设置训练。在新节点上设置ENV遵循此启动：

注意：此脚本仅支持具有 /scidatalg的节点。这些节点是：asusgpu4，asusgpu3，asusgpu2，asusgpu1，asslvester，sylvester

• 使用Interactive Session srun --qos=gsn --partition=common --nodelist=<name_of_chosen_node> --pty /bin/bash登录到节点
• 将Google API凭据复制到${HOME}/gcp-cred.json （使用您喜欢的编辑器）
• 将scripts/setup_entropy_node.sh的内容复制到家庭dir中的新文件（再次使用编辑器）
• 运行复制脚本