vall e

vall-e

基于Encodec Tokenizer的VALL-E的非正式Pytorch实现。

开始

玩具Google Colab示例：。请注意，此示例在data/test下过多地说出了单个话语，并且不可用。预验证的模型尚未到来。

要求

由于培训师是基于DeepSpeed的，因此您需要对DeepSpeed开发和测试的GPU，以及预先安装的CUDA或ROCM编译器以安装此软件包。

安装

 pip install git+https://github.com/enhuiz/vall-e

或者您可以通过：

 git clone --recurse-submodules https://github.com/enhuiz/vall-e.git

请注意，该代码仅在Python 3.10.7下进行测试。

火车

1. 将数据放入文件夹中，例如data/your_data 。音频文件应使用后缀.wav和.normalized.txt命名。

2. 量化数据：

 python -m vall_e.emb.qnt data/your_data

3. 基于文本生成音素：

 python -m vall_e.emb.g2p data/your_data

4. 通过创建config/your_data/ar.yml和config/your_data/nar.yml来自定义配置。有关详细信息，请参阅config/test和vall_e/config.py中的示例配置。您可以选择不同的型号预设，请检查vall_e/vall_e/__init__.py 。

5. 使用以下脚本训练AR或NAR模型：

 python -m vall_e.train yaml=config/your_data/ar_or_nar.yml

您可以随时仅通过在CLI中quit来退出培训。最新的检查点将自动保存。

出口

两种训练有素的模型都需要导出到某个路径。要导出其中的任何一个，请运行：

 python -m vall_e.export zoo/ar_or_nar.pt yaml=config/your_data/ar_or_nar.yml

这将导出最新的检查点。

合成

 python -m vall_e <text> <ref_path> <out_path> --ar-ckpt zoo/ar.pt --nar-ckpt zoo/nar.pt

托多

• 第一个量化器的AR模型
• 来自令牌的音频解码
• 其余量化器的NAR模型
• 两种型号的培训师
• 为NAR模型实施Adaln。
• NAR培训的样本量化水平采样。
• 在库中预先训练的检查点和演示
• 合成CLI

注意

• Eccodec已根据CC-BY-NC 4.0许可。如果您使用代码来生成音频量化或执行解码，那么遵守其许可条款很重要。

引用

 @article { wang2023neural ,
  title = { Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers } ,
  author = { Wang, Chengyi and Chen, Sanyuan and Wu, Yu and Zhang, Ziqiang and Zhou, Long and Liu, Shujie and Chen, Zhuo and Liu, Yanqing and Wang, Huaming and Li, Jinyu and others } ,
  journal = { arXiv preprint arXiv:2301.02111 } ,
  year = { 2023 }
}

 @article { defossez2022highfi ,
  title = { High Fidelity Neural Audio Compression } ,
  author = { Défossez, Alexandre and Copet, Jade and Synnaeve, Gabriel and Adi, Yossi } ,
  journal = { arXiv preprint arXiv:2210.13438 } ,
  year = { 2022 }
}