XphoneBert_Vits2

vits2用x Phonebert编码器扩展

学分

• 此存储库基于Vits2 Repo和Xphonebert的出色工作。

先决条件

1. Python> = 3.10
2. 用Google Colab和Lambdalabs Cloud在Pytorch版本1.13.1上测试。
3. 克隆这个存储库
4. 安装Python要求。请参阅要求
5. 下载数据集
   1. 下载并提取LJ语音数据集，然后重命名或创建指向数据集文件夹的链接： ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. 注意：此存储库不支持培训多演讲者数据集
6. 移动/将.txt培训，验证和测试文件复制到Filelists目录，然后运行Preprocess.py文件（类似于LJSpeech数据集的运行），例如：

   • 有关更多信息，请参考Xphonebert。他们使用text2phonemesequence将原始文本转换为音素序列。

   • 初始化每种语言的text2phonemesequence需要其相应的ISO 639-3代码。 ISO 639-3支持的语言代码在这里可用。

   • text2phonemesequence将单词段的序列作为输入。用户还可以在馈入text2phonemesequence之前对单词分段序列进行文本归一化。

• 注意：对于中文，韩语，日语（CJK语言）和一些东南亚语言等语言，单词不被空间分开。在将单词喂入此模型之前，必须使用外部引物。在这种情况下，写一个脚本以使您的输入归一化和分割您的输入，然后再提交给text2phonemesequence （在我的情况下是vie_preprocess.py）

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. 如果您使用自己的数据集，则构建单调对齐搜索并进行预处理。

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

训练例子

有关配置的更多信息，请参考configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base