Kazakh_TTS

哈萨克特食谱

这是基于哈萨克特人和哈萨克特人Corpora的哈萨克语文本到语音模型的食谱。

设置和要求

我们的代码建立在ESPNET上，并需要事先安装框架。请遵循“安装指南”，并将哈萨克特人文件夹放入espnet/egs2/目录中：

 cd espnet/egs2
git clone https://github.com/IS2AI/Kazakh_TTS.git

转到Hazakh_tts/TTS1文件夹，然后创建指向依赖项的链接：

 ln -s ../../TEMPLATE/tts1/path.sh .
ln -s ../../TEMPLATE/asr1/pyscripts .
ln -s ../../TEMPLATE/asr1/scripts .
ln -s ../../../tools/kaldi/egs/wsj/s5/steps .
ln -s ../../TEMPLATE/tts1/tts.sh .
ln -s ../../../tools/kaldi/egs/wsj/s5/utils .

下载数据集

在您选择的目录中下载Hazakhtts数据集和UNTAR。在KazakhTTS/tts1/local/data.sh脚本中指定数据集目录（音频/成绩单的位置）的路径：

 db_root=/path-to-speaker-folder

例如db_root=/home/datasets/ISSAI_KazakhTTS/M1/Books

训练

要训​​练模型，请在KazakhTTS/tts1/文件夹中运行脚本./run.sh 。 GPU和RAM规格可以在配置（ conf/ ）文件夹中找到。

 ./run.sh --stage 1 --stop_stage 6 --train_config conf/train.yaml 

如果您想训练FastSpeech/Transformer型号，请相应地更改train_config=conf/train.yaml 。每个阶段的详细描述在ESPNET的存储库中记录。

预验证的模型

该模型是由纳扎尔巴耶夫大学哈萨克斯坦大学智能系统与人工智能研究所（此后）开发的。

请仅出于良好的理由和明智的方式使用模型。您不得使用该模型来生成淫秽，令人反感的数据，或者在宗教，性别，种族，语言或原产地中包含任何歧视。

ISSAI赞赏并需要归因。归因应包括原始论文，作者的标题以及模型开发的组织名称。例如：

Mussakhojayeva，S.，Janaliyeva，A.，Mirzakhmetov，A.，Khassanov，Y.，Varol，HA（2021）哈萨克赫特人：开放源的哈萨克语，哈萨克语文本到语音合成数据集。 Proc。 Interspeech 2021，2786-2790，doi：10.21437/Interpeech.2021-2124。智能系统与人工智能研究所（ISSAI.NU.EDU.KZ），哈萨克斯坦纳扎尔巴耶大学

kaztts_female1_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female1_tacotron2_train.loss.ave.ave.zip.zip

kaztts_female2_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female2_tacotron2_train2_train.loss.ave.ave.zip

kaztts_female3_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female3_tacotron2_train.loss.loss.ave.zip.zip

kaztts_male1_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_male1_tacotron2_train.loss.loss.ave.zip.zip

kaztts_male2_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_male2_tacotron2_train.loss.loss.ave.zip.zip

预验证的歌手

Parallelwavegan_female1_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female1_checkpoint.zip

Parallelwavegan_female2_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female2_checkpoint.zip

Parallelwavegan_female3_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female3_checkpoint.zip

Parallelwavegan_male1_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_male1_checkpoint.zip

Parallelwavegan_male2_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_male2_checkpoint.zip

语音综合

您可以使用synthesize.py脚本合成任意文本。修改脚本中的以下几行：

 ## specify the path to vocoder's checkpoint, i.e
vocoder_checkpoint="exp/vocoder/checkpoint-400000steps.pkl"

## specify path to the main model(transformer/tacotron2/fastspeech) and its config file
config_file = "exp/tts_train_raw_char/config.yaml"
model_path = "exp/tts_train_raw_char/train.loss.ave_5best.pth"

现在，您可以使用任意文本运行脚本，例如：

 python synthesize.py --text "бүгінде өңірде тағы бес жобаның құрылысы жүргізілуде."

生成的文件将保存在tts1/synthesized_wavs文件夹中。

引用

 @inproceedings{mussakhojayeva21_interspeech,
  author={Saida Mussakhojayeva and Aigerim Janaliyeva and Almas Mirzakhmetov and Yerbolat Khassanov and Huseyin Atakan Varol},
  title={{KazakhTTS: An Open-Source Kazakh Text-to-Speech Synthesis Dataset}},
  year=2021,
  booktitle={Proc. Interspeech 2021},
  pages={2786--2790},
  doi={10.21437/Interspeech.2021-2124}
}