Kazakh_TTS

哈薩克特食譜

這是基於哈薩克特人和哈薩克特人Corpora的哈薩克語文本到語音模型的食譜。

設置和要求

我們的代碼建立在ESPNET上，並需要事先安裝框架。請遵循“安裝指南”，並將哈薩克特人文件夾放入espnet/egs2/目錄中：

 cd espnet/egs2
git clone https://github.com/IS2AI/Kazakh_TTS.git

轉到Hazakh_tts/TTS1文件夾，然後創建指向依賴項的鏈接：

 ln -s ../../TEMPLATE/tts1/path.sh .
ln -s ../../TEMPLATE/asr1/pyscripts .
ln -s ../../TEMPLATE/asr1/scripts .
ln -s ../../../tools/kaldi/egs/wsj/s5/steps .
ln -s ../../TEMPLATE/tts1/tts.sh .
ln -s ../../../tools/kaldi/egs/wsj/s5/utils .

下載數據集

在您選擇的目錄中下載Hazakhtts數據集和UNTAR。在KazakhTTS/tts1/local/data.sh腳本中指定數據集目錄（音頻/成績單的位置）的路徑：

 db_root=/path-to-speaker-folder

例如db_root=/home/datasets/ISSAI_KazakhTTS/M1/Books

訓練

要訓​​練模型，請在KazakhTTS/tts1/文件夾中運行腳本./run.sh 。 GPU和RAM規格可以在配置（ conf/ ）文件夾中找到。

 ./run.sh --stage 1 --stop_stage 6 --train_config conf/train.yaml 

如果您想訓練FastSpeech/Transformer型號，請相應地更改train_config=conf/train.yaml 。每個階段的詳細描述在ESPNET的存儲庫中記錄。

預驗證的模型

該模型是由納扎爾巴耶夫大學哈薩克斯坦大學智能係統與人工智能研究所（此後）開發的。

請僅出於良好的理由和明智的方式使用模型。您不得使用該模型來生成淫穢，令人反感的數據，或者在宗教，性別，種族，語言或原產地中包含任何歧視。

ISSAI讚賞並需要歸因。歸因應包括原始論文，作者的標題以及模型開發的組織名稱。例如：

Mussakhojayeva，S.，Janaliyeva，A.，Mirzakhmetov，A.，Khassanov，Y.，Varol，HA（2021）哈薩克赫特人：開放源的哈薩克語，哈薩克語文本到語音合成數據集。 Proc。 Interspeech 2021，2786-2790，doi：10.21437/Interpeech.2021-2124。智能係統與人工智能研究所（ISSAI.NU.EDU.KZ），哈薩克斯坦納扎爾巴耶大學

kaztts_female1_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female1_tacotron2_train.loss.ave.ave.zip.zip

kaztts_female2_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female2_tacotron2_train2_train.loss.ave.ave.zip

kaztts_female3_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_female3_tacotron2_train.loss.loss.ave.zip.zip

kaztts_male1_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_male1_tacotron2_train.loss.loss.ave.zip.zip

kaztts_male2_tacotron2_train.loss.ave

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/kaztts_male2_tacotron2_train.loss.loss.ave.zip.zip

預驗證的歌手

Parallelwavegan_female1_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female1_checkpoint.zip

Parallelwavegan_female2_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female2_checkpoint.zip

Parallelwavegan_female3_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_female3_checkpoint.zip

Parallelwavegan_male1_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_male1_checkpoint.zip

Parallelwavegan_male2_checkpoint

• https://issai.nu.edu.kz/wp-content/uploads/2022/03/parallelwavegan_male2_checkpoint.zip

語音綜合

您可以使用synthesize.py腳本合成任意文本。修改腳本中的以下幾行：

 ## specify the path to vocoder's checkpoint, i.e
vocoder_checkpoint="exp/vocoder/checkpoint-400000steps.pkl"

## specify path to the main model(transformer/tacotron2/fastspeech) and its config file
config_file = "exp/tts_train_raw_char/config.yaml"
model_path = "exp/tts_train_raw_char/train.loss.ave_5best.pth"

現在，您可以使用任意文本運行腳本，例如：

 python synthesize.py --text "бүгінде өңірде тағы бес жобаның құрылысы жүргізілуде."

生成的文件將保存在tts1/synthesized_wavs文件夾中。

引用

 @inproceedings{mussakhojayeva21_interspeech,
  author={Saida Mussakhojayeva and Aigerim Janaliyeva and Almas Mirzakhmetov and Yerbolat Khassanov and Huseyin Atakan Varol},
  title={{KazakhTTS: An Open-Source Kazakh Text-to-Speech Synthesis Dataset}},
  year=2021,
  booktitle={Proc. Interspeech 2021},
  pages={2786--2790},
  doi={10.21437/Interspeech.2021-2124}
}