vits japros webui

我将专注于开发style-bert-vits2，所以我不会再更新此信息：https：//github.com/litagin02/style-bert-vits22

bert-vits2参考文章：https：//zenn.dev/litagin/articles/b1ddc1da5ea2b3

vits-japros-webui

这是一个用于窗口的WebUI，可让您学习日本VITS模型，并允许您用口音合成语音。如果您只有语音综合，即使没有图形卡也可以使用它。

？语音综合演示

语音综合	学习

japros？

• 有一个称为ESPNET的框架，可以在机器学习中统一处理各种语音处理任务。
• VIT可以用作在ESPNET上学习TTS的一种方式。
• 在学习TTS时，ESPNET允许您指定将学习文本（日语句子）转换为音素序列（ G2P ）的方法（G2P），其中一个是pyopenjtalk_prosody ，其中添加了强调符号。

在这种情况下，我正在使用pyopenjtalk_prosody训练G2P的模型，并为方便起见（Bing-Chan的建议）。

pyopenjtalk_prosody还处理诸如重音之类的符号，因此您可以使用它们来控制口音（ハ➚シハ➘シ）。

重音符号细节

象征	角色	例子
[	重音从这里升起（图像➚）	您好→コ[ンニチワ
]	口音从这里掉下来（图像➘）	京都→キョ]オト
（半宽空间）	剪切诗（以某种方式一块蛋糕）	ソ[レワ ム[ズカシ]イ
、	姿势（屏住呼吸）。当您想做一个短姿势时，请使用它。	ハ]イ、ソ[オ オ[モイマ]ス
?	我将其添加到问题的结尾。	キ[ミワ ダ]レ?

这是什么？

这使您可以在本地Windows环境中训练，负载和语音综合JAPROS模型。

学习

• 使用音频文件自动转录，使用更快的呼声
• 学习本身经过修改以在Windows上运行，从而使Vits Japros可以通过最少的操作来学习。

关于语音综合

• 带有katakana和符号的某种直觉的重音控制（可能）
• 简单的语音速度，音高和语调调整功能（来自Pyworld）
• 它还可以在CPU上使用（可以在学习期间单独启动并检查）
• 即使不是使用此模型创建的模型，如果它是pyopenjtalk_prosody in vits with Espnet中的模型，则如果包含在config.yaml中，它也应该有效

如何使用

安装

我已经确认它在Windows 11上使用Python 3.10在RTX 4070上有效。

1. 首先，克隆这个存储库。

git clone https://github.com/litagin02/vits-japros-webui.git

2. 双击setup.bat 。 Setup complete.看起来，你完成了。

如何使用

• 学习：双击webui_train.bat
• 语音综合：在下面查看以放置pth文件，然后双击webui_infer.bat
• 更新：双击update.bat

有关更多信息，如果您不需要WebUI，请单击此处。

放置语音合成的模型

对于模型，在weights目录中创建一个子目录，然后将{数字}epoch.pth文件放入其中。如果您使用的是外部模型（仅与pyopenjtalk_prosody在vits中与ESPNET兼容的模型），请在研究时还包括config.yaml 。

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

信用

• ESPNET：此存储库使用原始的ESPNET PYTHON模块在Windows上运行（仅对os.uname和符号链接创建位置进行修改）。