vits japros webui

我將專注於開發style-bert-vits2，所以我不會再更新此信息：https：//github.com/litagin02/style-bert-vits22

bert-vits2參考文章：https：//zenn.dev/litagin/articles/b1ddc1da5ea2b3

vits-japros-webui

這是一個用於窗口的WebUI，可讓您學習日本VITS模型，並允許您用口音合成語音。如果您只有語音綜合，即使沒有圖形卡也可以使用它。

？語音綜合演示

語音綜合	學習

japros？

• 有一個稱為ESPNET的框架，可以在機器學習中統一處理各種語音處理任務。
• VIT可以用作在ESPNET上學習TTS的一種方式。
• 在學習TTS時，ESPNET允許您指定將學習文本（日語句子）轉換為音素序列（ G2P ）的方法（G2P），其中一個是pyopenjtalk_prosody ，其中添加了強調符號。

在這種情況下，我正在使用pyopenjtalk_prosody訓練G2P的模型，並為方便起見（Bing-Chan的建議）。

pyopenjtalk_prosody還處理諸如重音之類的符號，因此您可以使用它們來控制口音（ハ➚シハ➘シ）。

重音符號細節

象徵	角色	例子
[	重音從這裡升起（圖像➚）	您好→コ[ンニチワ
]	口音從這裡掉下來（圖像➘）	京都→キョ]オト
（半寬空間）	剪切詩（以某種方式一塊蛋糕）	ソ[レワ ム[ズカシ]イ
、	姿勢（屏住呼吸）。當您想做一個短姿勢時，請使用它。	ハ]イ、ソ[オ オ[モイマ]ス
?	我將其添加到問題的結尾。	キ[ミワ ダ]レ?

這是什麼？

這使您可以在本地Windows環境中訓練，負載和語音綜合JAPROS模型。

學習

• 使用音頻文件自動轉錄，使用更快的呼聲
• 學習本身經過修改以在Windows上運行，從而使Vits Japros可以通過最少的操作來學習。

關於語音綜合

• 帶有katakana和符號的某種直覺的重音控制（可能）
• 簡單的語音速度，音高和語調調整功能（來自Pyworld）
• 它還可以在CPU上使用（可以在學習期間單獨啟動並檢查）
• 即使不是使用此模型創建的模型，如果它是pyopenjtalk_prosody in vits with Espnet中的模型，則如果包含在config.yaml中，它也應該有效

如何使用

安裝

我已經確認它在Windows 11上使用Python 3.10在RTX 4070上有效。

1. 首先，克隆這個存儲庫。

git clone https://github.com/litagin02/vits-japros-webui.git

2. 雙擊setup.bat 。 Setup complete.看起來，你完成了。

如何使用

• 學習：雙擊webui_train.bat
• 語音綜合：在下面查看以放置pth文件，然後雙擊webui_infer.bat
• 更新：雙擊update.bat

有關更多信息，如果您不需要WebUI，請單擊此處。

放置語音合成的模型

對於模型，在weights目錄中創建一個子目錄，然後將{数字}epoch.pth文件放入其中。如果您使用的是外部模型（僅與pyopenjtalk_prosody在vits中與ESPNET兼容的模型），請在研究時還包括config.yaml 。

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

信用

• ESPNET：此存儲庫使用原始的ESPNET PYTHON模塊在Windows上運行（僅對os.uname和符號鏈接創建位置進行修改）。