vits japros webui

Я сосредоточусь на разработке Style-bert-vits2, чтобы больше не буду обновлять это: https://github.com/litagin02/style-bert-vits2

Справочная статья Bert-Vits2: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-Japros-Webui

Это WebUI для Windows, которая позволяет вам изучать японские модели VITS и позволяет синтезировать речь с акцентами. Если у вас есть только синтез речи, вы можете использовать его даже без видеокарты.

? Речь Синтез Демо

Синтез речи	изучать

Япрос?

• Существует структура, называемая ESPNET, которая позволяет объединить различные задачи по обработке голоса в машинном обучении.
• VIT можно использовать как способ изучения TTS на ESPNET.
• При изучении TTS ESPNet позволяет вам указать метод ( G2P ) для преобразования текста обучения (японские предложения) в последовательности фонем (G2P), и одним из них является pyopenjtalk_prosody , который добавляет символ акцента.

В этой ситуации я принимаю модель, обученную G2P на японском языке, используя pyopenjtalk_prosody и читая ее для удобства (предложение от Bing-Chan).

pyopenjtalk_prosody также обрабатывает такие символы, как акценты, поэтому вы можете использовать их для управления акцентами (ハ➚シハ➘シ).

Акцентные детали символа

символ	роль	пример
[	Акцент поднимается отсюда (изображение ➚)	Привет →コ[ンニチワ
]	Акцент падает отсюда (изображение ➘)	Киото →キョ]オト
(Полвочка пространства)	Вырезать в акцентом стихотворение (каким -то образом один кусок торта)	ソ[レワ ム[ズカシ]イ
、	Поза (захватывает дыхание). Используйте его, когда хотите сделать короткую позу.	ハ]イ、ソ[オ オ[モイマ]ス
?	Я добавлю его к концу вопроса.	キ[ミワ ダ]レ?

что это?

Это то, что позволяет тренировать, нагружать и синтез речи моделей Vits Japros в локальной среде Windows.

Обучение

• С автоматической транскрипцией из аудиофайлов с использованием более быстрого
• Само обучение модифицировано для запуска в Windows, что позволяет изучать Vits Japros с минимальными операциями.

О синтезе речи

• Несколько интуитивно понятный контроль акцента (вероятно) с катаканой и символами
• Простая функция настройки скорости речи, шага и интонации (из Pyworld)
• Он также работает на процессоре (может быть запущен отдельно во время обучения и проверки)
• Даже если это не модель, созданная с использованием этого, если это модель, которая является pyopenjtalk_prosody в Vits с ESPnet, она должна работать, если она включена в config.yaml

Как использовать

установить

Я подтвердил, что он работает на RTX 4070 на Windows 11 с Python 3.10.

1. Во -первых, клонировать это хранилище.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Дважды щелкните setup.bat внутри и подождите мгновение. При Setup complete. Появляется, все готово.

Как использовать

• Обучение: дважды щелкните webui_train.bat
• Синтез речи: просмотреть ниже, чтобы разместить pth файл, а затем дважды щелкните webui_infer.bat
• Обновление: дважды нажмите update.bat

Для получения дополнительной информации, и если вам не нужна Webui, пожалуйста, нажмите здесь.

Разместите модель для синтеза речи

Для моделей создайте подкаталог в каталоге weights и поместите файл {数字}epoch.pth внутрь. Если вы используете внешнюю модель (только совместиму с моделями, созданными с pyopenjtalk_prosody в VIT с ESPNET), также включите config.yaml при изучении.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

кредит

• ESPNet: В этом репозитории используется исходный модуль ESPNet Python для запуска в Windows (существуют только модификации в os.uname и Symbolic Locations создания ссылок).