Китайско-фальсидж2
Основываясь на стандартных женских голосовых данных китайского китайца Biaobei, модель Fastspeech2 оригинальной бумаги была улучшена, а модуль ритмического представления и прогнозирования ритма было введено, чтобы сделать китайское произношение более ярким и ритмичным
20230402 Обновление
- 1. Добавьте код обучения ритм -модели, в каталоге BertProsody
- 2. Добавьте код предварительной обработки для обучения ритм -модели (для стандартных данных оболочки код не был разорван, первый выпуск), в препроцессоре/biobei.py
Образец
Обратитесь к аудио, сгенерированному в образцах
Модельный файл
Основной структурой этого проекта является структура Hifigan Fastspeech2+. Кроме того, вектор ритма китайского текста вводится на входной стадии. Следовательно, есть три модели: Fastspeech_model, Hifigan_model, prosody_model (ссылка на сетевой диск, код извлечения: QGPI). После загрузки поместите файл модели в указанный каталог:
- 8000.pth.tar ---> output/ckpt/biaobei/
- generator_universal.pth.tar ---> hifigan/
- best_model.pt ---> transformer/prosody_model/
предсказывать
Представлены два метода прогнозирования: 1) Python synthesize_all.py; 2) http -интерфейсный вызов
- Первый метод интерактивный . После запуска Python synthesize_all.py в командной строке введите текст, который необходимо преобразовать. После запуска файл TMP.WAV будет сгенерирован в коде в текущем рабочем каталоге;
- Второй метод- вызов API , запустить tts_server.py, который запустит интерфейс голоса в тексте. Если вы называете этот интерфейс, вы можете обратиться к TestServer.py. Тот же сгенерированный аудиофайл (tmp.wav) будет сохранен в текущем рабочем каталоге.
тренироваться
- Поскольку этот проект относится к проекту Fastspeech2, если вы хотите настроить обучение, проект предоставляет более подробный метод обучения для справки;
- Этот проект сделал некоторые оптимизации в оригинальном методе. Для части оптимизации, пожалуйста, обратитесь к блогу: китайский синтез речи на основе оптимизации Fastspeech2
Этот проект является попыткой сделать синтез речи из личных интересов. Все могут критиковать и исправить меня и общаться больше!
