Robust_Fine_Grained_Prosody_Control

Надежный и мелкозернистый контроль просодии в отношении сквозного синтеза речи (с волновым замком)

Внедрение Pytorch надежного и мелкозернистого контроля просодий сквозного речевого синтеза (неофициально)

Эта реализация использует набор данных Libritts.

Примечания

1. Dev Branch: Tacotron2 с Multipeaker (динамик). Информация о динамике используется только модулем декодера, а модуль внимания не видит ничего из этого (как намерение авторов).
2. Text_side Branch: реализация модели управления просодии на стороне текста.
3. Контроль просодии и просодия речевой стороны не реализованы в текущей версии, но вы можете просто добавить их сверху вышеупомянутых ветвей.

Предварительные условия

1. Nvidia gpu + cuda cudnn

Настраивать

1. Скачать и извлечь набор данных Libritts
2. Клонировать это репо: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD в ​​этом репо: cd Robust_Fine_Grained_Prosody_Control
4. Инициализировать подмодуль: git submodule init; git submodule update
5. ОБНОВЛЕНИЕ sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • В качестве альтернативы, установите load_mel_from_disk=True в hparams.py и обновление пути мель-спектрограммы
6. Установите Pytorch 1.0
7. Установить вершину
8. Установите требования Python или создать изображение Docker
   • Установите требования Python: pip install -r requirements.txt

Обучение

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Необязательно) tensorboard --logdir=outdir/logdir

Обучение с использованием предварительно обученной модели

(TBD)

Мульти-GPU (распределенная) и автоматическая смешанная точная тренировка

1. Не поддерживается в текущей реализации.

Вывод

1. ОДИН -образец: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. Multi Samples: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB При выполнении мель-спектрограммы с синтезом аудио, убедитесь, что Tacotron 2 и Mel Decoder были обучены на одном и том же представлении Mel-Spectrogram.

Цитирование

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

Связанные репо

Волновой хлопки быстрее, чем генеративная сеть на основе течения в реальном времени для синтеза речи

NV-Wavenet быстрее, чем в реальном времени Wavenet.

Благодарности

Эта реализация использует код из следующих репо: nvidia/tacotron-2, kinglittleq/gst-tacotron

Мы благодарны авторам бумаги, особенно Юнггун Ли и Тэсу Ким.