Conditional SpecGAN Tensorflow

Условный специфический

A (условное) генеративная состязательная сеть генеративного синтеза аудио, которая генерирует спектрограмму, которая способствует синтезированию необработанной формы волны, реализации в TensorFlow.

Требования:

• Tensorflow R1.10.1
• Python 3.6
• Numpy 1.14.5
• Librosa 0,6,2
• TQDM 4.26.0
• matplotlib 2.2.3

Введение

Синтез текста в речь путем генерации спектрограмм с использованием генеративной состязательной сети. Эта работа основана на исходной реализации Specgan, где я исследую обучение Specgan. Кроме того, применяется схема предварительной обработки данных на основе энергии, что приводит к улучшению качества звука.

Результат предварительной обработки может быть продемонстрирован с помощью следующей визуализации:

Создайте набор данных

• Скачать данные обучения: здесь

• Запустить './src/utils/preprocess_data.py' для обработки данных или загрузки обработанных данных: здесь

• Запустить './src/utils/visualize_wav.py', чтобы визуализировать обработанные чистые данные или загрузить результаты: здесь

• Запустите ' ./src/utils/make_tfrecord.py ' для обработки файлов .wav в готовые файлы обучения.

• Извлеките файл .tgz на шаг.4 и поместите его в соответствующий путь в соответствии с args.data_dir в ./src/config.py:

 data_dir='../data/sc09_preprocess_energy'

Этот путь по умолчанию может быть изменен, изменяя опцию '-data_dir в' ./src/config.py '.

Использование

• Возобновить или тренировать новую модель Specgan по следующей команде:

 python3 ./src/runner.py train

• Для вывода и генерируйте из обученной модели Specgan, используйте следующую команду:

 python3 ./src/runner.py generate

• Чтобы тренировать или генерировать из условного спецификации, используйте следующую команду ( примечание: эта функция все еще находится в реализации и не завершена! ):

 python3 ./src/runner.py train --conditional
python3 ./src/runner.py generate --conditional