MelNet

Мелнет

Реализация Melnet: генеративная модель для аудио в частотной области

Предварительные условия

• Протестировано с помощью Python 3.6.8 и 3.7,4, Pytorch 1.2.0 и 1.3.0.
• pip install -r requirements.txt

Как тренироваться

Наборы данных

• Blizzard, Voxceleb2 и KSS имеют файлы YAML, предоставленные в config/ . Для других наборов данных заполните свой собственный файл YAML в соответствии с другими предоставленными.
• Безусловное обучение возможно для всех видов наборов данных, при условии, что они имеют согласованное расширение файлов, указанное data.extension в файле YAML.
• Условное обучение в настоящее время реализовано только для KSS и подмножество набора данных Blizzard.

Запуск кода

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • Каждый уровень может быть обучен отдельно. Поскольку каждый уровень больше, чем тот, который до него (за исключением уровня 1), измените размер партии для каждого уровня.
    • Уровень 6 набора данных Blizzard не подходит на 16 ГБ P100, даже с размером партии 1.
  • Флаг -s является логическим для определения, обучать ли TTS -уровень TTS. Поскольку уровень TTS отличается только на уровне 1, этот флаг игнорируется, когда [tier number] != 0 . Предупреждение: этот флаг переключен True независимо от того, что следует за флагом. Не обращайте внимания, если вы не планируете его использовать.

Как попробовать

Подготовка контрольных точек

• Контрольные точки должны храниться под chkpt/ .
• Файл YAML с именем inference.yaml должен быть предоставлен в соответствии с config/ .
• inference.yaml должен указать количество уровней, имен контрольных точек и независимо от того, является ли это условным поколением.

Запуск кода

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • TimeStep относится к длине спектрограммы MEL. Соотношение временного тома к секундам примерно [sample rate] : [hop length of FFT] .
  • Флаг -i не является обязательным, необходимо только для условного генерации. Окружить предложение "" и заканчивать с . Полем
  • Как безусловная генерация, так и условная генерация в настоящее время не поддерживают заполненную генерацию (экстраполирование из предоставленных данных).

Дел

• Реализация процедуры UPSampling
• Отбор проб GMM + функция потерь
• Безусловное поколение звука
• Синтез TTS
• Тенордордная регистрация
• Обучение мульти-GPU
• Заправленное поколение

Авторы реализации

• Парк Seungwon, Джун Янг Йи, Юнхюнг Ли, Джуухан Сонг @ Глубокий сезон 6

Лицензия

MIT Лицензия