Multi Singer

Multi-Singer: Fast Multi-Singer Singer Singing Vocoder с крупномасштабным корпусом

Реализация Pytorch (ACM MM'21) Multi-Singer: Fast Multi-Singer Singer Singe Vocoder с крупномасштабным корпусом.

Требования

См. Требования в требованиях.txt:

• Linux
• Python 3.6
• Pytorch 1.0+
• Librosa
• JSON, TQDM, журнал

Начиная

Примените рецепт к своему набору данных

• Поместите любые файлы WAV в каталог данных
• Редактировать конфигурацию в config/config.yaml

1. Предварительный пробел

Используйте наш контрольно -пропускной пункт, или
Вы также можете тренировать энкодер самостоятельно здесь и установить enc_model_fpath в config/config.yaml. Пожалуйста, установите Params как в encoder/params_data и encoder/params_model .

2. Предварительная обработка

Извлеките мель-спектрограмму

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i ваша аудио -папка

-o выходная папка акустической функции

-c файл конфигурации

3. Поезд

Обучение кондиционирована на мель-спектрограмме

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i акустическая функция папка

-o каталог для сохранения контрольных точек

-c файл конфигурации

4. Вывод

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i акустическая функция папка

-o каталог для сохранения сгенерированной речи

-c Файл контрольных точек

-c файл конфигурации

5. Синтез пения голоса

Для пения синтез голоса:

• Возьмите модифицированный Fastspeech 2 для синтеза мель-спектрограммы
• Используйте синтезированную мель-спектрограмму в мульти-сингере для синтеза формы волны.

Контрольная точка

Тренируется на Opensinger

Благодарности

GE2E
Fastspeech 2
Параллельная волна

Цитирование

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Вопрос

Не стесняйтесь связываться со мной по адресу [email protected]