FlashSpeech

Flashspeech

Реализация Flashspeech. Для всех деталей ознакомьтесь с нашей статьей, принятой в ACM MM 2024: Flashspeech: эффективный синтез речи с нулевым выстрелом.

Уведомление

• Этот проект представляет собой модифицированную версию, основанную на Amphion Naturalspeech2 из -за использования некоторых внутренних инструментов Microsoft в исходном коде.
• Настройка среды :

  bash env.sh

• Я заменил accelerate Amphion на lightning , потому что я столкнулся с аналогичными вопросами (связанная проблема). Тренировка с lightning быстрее.

Подготовка данных

• Измените ns2dataset.py на основе ваших данных.
• Эта версия была протестирована в наборе данных Libritts . Убедитесь, что у вас есть следующие данные заранее:
  • Подача
  • Код
  • Фонема
  • Продолжительность

Обучение

1. Запустите сценарий обучения :

   bash egs/tts/NaturalSpeech2/run_train.sh

Важные примечания :

• Выберите конфигурацию :

  • Вы можете выбрать либо ***_s1 , либо ***_s2 файлы конфигурации на основе этапа обучения.

• Изменить кодек модели :

  • В models/tts/naturalspeech2/flashspeech.py , обновите кодек на свой собственный.
  • Отрегулируйте self.latent_norm , чтобы нормализовать кодек, скрытый к стандартному отклонению. (Этот шаг имеет решающее значение для обучения модели согласованности.)

• Установка 2 этапа :

  • В models/tts/naturalspeech2/flashspeech_trainer_stage2.py установите начальные веса, полученные из тренировок 1 стадии.

• Развитие 3 этапа 3 :

  • Код для 3 -го этапа еще не выпущен. Тем не менее, вы можете ссылаться на обучение последовательности 1 -го этапа для его реализации.

Тодо

Далее организуйте структуру проекта и заполните оставшийся код.

Благодарности

Особая благодарность Amphion , поскольку наша кодовая база в основном заимствована у Amphion.

Спасибо за использование Flashspeech!