FastSpeech2 Pytorch Korean Multi Speaker

Fastspeech2-Pytorch-Korean-Multi-Speaker

Этот проект реализован в корейском многопрофильном TT, комбинируя Hifi-Gan Vocoder с FastSpeech2.

Введение

• Этот проект направлен на разработку TTS проекта «Видимого персонализированного докладчика искусственного интеллекта» . Он заменяется голосами окружающих вас людей, а не голосами «Сири», «Биксби» и «Ари». (Исх. Супруг, сын, дочь, родители и т. Д.)

• Чтобы справиться с немедленным производством динамиков ИИ, вместо превосходной производительности такотрон2 и волнового блока, неавторуссовая модель MOSTSPEECH2 и GAN Hifi-Gan приняла как качество, так и скорость производства.

• На основе исходного кода FastSpeech2, который соответствует корейскому набору данных KSS, реализованного в DLLAB.

Цель проекта

1. Использование Acoustic-Fastspeech2, модель Vocoder-Hifigan для быстрой скорости синтеза и высокой производительности
2. Передача обучения используется для персонализации с небольшими объемами данных ( + Клонирование с нулевым выстрелом Побочный проект )
3. Внедряя внедрение докладчика для изучения мульти-динамика для предварительного обучения
4. Конфигурация трубопровода так, чтобы процесс обучения выполнялся в корейском наборе данных до скромного

Набор данных

• Для предварительного обучения научитесь использовать бесплатный голос Aihub.
  • В среднем 1 час и 30 минут, обучение с 30 мужчинами и 28 женскими данными с учетом качества
  • Каждый динамик предоставил уникальный идентификатор номера в процессе предварительной обработки
• Для точной настройки см. Сценарий KSS и запишите голос нового докладчика в 100 предложениях-300 предложениях-600 предложения для оценки производительности.

Вклад (Add From Previus) проект)

Добавленный контент в используемом коде выглядит следующим образом.

1. Внедрение спикера (корейский мульти-дивикерский Fastspeech2)

   • Добавить встроенный слой в модель
   • Вывод Encoder и реализация кода (Encedding, Integrator)
   • Реализация функции get_speakers (), которая импортирует и хранит информацию

2. DATA_PREPOCESSING.PY-ENDO-TO-TO-END ДАННЫЕ ДАНА ПРЕДОСТАВЛЕНИЯ ПРЕДЛОЖЕНИЯ, содержащая все элементы ниже

   

3. Ответ на нестабильный синтез длинных предложений

   • Установите его, чтобы быть прикрепленным после синтеза в специальном блоке символов (единица предложения)

   

4. Импорт исходного кода G2PK и применение только номеров и английского языка

   • Измените пакет существующего G2PK только на корейский язык без установки PIP.

Предыдущие работы

• Сохраните каталог WAV и файл JSON или транскрипта в каталоге имени данных/имен данных, как показано.

• Изучите Монтрал, вынужденный Алингера в Калди, чтобы изучить TextGrid , изучив аудиоданные.

   # lab 생성, mfa 학습, lab 분리
  python data_preprocessing.py 
  

• Сохраните генератор, изученный Hifi-Gan для оценки во время обучения в каталоге Vocoder/Pretained_models.

1. Напишите данные напрямую в соответствии с форматом или создайте стенограмму, ссылаясь на функцию Data_preprocessing.py
2. Сохраните сгенерированный транскрипт и каталог данных в наборе данных и запустите data_processing.py
3. Работа MFA завершена, и файл TextGrid.zip создан в верхнем каталоге
4. Preprocess.py выполняет и проверяет предварительную папку.

Тренироваться

• Установите путь размера партии Hparam.py, генератора Hifi-Gan и начните обучение.

   python train.py
  

• Если вы учитесь, вы можете учиться, добавив RESTORE_STEP.

   python train.py --restore_step [step]
  

Передача обучения

1. Если вы выполняете предварительный поезд для многопрофильного, хранилище Speaker_info.json автоматически генерируется во время обучения перед поездками

2. Поместите Speaker_info.json в верхнюю часть каталога

3. Запустите Python так же, как и проведение исследования в поезде

    python train.py --restore_step [pre-train의 step]
   

Синтезировать

• Синтезируется с файлом snythesize.py.

   python synthesize.py --step [step수]
  

  • Синтетический 1, 2, 3 Выбор в качестве случайно представленного сценария
  • 4 Выберите 4

Модельный трубопровод

Этот трубопровод является потоковым трубопроводом для обучения и творения TTS, который соответствует услуге.

• Контейнеры в значительной степени классифицируются как четыре.

  1. Контейнер с базой данных, содержащий путь и информацию пользователя данных
  2. Создание стенограммы, упрощение имени файла, извлечение TextGrid с помощью MFA, контейнер предварительной обработки данных для модели
  3. Учебный контейнер для предварительного обучения
  4. Учебный контейнер для точной настройки на новые данные

• В реальной ситуации обслуживания будут работать только три контейнера.