XphoneBert_Vits2

VITS2 простирается с помощью Xphonebert Encoder

Кредиты

• Это репо, основанное на отличной работе Vits2 Repo и Xphonebert.

Предварительные условия

1. Python> = 3.10
2. Протестировано на версии Pytorch 1.13.1 с Google Colab и Lambdalabs Cloud.
3. Клонировать это хранилище
4. Установите требования Python. Пожалуйста, обратитесь к требованиям.txt
5. Скачать наборы данных
   1. Скачать и извлечь набор данных речи LJ, затем переименовать или создать ссылку на папку набора данных: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. Примечание: в этом репо не поддерживается обучение многопрофильного набора данных
6. Переместите/скопируйте свои файлы обучения.

   • Пожалуйста, обратитесь к Xphonebert для получения дополнительной информации. Они используют text2phonemesequence для преобразования необработанного текста в последовательность фонем.

   • Инициализация text2phonemesequence для каждого языка требует соответствующего кода ISO 639-3. Здесь доступны коды поддерживаемых языков ISO 639-3.

   • text2phonemesequence принимает последовательность, сегментированную Word в качестве ввода. И пользователи могут также выполнять нормализацию текста в последовательности, сегментированной словом, перед тем, как питаться в text2phonemesequence .

• Примечание. Для таких языков, как китайский, корейский, японский (языки CJK) и некоторые языки Юго -Восточной Азии, слова не разделяются пространствами. Перед тем, как подавать слова в эту модель, должны использоваться внешние токенизаторы. В этом случае напишите сценарий, чтобы нормализовать и сегментировать свой ввод перед подачей на text2phonemesequence (vie_preprocess.py в моем случае)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. Создайте монотонную выравнивание и запустите предварительную обработку, если вы используете свои собственные наборы данных.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

Пример обучения

Больше информации о конфигурации см. configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base