XphoneBert_Vits2

VITS2 extendido con el codificador XphoneBert

Créditos

• Este repositorio basado en el gran trabajo de Vits2 Repo y XphoneBert.

Requisitos previos

1. Python> = 3.10
2. Probado en Pytorch versión 1.13.1 con Google Colab y Lambdalabs Cloud.
3. Clon este repositorio
4. Instale los requisitos de Python. Consulte requisitos.txt
5. Descargar conjuntos de datos
   1. Descargue y extraiga el conjunto de datos de discurso LJ, luego cambie el nombre o cree un enlace a la carpeta del conjunto de datos: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. NOTA: Este repositorio no admitió el conjunto de datos de entrenamiento de múltiples altavoces
6. Mueva/copie sus archivos de capacitación, validación y prueba de .txt al directorio Filelists, y luego ejecute el archivo preprocess.py (similar a la ejecución del conjunto de datos LJSPEECch), por ejemplo:

   • Consulte XphoneBert para obtener más información. Ellos utilizan text2phonemesequence para convertir el texto sin procesar en secuencia de fonema.

   • La inicialización de text2phonemesequence para cada idioma requiere su código ISO 639-3 correspondiente. Los códigos ISO 639-3 de los idiomas compatibles están disponibles aquí.

   • text2phonemesequence toma una secuencia segmentaria de palabras como entrada. Y los usuarios también pueden realizar la normalización de texto en la secuencia segmentaria de palabras antes de alimentar text2phonemesequence .

• Nota: Para idiomas como chino, coreano, japonés (idiomas CJK) y algunos idiomas del sudeste asiático, las palabras no están separadas por espacios. Se deben usar un tokenizadores externos antes de alimentar las palabras en este modelo. En este caso, escriba un script para normalizar y segmentar su entrada antes de alimentarse a text2phonemesequence (VIE_PREPROCESS.py está en mi caso)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. Cree búsqueda de alineación monotónica y ejecute preprocesamiento si usa sus propios conjuntos de datos.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

Ejemplo de entrenamiento

Más información sobre config Consulte configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base