XphoneBert_Vits2

Vits2 estendido com o codificador Xphonebert

Créditos

• Este repositório baseado no excelente trabalho de Vits2 Repo e Xphonebert.

Pré -requisitos

1. Python> = 3.10
2. Testado no Pytorch versão 1.13.1 com o Google Colab e o Lambdalabs Cloud.
3. Clone este repositório
4. Instale os requisitos do Python. Consulte requisitos.txt
5. Baixar conjuntos de dados
   1. Faça o download e extraia o conjunto de dados de fala do LJ, depois renomeie ou crie um link para a pasta do conjunto de dados: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. NOTA: Este repositório não suportou treinamento de conjunto de dados multi-falantes
6. Mova/copie seus arquivos de treinamento, validação e teste .txt para o diretório FilElelists e, em seguida, execute o arquivo preprocess.py (semelhante ao execução do conjunto de dados LJSpeech), por exemplo:

   • Consulte o Xphonebert para obter mais informações. Eles usando text2phonemesequence para converter texto bruto em sequência de fonemas.

   • A inicialização text2phonemesequence para cada idioma requer o código ISO 639-3 correspondente. Os códigos ISO 639-3 de idiomas suportados estão disponíveis aqui.

   • text2phonemesequence toma uma sequência segmentada por palavras como entrada. E os usuários também podem executar a normalização do texto na sequência segmentada por palavras antes de se alimentar em text2phonemesequence .

• Nota: Para idiomas como chinês, coreano, japonês (idiomas CJK) e algumas línguas do sudeste asiático, as palavras não são separadas por espaços. Um tokenizador externo deve ser usado antes de alimentar as palavras neste modelo. Nesse caso, escreva um script para normalizar e segmentar sua entrada antes de se alimentar para text2phonemesequence (vie_preprocess.py está no meu caso)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. Crie pesquisa de alinhamento monotônico e execute o pré -processamento se você usar seus próprios conjuntos de dados.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

Exemplo de treinamento

Mais informações sobre Config Consulte configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base