CDFSE_FastSpeech2

CDFSE_FASTSPEECH2

Este repositorio contiene el código que acompaña al documento "Incrustación de altavoces de grano fino dependiente del contenido para la adaptación del altavoz de disparo cero en la síntesis de texto a voz", que se implementa en base a Ming024/FastSpeech2 (¡muchas gracias!).

Actualización 2022-06-15: Este trabajo ha sido aceptado para interponerse 2022.

Muestras | Papel

Uso

0. conjunto de datos

1. Mandarín: Aishell3
2. Inglés: Libritts

1. Configuración del medio ambiente

pip3 install -r requirements.txt

2. Preprocesamiento de datos

Consulte Ming024/FastSpeech2 para obtener más detalles.

Por ejemplo,

1. primera carrera

python3 prepare_align.py config/AISHELL3/preprocess.yaml

2. Luego descargue los archivos TextGrid o use MFA para alinear el Corpus, y coloque los archivos TextGrid en su [Preproced_Data_Path] como Preprocessed_Data/Aishell3/TextGrid/.

3. Finalmente, ejecute el script de preprocesamiento

python3 preprocess.py config/AISHELL3/preprocess.yaml

Además:

1. Hemos dividido los conjuntos de tren, val y prueba en preprocessed_data/[DataSet]/*. Por lo tanto, puede colocarlos directamente en su [Preproced_Data_Path] después de la representación de datos, o volver a verlos usted mismo.
2. Hemos proporcionado "SpeakFile_Dict.json" en Preprocessed_Data/[DataSet]/* (utilizado en DataSet.py para cargar aleatoriamente el discurso de referencia), y puede generarlo con Generate_SpeakerFiledict.py.
3. Hemos proporcionado algunos parámetros de hifigan previos a hifigan/pretranal/ *, simplemente puede cargarlos (recuerde descifrar el archivo *.zip) o usar su propio vocoder bien entrenado en Utils/Model.py.

3. Entrenamiento

Entrenar el modelo

python3 train.py -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 

Observado: si encuentra que la pérdida de PHNCLS no parece estar en tendencia hacia abajo o no es notable, intente ajustar manualmente el símbolo dicts en texto/símbolos.py (solo contiene fonemas relevantes) para que la clasificación de fonemas funcione mejor, y esto puede resolver el problema.

(Opcional) Use TensorBoard

tensorboard --logdir output/log/AISHELL3

4. Inferencia

Para un lote

python3 synthesize.py --source synbatch_chinese.txt --restore_step 250000 --mode batch -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 

Para soltero

 # For Mandarin
python3 synthesize.py --text "清华大学人机语音交互实验室，聚焦人工智能场景下的智能语音交互技术研究。 " --ref [REF_SPEECH_PATH.wav] --restore_step 250000 --mode single -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 
# For English
python3 synthesize.py --text " Human Computer Speech Interaction Lab at Tsinghua University, targets artificial intelligence technologies for smart voice user interface. " --ref [REF_SPEECH_PATH.wav] --restore_step 250000 --mode single -p config/LibriTTS/preprocess.yaml -m config/LibriTTS/model.yaml -t config/LibriTTS/train.yaml 

Actualizaciones de implementación

• (2022-06-20) La normalización de la instancia se adopta en el codificador de contenido MEL para un mejor rendimiento.
• (2022-06-01) Soporte de la configuración del inglés: conjunto de datos de múltiples altavoces Libritts (Train-Clean-100 + Dev-Clean + Test-Clean).
• (2022-04-27) Soporte directamente usando WavFile (*.WAV) como discurso de referencia en lugar del archivo Numpy de espectrograma MEL en modo único.

Referencias

• Ming024/FastSpeech2
• jik876/hifi-gan

Citación

 @misc{zhou2022content,
  title={Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis}, 
  author={Zhou, Yixuan and Song, Changhe and Li, Xiang and Zhang, Luwen and Wu, Zhiyong and Bian, Yanyao and Su, Dan and Meng, Helen},
  year={2022},
  eprint={2204.00990},
  archivePrefix={arXiv},
  primaryClass={eess.AS}
}