CDFSE_FastSpeech2

CDFSE_FASTSPEECH2

يحتوي هذا الريبو على رمز مصاحب للورقة "مكبر صوت تعتمد على المحتوى الدقيق الذي يدمج لتكييف مكبر الصوت صفريًا في تخليق النص إلى كلام" ، والذي يتم تنفيذه على أساس Ming024/Fastspeech2 (شكرًا جزيلاً!).

2022-06-15 تحديث: تم قبول هذا العمل في interspeech 2022.

عينات | ورق

الاستخدام

0. مجموعة البيانات

1. الماندرين: Aishell3
2. اللغة الإنجليزية: Libritts

1. إعداد البيئة

pip3 install -r requirements.txt

2. البيانات قبل المعالجة

يرجى الرجوع إلى ming024/fastspeech2 لمزيد من التفاصيل.

على سبيل المثال،

1. أول تشغيل

python3 prepare_align.py config/AISHELL3/preprocess.yaml

2. ثم قم بتنزيل ملفات TextGrid أو استخدم MFA لمحاذاة Corpus ، ووضع ملفات TextGrid في [preprocounder_data_path] مثل المعالجة المسبقة_data/aishell3/textGrid/.

3. أخيرًا ، قم بتشغيل البرنامج النصي المسبق

python3 preprocess.py config/AISHELL3/preprocess.yaml

فضلاً عن ذلك:

1. لقد قمنا بتقسيم مجموعات القطار ، Val ، ومجموعات الاختبار في المعالجة المسبقة/[Dataset]/*. لذلك يمكنك وضعها مباشرة في [preprocort_data_path] بعد معالجة البيانات ، أو إعادة تقسيمها بنفسك.
2. لقد قدمنا ​​"SPEALKERFILE_DICT.JSON" في Preprocound_data/[Dataset]/* (المستخدمة في Dataset.py لتحميل الكلام المرجعي بشكل عشوائي) ، ويمكنك إنشاءه باستخدام generate_speakerfiledict.py.
3. لقد قدمنا ​​بعض المعلمات المسبقة في Hifigan في Hifigan/PretRained/ *، يمكنك فقط تحميلها (تذكر إلغاء ضغط ملف *.zip) أو استخدام Vocoder المدربة جيدًا في utils/model.py.

3. التدريب

تدريب النموذج

python3 train.py -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 

لوحظ: إذا وجدت أن فقدان PHNCLS لا يبدو أنه يتجه لأسفل أو غير ملحوظ ، فحاول تعديلًا يدويًا في الرسوم الرمزية في النص/الرموز.

(اختياري) استخدام Tensorboard

tensorboard --logdir output/log/AISHELL3

4. الاستدلال

للدفعة

python3 synthesize.py --source synbatch_chinese.txt --restore_step 250000 --mode batch -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 

لعزب

 # For Mandarin
python3 synthesize.py --text "清华大学人机语音交互实验室，聚焦人工智能场景下的智能语音交互技术研究。 " --ref [REF_SPEECH_PATH.wav] --restore_step 250000 --mode single -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t config/AISHELL3/train.yaml 
# For English
python3 synthesize.py --text " Human Computer Speech Interaction Lab at Tsinghua University, targets artificial intelligence technologies for smart voice user interface. " --ref [REF_SPEECH_PATH.wav] --restore_step 250000 --mode single -p config/LibriTTS/preprocess.yaml -m config/LibriTTS/model.yaml -t config/LibriTTS/train.yaml 

تحديثات التنفيذ

• (2022-06-20) تم اعتماد تطبيع المثيل في تشفير محتوى MEL لتحسين أداء.
• (2022-06-01) دعم الإعداد باللغة الإنجليزية: مجموعة بيانات Libritts Multi-Speaker (Train-Clean-100 + Dev-Clean + Test-Clean).
• (2022-04-27) الدعم مباشرة باستخدام wavfile (*.wav) ككلام مرجعي بدلاً من ملف mel-spectrogram numpy في وضع واحد.

مراجع

• ming024/fastspeesh2
• JIK876/HIFI-GAN

اقتباس

 @misc{zhou2022content,
  title={Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis}, 
  author={Zhou, Yixuan and Song, Changhe and Li, Xiang and Zhang, Luwen and Wu, Zhiyong and Bian, Yanyao and Su, Dan and Meng, Helen},
  year={2022},
  eprint={2204.00990},
  archivePrefix={arXiv},
  primaryClass={eess.AS}
}