DiffGAN TTS

diffgan -tts - การใช้งาน Pytorch

การใช้ Pytorch ของ diffgan-TTS: ความเที่ยงตรงสูงและมีประสิทธิภาพเป็นข้อความต่อการพูดด้วย denoising diffusion gans

สถานะที่เก็บ

• Diffgan-TTS รุ่นไร้เดียงสา
• กลไกการแพร่กระจายตื้นที่ใช้งานอยู่: diffgan-TTS (สองขั้นตอน)

ตัวอย่างเสียง

ตัวอย่างเสียงมีให้ที่ /สาธิต

เร็ว

ชุดข้อมูล หมายถึงชื่อของชุดข้อมูลเช่น LJSpeech และ VCTK ในเอกสารต่อไปนี้

โมเดล หมายถึงประเภทของโมเดล (เลือกจาก ' ไร้เดียงสา ', ' aux ', ' ตื้น ')

การพึ่งพาอาศัยกัน

คุณสามารถติดตั้งการพึ่งพา Python ด้วย

 pip3 install -r requirements.txt

การอนุมาน

คุณต้องดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมและใส่ไว้ใน

• output/ckpt/DATASET_naive/ สำหรับโมเดล ' ไร้เดียงสา '
• output/ckpt/DATASET_shallow/ สำหรับโมเดล ' ตื้น ' โปรดทราบว่าจุดตรวจของโมเดล ' ตื้น ' มีทั้งแบบจำลอง ' ตื้น ' และ ' AUX ' ทั้งสองรุ่นนี้จะแบ่งปันไดเรกทอรีทั้งหมดยกเว้นผลลัพธ์ตลอดกระบวนการทั้งหมด

สำหรับ TTS ลำโพงเดียว Run

 python3 synthesize.py --text "YOUR_DESIRED_TEXT" --model MODEL --restore_step RESTORE_STEP --mode single --dataset DATASET

สำหรับ TTs หลายลำโพง

 python3 synthesize.py --text "YOUR_DESIRED_TEXT" --model MODEL --speaker_id SPEAKER_ID --restore_step RESTORE_STEP --mode single --dataset DATASET

พจนานุกรมของลำโพงที่เรียนรู้สามารถพบได้ที่ preprocessed_data/DATASET/speakers.json และคำพูดที่สร้างขึ้นจะถูกนำไปใช้ใน output/result/

การอนุมานแบทช์

รองรับการอนุมานแบบแบทช์ด้วยลอง

 python3 synthesize.py --source preprocessed_data/DATASET/val.txt --model MODEL --restore_step RESTORE_STEP --mode batch --dataset DATASET

เพื่อสังเคราะห์คำพูดทั้งหมดใน preprocessed_data/DATASET/val.txt

ความสามารถในการควบคุมได้

ระดับเสียง/ปริมาตร/การพูดของคำพูดสังเคราะห์สามารถควบคุมได้โดยการระบุอัตราส่วนระดับเสียง/พลังงาน/ระยะเวลาที่ต้องการ ตัวอย่างเช่นหนึ่งสามารถเพิ่มอัตราการพูดได้ 20 % และลดปริมาณลง 20 % โดย

 python3 synthesize.py --text "YOUR_DESIRED_TEXT" --model MODEL --restore_step RESTORE_STEP --mode single --dataset DATASET --duration_control 0.8 --energy_control 0.8

โปรดทราบว่าความสามารถในการควบคุมได้มาจาก FastSpeech2 และไม่ใช่ความสนใจที่สำคัญของ diffgan-TTS

การฝึกอบรม

ชุดข้อมูล

ชุดข้อมูลที่รองรับคือ

• LJSpeech: ชุดข้อมูลภาษาอังกฤษ ลำโพงเดียว ประกอบด้วยคลิปเสียงสั้น 13100 คลิปของข้อความอ่านข้อความหญิงจากหนังสือสารคดี 7 เล่มรวมประมาณ 24 ชั่วโมง

• VCTK: CSTR VCTK Corpus รวมถึงข้อมูลการพูดที่พูดโดยผู้พูดภาษาอังกฤษ 110 คน ( TTS หลายลำโพง ) ด้วยสำเนียงต่าง ๆ ผู้พูดแต่ละคนอ่านประมาณ 400 ประโยคซึ่งได้รับการคัดเลือกจากหนังสือพิมพ์ทางสายรุ้งและย่อหน้าที่ใช้สำหรับการเก็บถาวรคำพูด

การประมวลผลล่วงหน้า

• สำหรับ TTS หลายลำโพงที่ มีลำโพง Embedder ดาวน์โหลด Rescnn Softmax+Triplet Pretrained Model ของ Deepspeaker ของ Philipperemy สำหรับการฝังลำโพงและค้นหาใน ./deepspeaker/pretrained_models/ deepspeaker/pretrained_models/

• วิ่ง

   python3 prepare_align.py --dataset DATASET
  

  สำหรับการเตรียมการบางอย่าง

  สำหรับการจัดตำแหน่งที่ถูกบังคับมอนทรีออลบังคับให้ผู้จัดตำแหน่ง (MFA) ใช้เพื่อให้ได้การจัดตำแหน่งระหว่างคำพูดและลำดับฟอนิม การจัดตำแหน่งที่สกัดไว้ล่วงหน้าสำหรับชุดข้อมูลมีให้ที่นี่ คุณต้องคลายซิปไฟล์ใน preprocessed_data/DATASET/TextGrid/ อีกวิธีหนึ่งคุณสามารถเรียกใช้การจัดตำแหน่งด้วยตัวเอง

  หลังจากนั้นเรียกใช้สคริปต์การประมวลผลล่วงหน้าโดย

   python3 preprocess.py --dataset DATASET
  

การฝึกอบรม

คุณสามารถฝึกอบรมแบบจำลองสามประเภท: ' ไร้เดียงสา ', ' aux ' และ ' ตื้น '

• การฝึกอบรมเวอร์ชันไร้เดียงสา (' ไร้เดียงสา '):

  ฝึกอบรมเวอร์ชั่นที่ไร้เดียงสาด้วย

   python3 train.py --model naive --dataset DATASET
  

• การฝึกอบรมโมเดลอะคูสติกพื้นฐานสำหรับเวอร์ชันตื้น (' aux '):

  ในการฝึกอบรมรุ่นตื้นเราจำเป็นต้องได้รับการฝึกอบรมล่วงหน้า 2 คำสั่งด้านล่างจะช่วยให้คุณฝึกอบรมโมดูล FastSpeech2 รวมถึงตัวถอดรหัสเสริม (MEL)

   python3 train.py --model aux --dataset DATASET
  

• การฝึกอบรมเวอร์ชันตื้น (' ตื้น '):

  ในการใช้ประโยชน์จาก FastSpeech2 ที่ผ่านการฝึกอบรมมาก่อนรวมถึงตัวถอดรหัสเสริม (MEL) คุณต้องผ่าน --restore_step ด้วยขั้นตอนสุดท้ายของการฝึกอบรมเสริม FastSpeech2 เป็นคำสั่งต่อไปนี้

   python3 train.py --model shallow --restore_step RESTORE_STEP --dataset DATASET
  

  ตัวอย่างเช่นหากจุดตรวจสอบล่าสุดถูกบันทึกไว้ที่ 200000 ขั้นตอนในระหว่างการฝึกอบรมเสริมคุณต้องตั้งค่า --restore_step ด้วย 200000 จากนั้นมันจะโหลดและแช่แข็งโมเดล AUX จากนั้นทำการฝึกอบรมต่อภายใต้กลไกการแพร่กระจายแบบตื้นที่ใช้งานอยู่

บอร์ดบอร์ด

ใช้

 tensorboard --logdir output/log/DATASET

เพื่อให้บริการ Tensorboard บนบ้านของคุณ เส้นโค้งการสูญเสีย mel-spectrograms สังเคราะห์และเสียงจะแสดง

การแพร่กระจายที่ไร้เดียงสา

การแพร่กระจายแบบตื้น

หมายเหตุ

• นอกเหนือจากตัวถอดรหัสการแพร่กระจายแล้วอะแดปเตอร์ความแปรปรวนยังมีเงื่อนไขในข้อมูลลำโพง
• เอาท์พุทที่ไม่มีเงื่อนไขและมีเงื่อนไขของการเลือกปฏิบัติ JCU นั้นเฉลี่ยในระหว่างการคำนวณการสูญเสียแต่ละครั้งตามที่ Vocgan ทำ
• ความแตกต่างบางประการเกี่ยวกับข้อมูลและการประมวลผลล่วงหน้าเมื่อเทียบกับกระดาษต้นฉบับ:
  • การใช้ VCTK (109 ลำโพง) แทนภาษาจีนกลางของลำโพง 228 คน
  • การกำหนดค่าเสียงของ DiffSpeech เช่นอัตราตัวอย่างคือ 22050Hz มากกว่า 24,000Hz
  • นอกจากนี้การแยกความแปรปรวนและการสร้างแบบจำลองของ DiffSpeech
• lambda_fm ได้รับการแก้ไขเป็นค่า SCALA เนื่องจากสเกลาร์สเกลสเกลแบบไดนามิกที่คำนวณเป็น L_RECON/L_FM ทำให้โมเดลระเบิด
• สองตัวเลือกสำหรับการฝังสำหรับการตั้งค่า TTS หลายลำโพง : การฝึกอบรมลำโพงฝังตัวจากศูนย์หรือใช้โมเดล Deepspeaker ของ Philipperemy ที่ผ่านการฝึกอบรมมาก่อน (ตามที่ Styler ทำ) คุณสามารถสลับมันได้โดยการตั้งค่าการกำหนดค่า (ระหว่าง 'none' และ 'DeepSpeaker' )
• Deepspeaker บนชุดข้อมูล VCTK แสดงการระบุที่ชัดเจนระหว่างลำโพง รูปต่อไปนี้แสดงพล็อต T-SNE ของการฝังลำโพงสกัด

การอ้างอิง

โปรดอ้างอิงพื้นที่เก็บข้อมูลนี้โดย "อ้างอิงที่เก็บนี้" ของส่วน เกี่ยวกับ (ขวาบนของหน้าหลัก)

การอ้างอิง

• diffsinger ของ Keonlee9420
• Keonlee9420 ของ TRANSFORMER-TTS ที่ครอบคลุม
• lynnho 'dcgan-lsgan-wgan-gp-dragan-pytorch
• Seungwonpark 'Melgan
• แบบจำลองความน่าจะเป็นแบบกระจาย denoising
• การแก้ปัญหาการเรียนรู้แบบ generative trilemma ด้วย denoising diffusion gans
• Diffsinger: การร้องเพลงสังเคราะห์ด้วยเสียงผ่านกลไกการแพร่กระจายแบบตื้น