detail_tts

รายละเอียด TTS

แบบจำลองที่เสนอใหม่สามวิธีสำคัญที่สำคัญในการเป็นแนวปฏิบัติที่ดีที่สุดของ AR TTS

• แม้ว่าจะใช้ RVQ แต่การฝึกอบรมที่แท้จริงนั้นใช้คุณสมบัติอย่างต่อเนื่อง แต่ฉันเรียกมันว่า discretization ปลอม
• ทั้งหมดในรุ่นเดียว แบบจำลองมี GPT, การแพร่, Vqvae, Gan และ Flowvae ทั้งหมดในหนึ่งเดียว การอนุมานหนึ่งครั้ง
• ทั้งสองคำนำหน้า SPK EMB และ PROMPT ใช้เพื่อได้รับประโยชน์จากการอนุมานประเภท Valle และการฝึกอบรมประเภทเต่า

นี่คือผลลัพธ์ที่ได้รับหลังจากแบบจำลองได้รับการฝึกฝนใน 10,000 ชั่วโมงของข้อมูลที่สกปรกมาก โมเดลสามารถปรับขนาดได้อย่างง่ายดายด้วยข้อมูลคุณภาพต่ำมากมาย

แจ้ง 0

Protff00.mov

สร้าง 0

Prompt01.mov

แจ้ง 1

Prompt11.mov

สร้าง 1

Prompt12.mov

พรอมต์ 2

Prompt20.mov

สร้างขึ้น 2

Prompt21.mov

การอนุมาน

ตรวจสอบ api.py

ชุดข้อมูลเตรียม

เปลี่ยนเส้นทางมีเสียงในสคริปต์และเรียกใช้

 python prepare/0_vad_asr_save_to_jsonl.py

รถไฟและปรับแต่ง

 accelerate launch train.py

สำหรับการปรับแต่งอย่างละเอียดให้เปลี่ยนเส้นทางโหลดแบบจำลอง pretrain

กิตติกรรมประกาศ

VQ และ VITS จาก GSV

การแพร่กระจายและ GPT จากเต่า