vits japros webui

ฉันจะมุ่งเน้นไปที่การพัฒนา Style-Bert-Vits2 ดังนั้นฉันจะไม่อัปเดตสิ่งนี้อีกต่อไป: https://github.com/litagin02/style-bert-vits2

bert-vits2 บทความอ้างอิง: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-Japros-Webui

นี่คือ webui สำหรับ windows ที่ให้คุณเรียนรู้รุ่นญี่ปุ่น Vits และช่วยให้คุณสังเคราะห์คำพูดด้วยสำเนียง หากคุณมีการสังเคราะห์คำพูดเท่านั้นคุณสามารถใช้งานได้แม้จะไม่มีการ์ดกราฟิกก็ตาม

- การสาธิตการสังเคราะห์คำพูด

การสังเคราะห์คำพูด	ศึกษา

Japros?

• มีเฟรมเวิร์กที่เรียกว่า ESPNET ที่ช่วยให้สามารถจัดการงานการประมวลผลด้วยเสียงที่หลากหลายในการเรียนรู้ของเครื่อง
• VITS สามารถใช้เป็นวิธีการเรียนรู้ TTS ใน ESPNET
• เมื่อเรียนรู้ TTS, ESPNET ช่วยให้คุณระบุวิธีการ ( G2P ) สำหรับการแปลงข้อความการเรียนรู้ (ประโยคญี่ปุ่น) เป็นลำดับฟอนิม (G2P) และหนึ่งในนั้นคือ pyopenjtalk_prosody ซึ่งมีสัญลักษณ์สำเนียงเพิ่ม

ในสถานการณ์เช่นนี้ฉันกำลังใช้ แบบจำลองที่ได้รับการฝึกฝนกับ G2P ในภาษาญี่ปุ่นโดยใช้ pyopenjtalk_prosody และ อ่าน เพื่อความสะดวก (ข้อเสนอจาก Bing-chan)

Pyopenjtalk_prosody ยังจัดการสัญลักษณ์เช่นสำเนียงดังนั้นคุณสามารถใช้เพื่อควบคุมสำเนียง (ハ➚シハ➘シ)

รายละเอียดสัญลักษณ์เน้นเสียง

เครื่องหมาย	บทบาท	ตัวอย่าง
[	สำเนียงเพิ่มขึ้นจากที่นี่ (ภาพของ➚)	สวัสดี→コ[ンニチワ
]	สำเนียงตกจากที่นี่ (ภาพของ➘)	Kyoto →キョ]オト
(พื้นที่ครึ่งความกว้าง)	บทกวีสำเนียง (อย่างใดเค้กชิ้นเดียว)	ソ[レワ ム[ズカシ]イ
、	ท่าทาง (สูดลมหายใจ) ใช้เมื่อคุณต้องการทำท่าทางสั้น ๆ	ハ]イ、ソ[オ オ[モイマ]ス
?	ฉันจะเพิ่มลงในตอนท้ายของคำถาม	キ[ミワ ダ]レ?

นี่คืออะไร?

นี่คือสิ่งที่ช่วยให้คุณฝึกอบรมโหลดและการสังเคราะห์คำพูดของรุ่น Japros ในสภาพแวดล้อม Windows ท้องถิ่น

การเรียนรู้

• ด้วยการถอดความอัตโนมัติจากไฟล์เสียงโดยใช้เร็วขึ้น
• การเรียนรู้นั้นได้รับการปรับเปลี่ยนให้ทำงานบน Windows ทำให้สามารถเรียนรู้ Japros ด้วยการดำเนินการน้อยที่สุด

เกี่ยวกับการสังเคราะห์คำพูด

• การควบคุมสำเนียงที่ใช้งานง่าย (อาจ) กับ Katakana และสัญลักษณ์
• ฟังก์ชั่นการปรับระดับเสียงพูดอย่างง่ายระดับเสียงและน้ำเสียง (จาก pyworld)
• นอกจากนี้ยังใช้งานได้กับ CPU (สามารถเริ่มต้นแยกกันระหว่างการเรียนรู้และตรวจสอบ)
• แม้ว่ามันจะไม่ใช่แบบจำลองที่สร้างขึ้นโดยใช้สิ่งนี้ถ้ามันเป็นแบบจำลองที่เป็น pyopenjtalk_prosody ใน Vits กับ ESPNET ก็ควรจะทำงานหากรวมอยู่ใน config.yaml

วิธีใช้

ติดตั้ง

ฉันได้ยืนยันว่ามันใช้งานได้กับ RTX 4070 บน Windows 11 ด้วย Python 3.10

1. ก่อนอื่นโคลนที่เก็บนี้

git clone https://github.com/litagin02/vits-japros-webui.git

2. ดับเบิลคลิกที่ setup.bat ข้างในและรอสักครู่ เมื่อ Setup complete. ปรากฏว่าคุณทำเสร็จแล้ว

วิธีใช้

• การเรียนรู้: ดับเบิลคลิก webui_train.bat
• การสังเคราะห์คำพูด: ดูด้านล่างเพื่อวางไฟล์ pth จากนั้นดับเบิลคลิก webui_infer.bat
• อัปเดต: ดับเบิลคลิก update.bat

สำหรับข้อมูลเพิ่มเติมและหากคุณไม่ต้องการ webui โปรดคลิกที่นี่

วางแบบจำลองสำหรับการสังเคราะห์คำพูด

สำหรับโมเดลสร้างไดเรกทอรีย่อยในไดเรกทอรี weights และวางไฟล์ {数字}epoch.pth ภายใน หากคุณใช้โมเดลภายนอก (เข้ากันได้เฉพาะกับรุ่นที่สร้างขึ้นด้วย pyopenjtalk_prosody ใน vits กับ ESPNET) โปรดรวม config.yaml เมื่อศึกษา

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

เครดิต

• ESPNET: พื้นที่เก็บข้อมูลนี้ใช้โมดูล ESPNET Python ดั้งเดิมเพื่อทำงานบน Windows (มีการปรับเปลี่ยนเฉพาะ os.uname และตำแหน่งการสร้างลิงค์สัญลักษณ์)