deepaudio tts

Deepaudio-TTS คืออะไร?

Deepaudio-TTS เป็นกรอบการทำงานสำหรับการฝึกอบรมโมเดลข้อความจากเครือข่ายการพูดด้วยระบบประสาท (TTS) มัน inlcudes หรือจะรวมถึงสถาปัตยกรรมเครือข่ายประสาทยอดนิยมสำหรับ TTS และโมเดล Vocoder

เพื่อให้ง่ายต่อการใช้งานฟังก์ชั่นต่าง ๆ เช่นความแม่นยำแบบผสมการฝึกอบรมแบบหลายโหนดและการฝึกอบรม TPU ฯลฯ ฉันได้แนะนำ Pytorch-Lighting และ Hydra ในกรอบนี้ มันยังอยู่ในระหว่างการพัฒนา

ตัวอย่างการฝึกอบรม

1. ประมวลผลข้อมูลล่วงหน้าของคุณ (สคริปต์ที่จะมาเร็ว ๆ นี้หรือคุณสามารถทำตามการสอนการพูดพายสำหรับขั้นตอนนี้)
2. ฝึกอบรมแบบจำลอง คุณสามารถเลือกการทดลองหนึ่งครั้งใน Deepaudio/TTS/CLI/Configs/Experiment จากนั้นฝึกอบรมแบบจำลองด้วยบรรทัดต่อไปนี้:

 $ export PYTHONPATH="${PYTHONPATH}:/dir/of/this/project/"
$ python -m deepaudio.tts.cli.train experiment=tacotron2 datamodule.train_metadata=/you/path/to/train_metadata datamodule.dev_metadata=/you/path/to/dev_metadata

รุ่นที่รองรับ

1. Tacotron2
2. FastSpeech2
3. Transformer TTS
4. Wavegan คู่ขนาน
5. ไฮเฟก้า
6. เข้าด้วยกัน

แผนอนาคต

รหัสทำความสะอาด

1. ลบรหัสซ้ำซ้อน
2. ทำให้ Deepaudio.tts.models สะอาดขึ้น

แบบจำลอง

1. รุ่นอื่น ๆ
2. แบบจำลองก่อนหน้า

การปรับใช้

1. onnx
2. การเจียระไน

วิธีการมีส่วนร่วมใน deepaudio-tts

มันเป็นโครงการส่วนบุคคล ดังนั้นฉันจึงไม่มีทรัพยากร GPU เพียงพอที่จะทำการทดลองจำนวนมาก โครงการนี้ยังอยู่ในระหว่างการพัฒนา ฉันขอขอบคุณข้อเสนอแนะหรือการมีส่วนร่วมใด ๆ โปรดอย่าลังเลที่จะทำการดึง requsest สำหรับปัญหาเล็ก ๆ น้อย ๆ เช่นการแก้ไขข้อผิดพลาดผลการทดลอง หากคุณมีคำถามใด ๆ โปรดเปิดปัญหา

รับทราบ

ฉันยืมรหัสจำนวนมากจาก Espnet และ Paddle Speech