ดาวน์โหลด MTTS - ดาวน์โหลดซอร์สโค้ด MTTS

MTTS

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

โครงการนี้หยุดลงและค่อนข้างเก่า

แนะนำ:

https://github.com/paddlepaddle/paddlespeech/tree/develop/paddlespeech/t2s/frontend
https://github.com/thuhcsi/crystal

ยินดีต้อนรับสู่เข้าร่วม

การสื่อสารการสังเคราะห์ด้วยเสียงกลุ่ม QQ: 882726654

การสาธิตของ MTTS แมนดาริน/ข้อความภาษาจีนเป็นคำพูดส่วนหน้า

ข้อความภาษาจีนกลาง/ภาษาจีนเป็นคำพูดตามการสังเคราะห์พารามิเตอร์ทางสถิติโดยใช้ Merlin Toolkit

นี่เป็นเพียงการสาธิตที่ส่วนหน้าของการสังเคราะห์การออกเสียง มันไม่ได้ให้ฟังก์ชั่นการทำให้เป็นปกติและการทำนายจังหวะ ใช้ pypinyin เพื่อแปลงข้อความเป็นพินอินและใช้การพูดติดอ่างเป็นคำนาม ความแม่นยำของทั้งสองนี้ไม่ดีเท่าระดับการค้า

สำหรับโครงการสังเคราะห์เสียงอื่น ๆ พอร์ทัลแบบ end-to-end เป็นทิศทางที่ดีและความเป็นธรรมชาติดีกว่าของเมอร์ลิน

นี่เป็นเพียงการสาธิตของส่วนหน้าแมนดารินซึ่งขาดบางส่วนเช่น "ข้อความปกติ" และ "การทำนายฉันทลักษณ์" และชุดโทรศัพท์ && ชุดคำถามโครงการนี้ใช้ HAV ยังไม่ได้ทดสอบอย่างเต็มที่

เอกสารคร่าวๆ: เอกสารร่างที่เขียนในภาษาจีนกลาง

ข้อมูล

ไม่มีชุดข้อมูลการสังเคราะห์คำพูดภาษาแมนดารินโอเพ่นซอร์

อัปเดต

ข้อมูลการสังเคราะห์คำพูดภาษาแมนดารินโอเพ่นซอร์

【ดาวน์โหลดข้อมูล】 https://weixinxcxdb.oss-cn-beijing.aliyuncs.com/gwyinpinku/bznsyp.rar 【คำอธิบายข้อมูล】 http://www.data-baker.com/open_source.html

ตัวอย่างที่สร้างขึ้น

ฟัง https://jackiexiao.github.io/mtts/

วิธีการทำซ้ำ

ก่อนอื่นคุณต้องมีข้อมูลที่มี WAV และ TXT (Mark ฉันเป็นตัวเลือก)
ประการที่สองสร้างฉลาก HTS โดยใช้โครงการนี้
การใช้ Merlin/EGS/Mandarin_Voice เพื่อฝึกอบรมและสร้างเสียงแมนดาริน

ชุดคำอธิบายประกอบและคำถามที่เกี่ยวข้องกับบริบท

คำอธิบายประกอบบริบทที่เกี่ยวข้อง
ชุดคำถาม
กฎในการออกแบบกฎการออกแบบชุดคำถาม

ติดตั้ง

Python: Python3.6
ระบบ: Linux (ทดสอบบน Ubuntu16.04)

 pip install jieba pypinyin
sudo apt-get install libatlas3-base

เรียกใช้ bash tools/install_mtts.sh
หรือ ดาวน์โหลดไฟล์ด้วยตัวเอง

ดาวน์โหลด Montreal-Forced-aligner และ UNZIP ไปยัง Directory Tools/
ดาวน์โหลด acoustic_model thchs30.zip และคัดลอกไปยังไดเรกทอรี MISC/

เรียกใช้การสาธิต

 bash run_demo.sh

การใช้งาน

1. สร้างฉลาก HTS โดย WAV และข้อความ

การใช้งาน: เรียกใช้ python src/mtts.py txtfile wav_directory_path output_directory_path (เส้นทางสัมบูรณ์หรือเส้นทางสัมพัทธ์) จากนั้นคุณจะได้รับฉลาก hts ถ้าคุณมีโมเดลอะคูสติกของ -a your_acoustic_model.zip เอง
ความสนใจ: ปัจจุบันรองรับอักขระภาษาจีนเท่านั้น TXT ไม่ควรมีหมายเลขอารเบียหรือตัวอักษรภาษาอังกฤษ (ไม่สามารถมีตัวเลขอาหรับและอักขระภาษาอังกฤษได้)

ตัวอย่าง txtfile

 A_01 这是一段文本
A_02 这是第二段文本

ตัวอย่าง WAV_DIRECTORY (อัตราการสุ่มตัวอย่างควรมากกว่า 16KHz)

 A_01.wav  
A_02.wav

2. สร้างฉลาก HTS โดยข้อความที่มีหรือไม่มีไฟล์การจัดตำแหน่ง

การใช้งาน: เรียกใช้ python src/mandarin_frontend.py txtfile output_directory_path
หรือนำเข้า mandarin_frontend

 from mandarin_frontend import txt2label

result = txt2label('向香港特别行政区同胞澳门和台湾同胞海外侨胞')
[print(line) for line in result]

# with prosody mark and alignment file (sfs file)
# result = txt2label('向#1香港#2特别#1行政区#1同胞#4澳门#2和#1台湾#1同胞#4海外#1侨胞',
            sfsfile='example_file/example.sfs')

ดูซอร์สโค้ดสำหรับข้อมูลเพิ่มเติม แต่ให้ความสนใจกับไฟล์การจัดตำแหน่ง (ไฟล์ SFS) รูปแบบคือ endtime phone_type ไม่ใช่ start_time, phone_type (ซึ่งแตกต่างจากข้อมูลของมหาสมุทรคำพูด)

3. การบังคับให้เข้ากัน

โครงการนี้ใช้การจัดตำแหน่งที่บังคับใช้มอนทรีออลเพื่อทำการจัดตำแหน่งหากคุณต้องการให้ได้การจัดตำแหน่งที่ดีขึ้นให้ใช้ข้อมูลของคุณเพื่อฝึกอบรมโมเดลการจัดตำแหน่งดู MFA: อัลจินใช้อย่างเดียว

เราฝึกอบรมโมเดลอะคูสติกโดยใช้ชุดข้อมูล THCHS30 ดู misc/thchs30.zip , พจนานุกรมที่เราใช้ mandarin_mtts.lexicon หากคุณใช้ชุดข้อมูลขนาดใหญ่กว่า THCHS30 คุณอาจได้รับการจัดตำแหน่งที่ดีขึ้น
หากคุณต้องการใช้โมเดลแมนดารินที่ได้รับการฝึกอบรมมาก่อน (มอนทรีออล-บังคับ) ของ MFA นี่คือพจนานุกรมที่คุณต้องการแมนดาริน-สำหรับผู้บังคับบัญชา