หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

Magphase Vocoder

ระบบการวิเคราะห์คำพูด/การสังเคราะห์สำหรับ TTS และแอปพลิเคชันที่เกี่ยวข้อง

ซอฟต์แวร์นี้ใช้วิธีการที่อธิบายไว้ในกระดาษ:

F. Espic, C. Valentini-Botinhao และ S. King,“ การสร้างแบบจำลองโดยตรงของขนาดและสเปกตรัมเฟสสำหรับการสังเคราะห์พารามิเตอร์เชิงสถิติ” ใน Proc Interspeech, Stockholm, สวีเดน, สิงหาคม, 2017

@ ผู้แต่ง: Felipe Espic

ข้อมูลเพิ่มเติมที่ http://www.felipeespic.com/magphase/

I. ใหม่ในเวอร์ชัน 2.0 (เมษายน 2018)

  • รองรับอัตราเฟรมคงที่
  • ปรับปรุงคุณภาพเสียง
  • มีสองประเภทของตัวกรองโพสต์
  • จำนวนสัมประสิทธิ์ที่เลือกได้สำหรับคุณสมบัติเฟส ( ของจริง และ imag )
  • จำนวนสัมประสิทธิ์ที่เลือกได้สำหรับคุณสมบัติขนาด ( MAG )

ii. คำอธิบาย

นี่คือระบบการวิเคราะห์/การสังเคราะห์คลื่นเสียงพูดที่ใช้ในการสังเคราะห์พารามิเตอร์เชิงสถิติ (SPSS)

โมดูลการวิเคราะห์สกัดกระแสคุณลักษณะสี่แบบที่อธิบายถึงสเปกตรัมขนาดสเปกตรัมเฟสและ F0 คุณสมบัติเหล่านี้สามารถใช้ในการฝึกอบรมแบบจำลองการถดถอย (เช่น DNN, LSTM, HMM. ฯลฯ ) ดังนั้นจึงสามารถสร้างค่าที่คาดการณ์ได้ โมดูลการสังเคราะห์ใช้คุณสมบัติเหล่านี้ที่อินพุตเพื่อสร้างรูปคลื่นสังเคราะห์สุดท้าย

ประเด็นสำคัญ:

  • หลีกเลี่ยงขั้นตอนการประมาณค่าเท่าที่จะทำได้ (ไม่มี aperiodicities ซองสเปกตรัมหรือการประมาณฮาร์มอนิกส์ ฯลฯ )
  • การสกัดที่แข็งแกร่งและการสร้างแบบจำลองของสเปกตรัมเฟส (คำแนะนำทั่วไปเพียงแค่สร้างเฟสเทียมที่เอาต์พุต)
  • ไม่จำเป็นต้องแกะเฟส
  • ใช้การดำเนินงานที่รวดเร็วระหว่างการสังเคราะห์ (เช่น FFT, psola)
  • ช่วยลด "ความอึกทึก" โดยทั่วไปและ "เฟส"
  • แอพพลิเคชั่นและการปรับปรุงอื่น ๆ อีกมากมายยังไม่ได้สำรวจ

iii. ใบอนุญาต:

ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

iv. ความต้องการ:

  • OS: Linux (MacOSX เร็ว ๆ นี้)
  • Python 2.7
  • แพ็คเกจ Python: Numpy, Scipy, Soundfile, Matplotlib

V. ติดตั้ง:

  1. ติดตั้ง Pyhton 2.7 และแพ็คเกจที่จำเป็นโดยใช้แพ็คเกจ Manager ของ distro ของคุณหรือโดยใช้ PIP คำสั่ง (แนะนำให้แนะนำ) เช่น 
 pip install numpy scipy soundfile matplotlib

  1. ดาวน์โหลด magphase: git clone https://github.com/CSTR-Edinburgh/magphase.git

  2. ดาวน์โหลดและรวบรวม SPTK และ Reaper โดย: 

 cd magphase/tools
./download_and_compile_tools.sh

สิ่งนี้จะรวบรวมและกำหนดค่า SPTK และ Reaper โดยอัตโนมัติสำหรับคุณ ... และนั่นก็คือ!

VI. การใช้งาน:

เพียงไปที่ /demos อ่านคำแนะนำภายในสคริปต์สาธิตซึ่งเป็นคำอธิบายมาก พวกเขาควรหมดกล่องโดยใช้ python <demo_script>

เราขอแนะนำว่าคุณเล่นเป็นครั้งแรกด้วย demo_copy_synthesis_lossless.py จากนั้น demo_copy_synthesis_low_dim.py พวกเขาทั้งสองดำเนินการวิเคราะห์/สังเคราะห์

จากนั้นคุณสามารถปรับเปลี่ยนสคริปต์สาธิตให้เหมาะกับความต้องการของคุณ

หมายเหตุ: อย่าลืมเรียกใช้สคริปต์จากสถานที่ของพวกเขา

vii. การใช้ Magphase กับ Merlin Toolkit:

เราให้บริการการสาธิตสองครั้งที่แจกจ่ายอย่างเป็นทางการของเมอร์ลิน ตัวอย่างการแสดงเหล่านี้ของ Merlin กับ Magphase Integration:

  • Text-to-Speech: Demo SLT_ARCTIC ของ Merlin (รุ่นย่อยขนาดเล็กและเต็มรูปแบบ)

  • การแปลงด้วยเสียง: การสาธิตการแปลงเสียงของเมอร์ลิน (ทดสอบโดยประมาณ)

VIII colaboration:

เราต้องการความช่วยเหลือในการปรับปรุงซอฟต์แวร์นี้ คุณสามารถ colaborate โดย:

  • การสร้างเสียง TTS โดยใช้ Merlin และ Magphase และเปรียบเทียบกับนักร้องอื่น ๆ เช่นโลก จากนั้นโปรดบอกผลลัพธ์ของคุณ เราได้ทดสอบ magphase เพียงไม่กี่เสียงและจำเป็นต้องครอบคลุมช่วงที่กว้างขึ้น เมื่อเร็ว ๆ นี้เราได้แก้ไขข้อบกพร่องบางอย่างที่ออกมาขอบคุณผู้ที่รายงานผลลัพธ์ของพวกเขาโดยใช้ข้อมูลใหม่

  • การใช้การสนับสนุนอัตราเฟรมตัวแปรดั้งเดิมในเมอร์ลิน Magphase ทำงานในแฟชั่นอัตราเฟรมตัวแปร (pitch synchronous)

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด