magphase

Magphase Vocoder

Analisis Bicara/Sistem Sintesis untuk TT dan Aplikasi Terkait.

Perangkat lunak ini didasarkan pada metode yang dijelaskan dalam makalah:

F. Espic, C. Valentini-Botinhao, dan S. King, "Pemodelan Langsung Besarnya dan Spektrum Fase untuk Sintesis Bicara Parametrik Statistik," dalam Proc. Interspeech, Stockholm, Swedia, Agustus, 2017.

@ Penulis: Felipe Espic

Informasi lebih lanjut di http://www.felipeespic.com/magphase/

I. Baru dalam versi 2.0 (April 2018)

• Dukungan rangka bingkai konstan.
• Kualitas suara yang lebih baik.
• Dua jenis post-filter tersedia.
• Jumlah koefisien yang dapat dipilih untuk fitur fase ( nyata dan imag ).
• Jumlah koefisien yang dapat dipilih untuk fitur besarnya ( MAG ).

Ii. Keterangan

Ini adalah analisis bentuk gelombang ucapan/sistem sintesis yang digunakan dalam sintesis ucapan parametrik statistik (SPSS).

Modul analisis mengekstrak empat aliran fitur yang menggambarkan spektrum magnitudo, spektrum fase, dan F0. Fitur -fitur ini dapat digunakan untuk melatih model regresi (misalnya, DNN, LSTM, hmm. Dll.) Jadi, nilai yang diprediksi dapat dihasilkan. Modul sintesis mengambil fitur -fitur ini pada input untuk menghasilkan bentuk gelombang yang disintesis akhir.

Poin -Poin Kunci:

• Hindari langkah -langkah estimasi sejauh mungkin (tidak ada percabangan, amplop spektral, atau estimasi harmonik, dll.)
• Ekstraksi yang kuat dan pemodelan spektrum fase (vokoder konvensional hanya membuat fase buatan pada output).
• Tidak diperlukan fase pembongkaran.
• Menggunakan operasi cepat selama sintesis (misalnya, FFT, PSOLA).
• Sangat mengurangi "buzziness" dan "fasies" yang khas.
• Banyak aplikasi dan perbaikan lain yang belum dieksplorasi.

AKU AKU AKU. Lisensi:

Lihat file lisensi untuk detailnya.

Iv. Persyaratan:

• OS: Linux (Macosx segera hadir)
• Python 2.7
• Paket Python: Numpy, Scipy, Soundfile, Matplotlib

V. Instal:

1. Instal Pyhton 2.7 dan paket yang diperlukan menggunakan paket manajer distro Anda atau dengan menggunakan Pip Perintah (direkomendasikan). misalnya,

 pip install numpy scipy soundfile matplotlib

2. Unduh magphase: git clone https://github.com/CSTR-Edinburgh/magphase.git

3. Unduh dan Kompilasi SPTK dan Reaper oleh:

 cd magphase/tools
./download_and_compile_tools.sh

Ini akan menyusun dan mengkonfigurasi SPTK dan Reaper secara otomatis untuk Anda ... dan hanya itu!

Vi. Penggunaan:

Pergi saja /demos , baca instruksi di dalam skrip demo, yang sangat discriptif. Mereka harus kehabisan kotak dengan menjalankan python <demo_script> .

Kami merekomendasikan bahwa Anda bermain pertama dengan demo_copy_synthesis_lossless.py , dan kemudian demo_copy_synthesis_low_dim.py keduanya melakukan analisis/rutinitas sintesis.

Kemudian, Anda dapat memodifikasi skrip demo yang sesuai dengan kebutuhan Anda.

Catatan: Ingat saja untuk menjalankan skrip dari lokasi mereka.

Vii. Menggunakan Magphase dengan Merlin Toolkit:

Kami menyediakan dua demo yang didistribusikan dengan distribusi resmi Merlin. Ini menunjukkan contoh -contoh dari Merlin dengan integrasi magphase:

• Text-to-Speech: Demo SLT_ARCTIC Merlin (versi subset kecil dan penuh)

• Konversi Suara: Demo Konversi Suara Merlin (diuji secara kasar)

Viii. Colaboration:

Kami membutuhkan bantuan untuk meningkatkan perangkat lunak ini. Anda dapat melakukan kolaborat oleh:

• Membangun suara TTS menggunakan Merlin dan Magphase dan bandingkan dengan Vocoders lain, misalnya, dunia. Lalu, tolong beri tahu kami hasil Anda. Kami telah menguji magphase hanya dengan beberapa suara dan diperlukan untuk menutupi rentang yang lebih luas. Kami baru -baru ini memperbaiki beberapa bug yang keluar berkat orang yang melaporkan hasil mereka menggunakan data baru.

• Menerapkan dukungan frame rate variabel asli di Merlin. Magphase bekerja dalam fashion frame rate variabel (pitch sinkron).