cnn_vocoder

cnnvocoder

ملاحظة: لم أعد أعمل في هذا المشروع. انظر رقم 9.

صوت مقرها CNN.

هذا العمل مستوحى من نموذج M-CNN الموصوف في انقلاب الطيف السريع باستخدام شبكات عصبية تلافيفية متعددة الرأس. يوضح المؤلفون أنه حتى شبكات التخطي البسيطة تكفي لتوليف شكل موجة من طيف الطيف/الطيف.

في هذا الريبو ، أستخدم ميزة الطيفية لنموذج التدريب لأنه يحتوي على معلومات أكثر من ميزة MEL-SPECTROGRAG. ومع ذلك ، نظرًا لأن التحول من الطيفية إلى طيف الميل هو مجرد إسقاط خطي ، لذلك في الأساس ، يمكنك تدريب شبكة بسيطة التنبؤ بالطيفية من طيف الميل. يمكنك أيضًا تغيير المعلمات لتكون قادرًا على تدريب Vocoder من ميزة Mel-spectrogram أيضًا.

عينة من الصوت

ملاحظات العمارة

قارن مع M-CNN ، شبكتي المقترحة لديها بعض الاختلافات:

• أستخدم طبقات upsampling + مقنعة بدلاً من طبقة transposedconv. هذا يساعد على منع القطع الأثرية لوحة المشي.
• يستخدم النموذج الكثير من الكتل المتبقية مسبقًا/بعد وحدة التقلبات لجعل الشبكة أكبر/أعمق.
• لقد استخدمت فقط فقدان L1 بين الحتام STFT على نطاق السجل من الشكل الموجي المتوقع والهدف. يكون فقدان التقييم على مساحة السجل أفضل من السعة النخامية لأنها أقرب إلى الإحساس البشري حول الصوت. حاولت حساب الخسارة على ميزة Spectrogram ، لكنها لم تساعد كثيرًا.

تثبيت المتطلبات

$ pip install -r requirements.txt

تدريب الصوت

1. إعداد مجموعة البيانات

يمكنني استخدام مجموعة بيانات LJSPEEDE لتجربتي. إذا لم يكن لديك بعد ، فيرجى تنزيل مجموعة البيانات ووضعها في مكان ما.

بعد ذلك ، يمكنك تشغيل الأمر لإنشاء مجموعة بيانات لتجربتنا:

$ python preprocessing.py --samples_per_audio 20  
--out_dir ljspeech 
--data_dir path/to/ljspeech/dataset 
--n_workers 4

2

$ python train.py --out_dir ${output_directory}

لمزيد من خيارات التدريب ، يرجى التشغيل:

$ python train.py --help

توليد الصوت من الطيف

• توليد طيف من الصوت

$ python gen_spec.py -i sample.wav -o out.npz

• توليد الصوت من الطيف

$ python synthesis.py --model_path path/to/checkpoint 
                      --spec_path out.npz 
                      --out_path out.wav

نموذج ما قبل

يمكنك الحصول على طراز بلدي قبل التدريب هنا.

شكر وتقدير

يستخدم هذا التنفيذ رمزًا من Nvidia و Ryuichi Yamamoto و Keith Ito كما هو موضح في الكود الخاص بي.

رخصة

معهد ماساتشوستس للتكنولوجيا