หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

cnnvocoder

หมายเหตุ: ฉันไม่ได้ทำงานในโครงการนี้อีกต่อไป ดู #9.

นักร้องที่ใช้ CNN

งานนี้ได้รับแรงบันดาลใจจากโมเดล M-CNN ที่อธิบายไว้ในการผกผันของ Spectrogram อย่างรวดเร็วโดยใช้เครือข่ายประสาทแบบหลายหัว ผู้เขียนแสดงให้เห็นว่าแม้แต่เครือข่ายการสุ่มตัวอย่างที่เรียบง่ายก็เพียงพอที่จะสังเคราะห์รูปคลื่นจาก Spectrogram/Mel-Spectrogram

ใน repo นี้ฉันใช้คุณสมบัติ Spectrogram สำหรับรูปแบบการฝึกอบรมเพราะมีข้อมูลมากกว่าคุณสมบัติ Mel-Spectrogram อย่างไรก็ตามเนื่องจากการแปลงจาก spectrogram เป็น mel-spectrogram เป็นเพียงการฉายเชิงเส้นดังนั้นโดยพื้นฐานแล้วคุณสามารถฝึกอบรมเครือข่ายอย่างง่าย ๆ ทำนายสเปกโตรรัมจาก mel-spectrogram นอกจากนี้คุณยังสามารถเปลี่ยนพารามิเตอร์เพื่อให้สามารถฝึกอบรมนักร้องจากคุณสมบัติ Mel-Spectrogram ได้เช่นกัน

ตัวอย่างเสียง

บันทึกสถาปัตยกรรม

เปรียบเทียบกับ M-CNN เครือข่ายที่ฉันเสนอมีความแตกต่างบางอย่าง:

  • ฉันใช้เลเยอร์ upsampling + conv แทนเลเยอร์ transposedConv ซึ่งจะช่วยป้องกันสิ่งประดิษฐ์กระดานหมากรุก
  • โมเดลใช้บล็อกที่เหลือจำนวนมากก่อน/หลังโมดูล upsampling เพื่อให้เครือข่ายมีขนาดใหญ่ขึ้น/ลึกขึ้น
  • ฉันใช้การสูญเสีย L1 ระหว่างขนาด STFT-mignitude ของการทำนายและรูปคลื่นเป้าหมายเท่านั้น การประเมินการสูญเสียในพื้นที่บันทึกนั้นดีกว่าขนาด STFT แบบดิบเพราะมันใกล้เคียงกับความรู้สึกของมนุษย์เกี่ยวกับความดัง ฉันพยายามคำนวณการสูญเสียบนคุณสมบัติ Spectrogram แต่มันก็ไม่ได้ช่วยอะไรมาก

ติดตั้งข้อกำหนด 

$ pip install -r requirements.txt

คำสั่งฝึกอบรม

1. เตรียมชุดข้อมูล

ฉันใช้ชุดข้อมูล ljspeech สำหรับการทดสอบของฉัน หากคุณยังไม่มีโปรดดาวน์โหลดชุดข้อมูลและวางไว้ที่ไหนสักแห่ง

หลังจากนั้นคุณสามารถเรียกใช้คำสั่งเพื่อสร้างชุดข้อมูลสำหรับการทดสอบของเรา: 

$ python preprocessing.py --samples_per_audio 20  
--out_dir ljspeech 
--data_dir path/to/ljspeech/dataset 
--n_workers 4

2. รถไฟ Vocoder 

$ python train.py --out_dir ${output_directory}

สำหรับตัวเลือกการฝึกอบรมเพิ่มเติมโปรดเรียกใช้: 

$ python train.py --help

สร้างเสียงจาก Spectrogram

  • สร้าง spectrogram จากเสียง 
$ python gen_spec.py -i sample.wav -o out.npz
  • สร้างเสียงจาก Spectrogram 
$ python synthesis.py --model_path path/to/checkpoint 
                      --spec_path out.npz 
                      --out_path out.wav

แบบจำลอง

คุณสามารถรับโมเดลที่ผ่านการฝึกอบรมมาก่อนได้ที่นี่

กิตติกรรมประกาศ

การใช้งานนี้ใช้รหัสจาก Nvidia, Ryuichi Yamamoto, Keith Ito ตามที่อธิบายไว้ในรหัสของฉัน

ใบอนุญาต

มิกซ์

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด