FlashSpeech

Flashspeech

Implementasi FlashSpeech. Untuk semua detail, lihat makalah kami yang diterima untuk ACM MM 2024: FlashSpeech: Sintesis ucapan zero-shot yang efisien.

Melihat

• Proyek ini adalah versi yang dimodifikasi berdasarkan Amphion's NaturalSpeech2 karena penggunaan beberapa alat Microsoft internal dalam kode asli.
• Pengaturan Lingkungan :

  bash env.sh

• Saya telah mengganti AMPHION accelerate dengan lightning karena saya mengalami masalah serupa (masalah terkait). Pelatihan dengan lightning lebih cepat.

Persiapan data

• Ubah ns2dataset.py berdasarkan data Anda.
• Versi ini telah diuji pada dataset Libritts . Pastikan Anda memiliki data berikut yang disiapkan terlebih dahulu:
  • Melempar
  • Kode
  • Fonem
  • Lamanya

Pelatihan

1. Jalankan skrip pelatihan :

   bash egs/tts/NaturalSpeech2/run_train.sh

Catatan Penting :

• Pilih Konfigurasi :

  • Anda dapat memilih file konfigurasi ***_s1 atau ***_s2 berdasarkan tahap pelatihan.

• Modifikasi Codec Model :

  • Dalam models/tts/naturalspeech2/flashspeech.py , perbarui codec untuk Anda sendiri.
  • Sesuaikan self.latent_norm untuk menormalkan codec laten dengan standar deviasi. (Langkah ini sangat penting untuk melatih model konsistensi.)

• Pengaturan Tahap 2 :

  • Dalam models/tts/naturalspeech2/flashspeech_trainer_stage2.py , atur bobot awal yang diperoleh dari pelatihan tahap 1.

• Pengembangan Tahap 3 :

  • Kode untuk Tahap 3 belum dirilis. Namun, Anda dapat merujuk pada pelatihan konsistensi Tahap 1 untuk mengimplementasikannya.

Todo

Lebih lanjut mengatur struktur proyek dan selesaikan kode yang tersisa.

Ucapan Terima Kasih

Terima kasih khusus kepada Amphion , karena basis kode kami terutama dipinjam dari Amphion.

Terima kasih telah menggunakan FlashSpeech!