vits japros webui

Saya akan fokus pada pengembangan style-bert-vits2 jadi saya tidak akan memperbarui ini lagi: https://github.com/litagin02/style-bert-vits2

BERT-VITS2 Referensi Artikel: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

VITS-JAPROS-WEBUI

Ini adalah webui untuk windows yang memungkinkan Anda mempelajari model Vits Jepang dan memungkinkan Anda untuk mensintesis pidato dengan aksen. Jika Anda hanya memiliki sintesis ucapan, Anda dapat menggunakannya bahkan tanpa kartu grafis.

? Demo sintesis ucapan

Sintesis ucapan	belajar

Japros?

• Ada kerangka kerja yang disebut ESPNet yang memungkinkan penanganan terpadu dari berbagai tugas pemrosesan suara dalam pembelajaran mesin.
• VIT dapat digunakan sebagai cara untuk mempelajari TTS di ESPNET.
• Saat belajar TTS, ESPNet memungkinkan Anda untuk menentukan metode ( G2P ) untuk mengonversi teks pembelajaran (kalimat Jepang) menjadi urutan fonem (G2P), dan salah satunya adalah pyopenjtalk_prosody , yang memiliki simbol aksen yang ditambahkan.

Dalam situasi ini, saya mengambil model yang dilatih dengan G2P dalam bahasa Jepang menggunakan pyopenjtalk_prosody dan membacanya untuk kenyamanan (proposal dari Bing-chan).

Pyopenjtalk_prosody juga menangani simbol seperti aksen, sehingga Anda dapat menggunakannya untuk mengontrol aksen (ハ➚シハ➘シ).

Detail simbol aksen

simbol	peran	contoh
[	Aksen naik dari sini (gambar ➚)	Halo →コ[ンニチワ
]	Aksennya jatuh dari sini (gambar ➘)	Kyoto →キョ]オト
(Ruang setengah lebar)	Puisi aksen yang dipotong (entah bagaimana sepotong kue)	ソ[レワ ム[ズカシ]イ
、	Berpose (mengambil napas). Gunakan saat Anda ingin melakukan pose singkat.	ハ]イ、ソ[オ オ[モイマ]ス
?	Saya akan menambahkannya ke akhir pertanyaan.	キ[ミワ ダ]レ?

apa ini?

Ini adalah sesuatu yang memungkinkan Anda untuk melatih, memuat, dan sintesis ucapan dari model Vits Japros di lingkungan Windows lokal.

Sedang belajar

• Dengan transkripsi otomatis dari file audio menggunakan lebih cepat whisper
• Pembelajaran itu sendiri dimodifikasi untuk dijalankan di windows, memungkinkan japros vits untuk dipelajari dengan operasi minimal.

Tentang sintesis bicara

• Kontrol aksen yang agak intuitif (mungkin) dengan Katakana dan simbol
• Fungsi Penyesuaian Kecepatan Bicara Sederhana, Pitch dan Intonasi (dari Pyworld)
• Ini juga bekerja pada CPU (dapat dimulai secara terpisah selama belajar dan diperiksa)
• Bahkan jika itu bukan model yang dibuat menggunakan ini, jika itu adalah model yang merupakan pyopenjtalk_prosody di vits dengan ESPNet, itu harus berfungsi jika disertakan dengan config.yaml

Cara menggunakan

memasang

Saya telah mengkonfirmasi itu berfungsi pada RTX 4070 di Windows 11 dengan Python 3.10.

1. Pertama, klon repositori ini.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Klik dua kali setup.bat di dalam dan tunggu sebentar. Saat Setup complete. muncul, Anda sudah selesai.

Cara menggunakan

• Pembelajaran: klik ganda webui_train.bat
• Sintesis Pidato: Lihat di bawah ini untuk menempatkan file pth dan kemudian klik dua kali webui_infer.bat
• Pembaruan: Klik Double update.bat

Untuk informasi lebih lanjut dan jika Anda tidak memerlukan webui, silakan klik di sini.

Tempatkan model untuk sintesis ucapan

Untuk model, buat subdirektori di direktori weights dan tempatkan file {数字}epoch.pth di dalamnya. Jika Anda menggunakan model eksternal (hanya kompatibel dengan model yang dibuat dengan pyopenjtalk_prosody di Vits dengan ESPNET), silakan juga menyertakan config.yaml saat belajar.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

kredit

• ESPNET: Repositori ini menggunakan modul ESPNet Python asli untuk dijalankan di Windows (hanya ada modifikasi pada os.uname dan lokasi pembuatan tautan simbolis).