GPT SoVITS

GPT-SOVITS-WEBUI

Konversi suara beberapa shot yang kuat dan webui teks-ke-ucapan.

Bahasa Inggris |中文简体|日本語| 한국어 | Türkçe

---

Fitur:

1. Zero-shot TTS: Masukkan sampel vokal 5 detik dan mengalami konversi teks-ke-speech instan.

2. Beberapa shot TTS: Fine-Tune model dengan hanya 1 menit data pelatihan untuk peningkatan kesamaan suara dan realisme.

3. Dukungan lintas-bahasa: Kesimpulan dalam bahasa yang berbeda dari dataset pelatihan, saat ini mendukung bahasa Inggris, Jepang, Korea, Kanton dan Cina.

4. Alat WebUI: Alat terintegrasi termasuk pemisahan iringan suara, segmentasi set pelatihan otomatis, ASR Cina, dan pelabelan teks, membantu pemula dalam membuat kumpulan data pelatihan dan model GPT/Sovits.

Lihat video demo kami di sini!

Speaker yang tidak terlihat beberapa demo fine-tuning-tuning:

Sewit.shot.fine.tuning.demo.mp4

Panduan Pengguna: 简体中文 | Bahasa inggris

Instalasi

Untuk pengguna di China, Anda dapat mengklik di sini untuk menggunakan Autodl Cloud Docker untuk mengalami fungsionalitas lengkap secara online.

Lingkungan yang diuji

• Python 3.9, Pytorch 2.0.1, Cuda 11
• Python 3.10.13, Pytorch 2.1.2, Cuda 12.3
• Python 3.9, Pytorch 2.2.2, MacOS 14.4.1 (Apple Silicon)
• Python 3.9, Pytorch 2.2.2, Perangkat CPU

Catatan: numba == 0.56.4 Membutuhkan Py <3.11

Windows

Jika Anda adalah pengguna Windows (diuji dengan win> = 10), Anda dapat mengunduh paket terintegrasi dan klik dua kali di go-webui.bat untuk memulai GPT-Sovits-Webui.

Pengguna di Cina dapat mengunduh paket di sini.

Linux

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
bash install.sh

MacOS

Catatan: Model yang dilatih dengan GPU pada Mac menghasilkan kualitas yang jauh lebih rendah dibandingkan dengan yang dilatih pada perangkat lain, jadi kami sementara menggunakan CPU sebagai gantinya.

1. Instal alat-alat baris perintah XCODE dengan menjalankan xcode-select --install .
2. Instal FFMPEG dengan menjalankan brew install ffmpeg .
3. Instal program dengan menjalankan perintah berikut:

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
pip install -r requirements.txt

Instal secara manual

Instal FFMPEG

Pengguna Conda

conda install ffmpeg

Pengguna Ubuntu/Debian

sudo apt install ffmpeg
sudo apt install libsox-dev
conda install -c conda-forge ' ffmpeg<7 ' 

Pengguna Windows

Unduh dan tempatkan ffmpeg.exe dan ffprobe.exe di root GPT-Sovits.

Instal Visual Studio 2017 (Korea TTS saja)

Pengguna MacOS

brew install ffmpeg

Instal ketergantungan

pip install -r requirements.txt

Menggunakan Docker

Konfigurasi Docker-Compose.YAML

0. Mengenai tag gambar: Karena pembaruan cepat di basis kode dan proses pengemasan dan pengujian yang lambat, silakan periksa hub Docker untuk gambar terbaru yang saat ini dikemas dan pilih sesuai situasi Anda, atau sebagai alternatifnya, membangun secara lokal menggunakan DockerFile sesuai dengan kebutuhan Anda sendiri.
1. Variabel Lingkungan ：

• IS_HALF: Mengontrol setengah presisi/presisi ganda. Ini biasanya menjadi penyebab jika konten di bawah direktori 4-CNHUBERT/5-WAV32K tidak dihasilkan dengan benar selama langkah "SSL Extracting". Sesuaikan dengan benar atau salah berdasarkan situasi aktual Anda.

2. Konfigurasi Volume, direktori root aplikasi di dalam wadah diatur ke /workspace. Docker-compose.YAML default mencantumkan beberapa contoh praktis untuk mengunggah/mengunduh konten.
3. SHM_SIZE: Memori default yang tersedia untuk desktop Docker di Windows terlalu kecil, yang dapat menyebabkan operasi abnormal. Sesuaikan sesuai dengan situasi Anda sendiri.
4. Di bawah bagian Deploy, pengaturan terkait GPU harus disesuaikan dengan hati-hati sesuai dengan sistem Anda dan keadaan aktual.

Berjalan dengan Docker Compose

 docker compose -f "docker-compose.yaml" up -d

Berlari dengan perintah Docker

Seperti di atas, ubah parameter yang sesuai berdasarkan situasi Anda yang sebenarnya, lalu jalankan perintah berikut:

 docker run --rm -it --gpus=all --env=is_half=False --volume=G:GPT-SoVITS-DockerTestoutput:/workspace/output --volume=G:GPT-SoVITS-DockerTestlogs:/workspace/logs --volume=G:GPT-SoVITS-DockerTestSoVITS_weights:/workspace/SoVITS_weights --workdir=/workspace -p 9880:9880 -p 9871:9871 -p 9872:9872 -p 9873:9873 -p 9874:9874 --shm-size="16G" -d breakstring/gpt-sovits:xxxxx

Model pretrained

Pengguna di Cina dapat mengunduh semua model ini di sini.

1. Unduh model pretrained dari model GPT-Sovits dan letakkan di GPT_SoVITS/pretrained_models .

2. Unduh Model G2PW dari G2PWModel_1.1.zip, unzip dan ganti nama menjadi G2PWModel , dan kemudian letakkan di GPT_SoVITS/text . (Hanya TTS Cina)

3. Untuk UVR5 (vokal/pengiring pemisahan & penghapusan Reverberation, tambahan), unduh model dari bobot UVR5 dan tempatkan di tools/uvr5/uvr5_weights .

4. Untuk ASR Cina (tambahan), unduh model dari model Damo ASR, model Damo VAD, dan model Damo punc dan tempatkan di tools/asr/models .

5. Untuk ASR bahasa Inggris atau Jepang (tambahan), unduh model dari V3 besar yang lebih cepat dan letakkan di tools/asr/models . Juga, model lain mungkin memiliki efek yang sama dengan jejak disk yang lebih kecil.

Format dataset

Format File Annotation .list TTS:

 vocal_path|speaker_name|language|text

Kamus Bahasa:

• 'ZH': Cina
• 'Ja': Jepang
• 'en': bahasa Inggris
• 'KO': Korea
• 'Yue': Kanton

Contoh:

 D:GPT-SoVITSxxx/xxx.wav|xxx|en|I like playing Genshin.

Finetune dan inferensi

Buka WebUI

Pengguna Paket Terpadu

Klik dua kali go-webui.bat atau gunakan go-webui.ps1 jika Anda ingin beralih ke v1, lalu klik dua kali go-webui-v1.bat atau gunakan go-webui-v1.ps1

Yang lain

python webui.py < language(optional) >

Jika Anda ingin beralih ke V1, maka

python webui.py v1 < language(optional) >

Atau versi Maunally Switch di WebUI

Finetune

Path Auto-Filling sekarang didukung

 1.Fill in the audio path

 2.Slice the audio into small chunks

 3.Denoise(optinal)

 4.ASR

 5.Proofreading ASR transcriptions

 6.Go to the next Tab, then finetune the model

Buka Inferensi Webui

Pengguna Paket Terpadu

Klik dua kali go-webui-v2.bat atau gunakan go-webui-v2.ps1 , lalu buka inferensi webui pada 1-GPT-SoVITS-TTS/1C-inference

Yang lain

python GPT_SoVITS/inference_webui.py < language(optional) >

ATAU

python webui.py

Kemudian buka inferensi WebUI di 1-GPT-SoVITS-TTS/1C-inference

Catatan rilis V2

Fitur Baru:

1. Dukung Korea dan Kanton

2. Frontend teks yang dioptimalkan

3. Model pra-terlatih diperpanjang dari 2k jam hingga 5k jam

4. Kualitas sintesis yang ditingkatkan untuk audio referensi berkualitas rendah

   lebih detail

Gunakan V2 dari lingkungan V1:

1. pip install -r requirements.txt untuk memperbarui beberapa paket

2. Klon kode terbaru dari GitHub.

3. Unduh model pretrained v2 dari huggingface dan masukkan ke dalam GPT_SoVITSpretrained_modelsgsv-v2final-pretrained .

   China V2 Tambahan: G2PWMODEL_1.1.zip （Unduh model G2PW, unzip dan ganti nama menjadi G2PWModel , dan kemudian letakkan di GPT_SoVITS/text .

Daftar TODO

• Prioritas Tinggi:

  • Lokalisasi dalam bahasa Jepang dan Inggris.
  • Panduan Pengguna.
  • Pelatihan Sinar Dataset Jepang dan Bahasa Inggris.

• Fitur:

  • Konversi Suara Zero-Shot (5S) / Konversi Suara beberapa-shot (1 menit).
  • Kontrol Kecepatan Berbicara Berbicara.
  • Kontrol emosi TTS yang ditingkatkan.
  • Eksperimen dengan mengubah input token Sovits ke distribusi probabilitas Vocab GPT (Transformer Latent).
  • Tingkatkan Frontend Teks Bahasa Inggris dan Jepang.
  • Kembangkan model TTS kecil dan berukuran lebih besar.
  • Skrip colab.
  • Cobalah Perluas Dataset Pelatihan (2k jam -> 10k jam).
  • Model dasar yang lebih baik (kualitas audio yang ditingkatkan)
  • Campuran Model

(Tambahan) Metode untuk berjalan dari baris perintah

Gunakan baris perintah untuk membuka webui untuk uvr5

 python tools/uvr5/webui.py "<infer_device>" <is_half> <webui_port_uvr5>

Inilah bagaimana segmentasi audio dari dataset dilakukan dengan menggunakan baris perintah

 python audio_slicer.py 
    --input_path "<path_to_original_audio_file_or_directory>" 
    --output_root "<directory_where_subdivided_audio_clips_will_be_saved>" 
    --threshold <volume_threshold> 
    --min_length <minimum_duration_of_each_subclip> 
    --min_interval <shortest_time_gap_between_adjacent_subclips> 
    --hop_size <step_size_for_computing_volume_curve>

Beginilah cara pemrosesan dataset ASR dilakukan dengan menggunakan baris perintah (hanya Cina)

 python tools/asr/funasr_asr.py -i <input> -o <output>

Pemrosesan ASR dilakukan melalui Faster_Whisper (penandaan ASR kecuali Cina)

(Tidak ada bilah kemajuan, kinerja GPU dapat menyebabkan penundaan waktu)

 python ./tools/asr/fasterwhisper_asr.py -i <input> -o <output> -l <language> -p <precision>

Path Simpan Daftar Kustom diaktifkan

Kredit

Terima kasih khusus kepada proyek dan kontributor berikut:

Penelitian Teoritis

• ar-vits
• Badai soundst
• vit
• Transfertts
• ContentVec
• Hifi-gan
• pidato ikan

Model pretrained

• Pretrain pidato Cina
• China-Roberta-WWM-Ext-Large

Teks frontend untuk inferensi

• Paddlespeech zh_normalization
• Langsmegment
• G2PW
• pypinyin-g2pw
• Paddlespeech G2PW

Alat webui

• Ultimatevocalremovergui
• Audio-Slicer
• Subfix
• Ffmpeg
• gradio
• lebih cepat whisper
• Funasr

Bersyukur kepada @naozumi520 karena menyediakan set pelatihan Kanton dan untuk panduan tentang pengetahuan terkait Kanton.

Terima kasih kepada semua kontributor atas upaya mereka