AICoverGen

AICOVERGEN

Pipa otonom untuk membuat sampul dengan suara AI terlatih RVC V2 dari video YouTube atau file audio lokal. Untuk pengembang yang mungkin ingin menambahkan fungsionalitas bernyanyi ke dalam asisten AI mereka/chatbot/vTuber, atau untuk orang -orang yang ingin mendengar karakter favorit mereka menyanyikan lagu favorit mereka.

Showcase: https://www.youtube.com/watch?v=2QZue4WM7CM

Panduan Pengaturan: https://www.youtube.com/watch?v=pdlhk4vvhqk

WebUi berada di bawah pengembangan dan pengujian yang konstan, tetapi Anda dapat mencobanya sekarang di Local dan Colab!

Changelog

• Webui untuk konversi yang lebih mudah dan pengunduhan model suara
• Dukungan untuk generasi penutup dari file audio lokal
• Opsi untuk menjaga file menengah dihasilkan. misalnya vokal/instrumental yang terisolasi
• Unduh model suara publik yang disarankan dari meja dengan filter pencarian/tag
• Dukungan untuk tautan unduhan pikseldrain untuk model suara
• Menerapkan teknik ekstraksi pitch RMVPE baru untuk konversi vokal yang lebih cepat dan berkualitas lebih tinggi
• Kontrol volume untuk vokal utama AI, vokal cadangan dan instrumen
• Tingkat indeks untuk konversi suara
• Kontrol reverb untuk vokal utama AI
• Opsi Berbagi Jaringan Lokal untuk WebUI
• Opsi RVC tambahan - Filter_Radius, RMS_MIX_RATE, Lindungi
• Unggah file lokal melalui opsi File Browser
• Unggah model RVC V2 yang terlatih secara lokal melalui WebUI
• Kontrol Metode Deteksi Pitch, misalnya RMVPE/MANGIO-CREPE
• Perubahan pitch untuk vokal dan instrumental bersama -sama. Efek yang sama dengan mengubah kunci lagu di karaoke.
• Opsi Format Output Audio: WAV atau MP3.

Perbarui aicovengen ke versi terbaru

Instal dan tarik semua persyaratan baru dan perubahan dengan membuka jendela baris perintah di direktori AICoverGen dan menjalankan perintah berikut.

 pip install -r requirements.txt
git pull

Untuk pengguna Colab, cukup klik Runtime di bilah navigasi atas notebook Colab dan Disconnect and delete runtime di menu dropdown. Kemudian ikuti instruksi di notebook untuk menjalankan webui.

Colab Notebook

Bagi mereka yang tidak memiliki GPU NVIDIA yang cukup kuat, Anda dapat mencoba Aicovergen menggunakan Google Colab.

Bagi mereka yang menghadapi masalah dengan Google Colab Notebook memutuskan setelah beberapa menit, inilah alternatif yang tidak menggunakan webui.

Bagi mereka yang ingin menjalankan ini secara lokal, ikuti panduan pengaturan di bawah ini.

Pengaturan

Instal Git dan Python

Ikuti instruksi di sini untuk menginstal git di komputer Anda. Ikuti juga panduan ini untuk menginstal Python Versi 3.9 jika Anda belum melakukannya. Menggunakan versi Python lainnya dapat mengakibatkan konflik ketergantungan.

Instal FFMPEG

Ikuti instruksi di sini untuk menginstal FFMPEG di komputer Anda.

Instal Sox

Ikuti instruksi di sini untuk menginstal SOX dan menambahkannya ke lingkungan Windows Path Anda.

Klon Repositori Aicovergen

Buka jendela baris perintah dan jalankan perintah ini untuk mengkloning seluruh repositori ini dan instal dependensi tambahan yang diperlukan.

 git clone https://github.com/SociallyIneptWeeb/AICoverGen
cd AICoverGen
pip install -r requirements.txt

Unduh model yang diperlukan

Jalankan perintah berikut untuk mengunduh model pemisahan vokal MDXNet yang diperlukan dan model dasar Hubert.

 python src/download_models.py

Penggunaan dengan webui

Untuk menjalankan WebUI AICOVERGEN, jalankan perintah berikut.

 python src/webui.py

Bendera	Keterangan
-h , --help	Tunjukkan pesan bantuan ini dan keluar.
--share	Buat URL Publik. Ini berguna untuk menjalankan UI Web di Google Colab.
--listen	Buat UI Web dapat dijangkau dari jaringan lokal Anda.
--listen-host LISTEN_HOST	Nama host yang akan digunakan server.
--listen-port LISTEN_PORT	Port mendengarkan yang akan digunakan server.

Setelah pesan output berikut Running on local URL: http://127.0.0.1:7860 muncul, Anda dapat mengklik tautan untuk membuka tab dengan WebUI.

Unduh model RVC melalui WebUI

Arahkan ke tab Download model , dan tempel tautan unduhan ke model RVC dan beri nama yang unik. Anda dapat mencari perselisihan AI Hub di mana model suara yang sudah terlatih tersedia untuk diunduh. Anda dapat merujuk pada contoh bagaimana tautan unduhan seharusnya. File zip yang diunduh harus berisi file model .pth dan file .index opsional.

Setelah 2 bidang input diisi, cukup klik Download ! Setelah pesan output mengatakan [NAME] Model successfully downloaded! , Anda harus dapat menggunakannya di tab Generate setelah mengklik tombol Model Refresh!

Unggah model RVC melalui WebUI

Untuk orang -orang yang telah melatih model RVC V2 secara lokal dan ingin menggunakannya untuk generasi penutup AI. Arahkan ke tab Upload model , dan ikuti instruksi. Setelah pesan output mengatakan [NAME] Model successfully uploaded! , Anda harus dapat menggunakannya di tab Generate setelah mengklik tombol Model Refresh!

Menjalankan pipa melalui webui

• Dari menu dropdown model suara, pilih model suara yang akan digunakan. Klik Update Jika Anda menambahkan file secara manual ke direktori RVC_MODELS untuk menyegarkan daftar.
• Di bidang input lagu, salin dan tempel tautan ke lagu apa pun di YouTube atau jalur lengkap ke file audio lokal.
• Pitch harus diatur ke -12, 0, atau 12 tergantung pada vokal asli dan modal RVC AI. Ini memastikan suara itu tidak selaras .
• Opsi canggih lainnya untuk konversi suara dan pencampuran audio dapat dilihat dengan mengklik panah akordeon untuk diperluas.

Setelah semua opsi utama diisi, klik Generate dan penutup yang dihasilkan AI akan muncul dalam waktu kurang dari beberapa menit tergantung pada GPU Anda.

Penggunaan dengan CLI

Download manual model RVC

Unzip (jika perlu) dan transfer file .pth dan .index ke folder baru di direktori rvc_models. Setiap folder hanya boleh berisi satu .pth dan satu file .index .

Struktur direktori harus terlihat seperti ini:

 ├── rvc_models
│   ├── John
│   │   ├── JohnV2.pth
│   │   └── added_IVF2237_Flat_nprobe_1_v2.index
│   ├── May
│   │   ├── May.pth
│   │   └── added_IVF2237_Flat_nprobe_1_v2.index
│   ├── MODELS.txt
│   └── hubert_base.pt
├── mdxnet_models
├── song_output
└── src

Menjalankan pipa

Untuk menjalankan pipa pembuatan penutup AI menggunakan baris perintah, jalankan perintah berikut.

 python src/main.py [-h] -i SONG_INPUT -dir RVC_DIRNAME -p PITCH_CHANGE [-k | --keep-files | --no-keep-files] [-ir INDEX_RATE] [-fr FILTER_RADIUS] [-rms RMS_MIX_RATE] [-palgo PITCH_DETECTION_ALGO] [-hop CREPE_HOP_LENGTH] [-pro PROTECT] [-mv MAIN_VOL] [-bv BACKUP_VOL] [-iv INST_VOL] [-pall PITCH_CHANGE_ALL] [-rsize REVERB_SIZE] [-rwet REVERB_WETNESS] [-rdry REVERB_DRYNESS] [-rdamp REVERB_DAMPING] [-oformat OUTPUT_FORMAT]

Bendera	Keterangan
-h , --help	Tunjukkan pesan bantuan ini dan keluar.
-i SONG_INPUT	Tautan ke lagu di YouTube atau jalur ke file audio lokal. Harus dilampirkan dalam kutipan ganda untuk windows dan kutipan tunggal untuk sistem seperti unix.
-dir MODEL_DIR_NAME	Nama folder di direktori rvc_models yang berisi file .pth dan .index Anda untuk suara tertentu.
-p PITCH_CHANGE	Ubah nada vokal AI dalam oktaf. Diatur ke 0 tanpa perubahan. Secara umum, gunakan 1 untuk konversi pria ke wanita dan -1 untuk sebaliknya.
-k	Opsional. Dapat ditambahkan untuk menjaga semua file audio menengah dihasilkan. misalnya vokal/instrumental AI terisolasi. Tinggalkan untuk menghemat ruang.
-ir INDEX_RATE	Opsional. Default 0,5. Kontrol berapa banyak aksen AI untuk pergi dalam vokal. 0 <= index_rate <= 1.
-fr FILTER_RADIUS	Opsional. Default 3. If> = 3: Terapkan penyaringan median median pemfilteran ke hasil pitch yang dipanen. 0 <= filter_radius <= 7.
-rms RMS_MIX_RATE	Opsional. Default 0.25. Kontrol berapa banyak untuk menggunakan kenyaringan vokal asli (0) atau kenyaringan tetap (1). 0 <= rms_mix_rate <= 1.
-palgo PITCH_DETECTION_ALGO	Opsional. RMVPE default. Pilihan terbaik adalah RMVPE (Kejelasan dalam Vokal), lalu Mangio-Crepe (vokal yang lebih halus).
-hop CREPE_HOP_LENGTH	Opsional. Default 128. Mengontrol seberapa sering ia memeriksa perubahan pitch dalam milidetik saat menggunakan algo mgio-crepe secara khusus. Nilai yang lebih rendah mengarah pada konversi yang lebih lama dan risiko retak suara yang lebih tinggi, tetapi akurasi nada yang lebih baik.
-pro PROTECT	Opsional. Default 0.33. Kontrol berapa banyak napas vokal asli dan konsonan yang tidak bersuara untuk pergi dalam vokal AI. Atur 0,5 untuk menonaktifkan. 0 <= Lindungi <= 0,5.
-mv MAIN_VOCALS_VOLUME_CHANGE	Opsional. Default 0. Kontrol Volume Vokal AI Utama. Gunakan -3 untuk mengurangi volume dengan 3 desibel, atau 3 untuk meningkatkan volume dengan 3 desibel.
-bv BACKUP_VOCALS_VOLUME_CHANGE	Opsional. Default 0. Kontrol volume vokal AI cadangan.
-iv INSTRUMENTAL_VOLUME_CHANGE	Opsional. Default 0. Kontrol Volume Musik Latar Belakang/Instrumental.
-pall PITCH_CHANGE_ALL	Opsional. Default 0. Ubah Pitch/Kunci Musik Latar Belakang, Vokal Cadangan dan Vokal AI di Semitones. Mengurangi kualitas suara sedikit.
-rsize REVERB_SIZE	Opsional. Default 0.15. Semakin besar ruangan, semakin lama waktu reverb. 0 <= reverb_size <= 1.
-rwet REVERB_WETNESS	Opsional. Default 0.2. Level vokal AI dengan reverb. 0 <= reverb_wetness <= 1.
-rdry REVERB_DRYNESS	Opsional. Default 0.8. Level vokal AI tanpa reverb. 0 <= reverb_dryness <= 1.
-rdamp REVERB_DAMPING	Opsional. Default 0.7. Penyerapan frekuensi tinggi di reverb. 0 <= reverb_damping <= 1.
-oformat OUTPUT_FORMAT	Opsional. Mp3 default. WAV untuk kualitas terbaik dan ukuran file besar, MP3 untuk kualitas yang layak dan ukuran file kecil.

Ketentuan Penggunaan

Penggunaan suara yang dikonversi untuk tujuan berikut dilarang.

• Mengkritik atau menyerang individu.

• Mengadvokasi atau menentang posisi politik spesifik, agama, atau ideologi.

• Secara publik menampilkan ekspresi yang sangat merangsang tanpa zonasi yang tepat.

• Penjualan model suara dan klip suara yang dihasilkan.

• Peniruan pemilik asli suara dengan niat jahat untuk membahayakan/melukai orang lain.

• Tujuan penipuan yang mengarah pada pencurian identitas atau panggilan telepon yang curang.

Penafian

Saya tidak bertanggung jawab atas kerusakan langsung, tidak langsung, konsekuensial, insidental, atau khusus yang timbul dari atau dengan cara apa pun yang terhubung dengan penggunaan/penyalahgunaan atau ketidakmampuan untuk menggunakan perangkat lunak ini.