Pollyduble

Pollyduble

Dubbing Otomatis dengan Kloning Suara dan Pengenalan Pidato
Dimungkinkan berkat OpenVoice, Melotts, Whisper lebih cepat, voicefixer, Python-Audio-Separator dan FFMPEG.

Ini adalah prototipe skrip yang sangat eksperimental yang bertujuan untuk secara otomatis menjuluki audio bahasa Inggris melalui file video yang awalnya direkam dalam dukungan berbisik bahasa apa pun. Secara teoritis, dengan beberapa modifikasi dan model OpenVoice yang berbeda, itu harus mendukung bahasa apa pun yang didukung oleh OpenVoice, namun terjemahannya harus ditangani oleh sesuatu selain bisikan

Fitur

• Kloning suara dan sintesis teks-ke-speech lokal
• Pengenalan ucapan otomatis
• Pemisahan audio
• Sinkronisasi otomatis garis yang dijuluki ke pidato asli
• Perbaikan suara opsional untuk mengembalikan beberapa frekuensi tinggi yang hilang selama proses kloning suara
• Muxing audio yang dijuluki dan mengekstraksi trek instrumental kembali ke dalam video

---

PR dipersilakan, ini sebagian besar hanya bukti konsep. Beberapa ide bagus untuk perbaikan meliputi:

• Diarization Speaker Untuk memisahkan pidato karakter yang berbeda dan secara otomatis menetapkan garis yang dijuluki dengan benar ke karakter yang benar
• Kemampuan untuk memuat subtitle khusus alih -alih mengandalkan pengenalan ucapan otomatis
• Jaringan Saraf Terjemahan (Lokal sangat disukai) atau API untuk tidak mengandalkan terjemahan Whisper's Pheusdy

Prasyarat

• Python 3.9
• Ffmpeg, ffprobe dan ffplay diinstal pada sistem Anda dan di jalur
• Windows (hanya diuji pada windows)
• GPU NVIDIA modern dengan dukungan CUDA mungkin diperlukan
• Miniconda atau anaconda (opsional, tetapi direkomendasikan)

Instalasi

0. Instal FFMPEG, FFProbe dan FFPlay di sistem Anda dan pastikan mereka berada di jalur. Anda dapat mengunduhnya dari sini.

1. Buat direktori baru dan klon repositori ini:

git clone https://github.com/igerman00/Pollyduble
cd Pollyduble

2. Buat lingkungan Conda baru:

conda create -n dubbing python=3.9

3. Aktifkan lingkungan Conda:

conda activate dubbing

4. Klon Repositori OpenVoice

git clone https://github.com/myshell-ai/OpenVoice

Pastikan repositori OpenVoice berada di direktori yang sama dengan repositori ini, itu harus dinamai "OpenVoice".

5. Instal OpenVoice:

 cd OpenVoice
pip install -e .
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download

6. Instal torch dengan Dukungan GPU (parameter indeks-URL harus opsional untuk tidak ada dukungan GPU):

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

7. Instal dependensi lainnya:

 cd .. # Go back to the root directory of the repo
pip install -r requirements-win-cu118.txt

Penggunaan

1. Dapatkan file video dan letakkan di mana saja di komputer Anda, untuk contoh ini kami akan menganggapnya di direktori yang sama dengan skrip demo.py kami, dan dinamai video.mp4 .
2. Jalankan skrip:

python demo.py -i video.mp4 -s -m

Output akan disimpan di direktori Pollyduble/output secara default. Ini akan berisi berbagai file termasuk video yang dijuluki, audio yang terpisah, audio yang dijuluki, dan sampel suara. Sebagian besar, itu harus satu klik.

Opsi termasuk:

• -i atau --input untuk menentukan file video input
• -o atau --output untuk menentukan direktori output (default adalah Pollyduble/output )
• -v atau --voice untuk menentukan sampel khusus untuk kloning suara. Jika tidak ditentukan, satu akan dibuat dari 15 detik pertama video
• -s atau --separate untuk memungkinkan pemisahan audio, yaitu mengekstraksi musik latar dan pidato dari video secara terpisah
• -m atau --mux untuk memungkinkan muxing audio yang terpisah kembali ke video dengan pidato yang dijuluki
• -f atau --fix untuk mengaktifkan pemasangan suara, yaitu meningkatkan kualitas pidato yang dijuluki.
  ^ Eksperimental dan sebenarnya tidak terdengar bagus sebagian besar waktu.
• --help untuk menampilkan pesan bantuan

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.