youtube auto dub

YouTube Auto-Dub

Repositori ini berfungsi sebagai titik awal untuk mengembangkan backend FASTAPI untuk menjuluki video YouTube dengan menangkap dan menyimpulkan suara timbre menggunakan OpenVoice.

Fitur Inti

• Pengenalan Timbre Suara : Memanfaatkan Teknologi OpenVoice untuk secara akurat mengenali Timbre Suara dari video YouTube asli.
• Sintesis Teks-ke-Speech : Mengunduh dan memproses subtitle, menerjemahkannya dan mengubahnya menjadi ucapan, mencocokkan timbre suara asli sedekat mungkin.
• Penyebaran Fleksibel : Mendukung penyebaran melalui tindakan GitHub dan cloud build, dengan kompatibilitas untuk penyebaran run cloud, memastikan skalabilitas dan kemudahan penggunaan. Saat ini, inferensi dilakukan dengan menggunakan CPU. Untuk menyiapkan cloud run dengan terraform, lihat repositori berikut untuk instruksi:

FASTAPI-CLOUDRUN-STARTER

Memulai

Untuk memulai dengan YouTube Auto-Dub, ikuti langkah-langkah ini:

1. Pengaturan Lingkungan

Untuk pengembangan lokal, kami sarankan mendirikan lingkungan Conda dengan:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Unduh pos pemeriksaan yang diperlukan

Unduh Model Checkpoints yang diperlukan untuk pengakuan dan sintesis Timbre Suara:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Menjalankan Aplikasi

Dengan pengaturan lingkungan dan pos pemeriksaan diunduh, navigasikan ke direktori backend dan mulai aplikasi menggunakan:

 cd backend
uvicorn app.main:app --reload

Penggunaan

Untuk menggunakan YouTube Auto-Dub, mulailah dengan mengirimkan tautan YouTube melalui titik akhir:

 /api/v1/download/

Aplikasi akan memproses video, mengenali timbre suara, menerjemahkan subtitle, mensintesis pidato yang diterjemahkan yang cocok dengan timbre asli, dan kemudian merakit video terakhir. Video yang diproses akan disimpan di backend/data/final_videos . Dengan ID video dikembalikan dalam output, Anda dapat memeriksa status pemrosesan melalui titik akhir:

 /api/v1/status/{video_id}

Akhirnya, Anda dapat mengunduh video terakhir dengan menggunakan titik akhir:

 /api/v1/download-video/{video_id}

Memasukkan ID video.

Penyebaran

Proyek ini dirancang dengan mempertimbangkan penyebaran cloud. Konfigurasi cloudbuild.yaml dan Terraform yang disediakan memfasilitasi penyebaran di Google Cloud Platform, khususnya menggunakan Cloud Run untuk hosting aplikasi yang dapat diskalakan dan tanpa server.

Berkontribusi

Kontribusi dipersilakan! Apakah Anda memperbaiki bug, menambahkan fitur baru, atau meningkatkan dokumentasi, bantuan Anda dihargai. Jangan ragu untuk membayar repositori dan mengirimkan permintaan tarik.

Referensi dan inspirasi

Pengembangan YouTube Auto-Dub terinspirasi oleh repositori berikut:

• OpenVoice: Teknologi kloning suara instan oleh MyShell, digunakan untuk pengenalan dan sintesis suara suara dalam proyek ini.

Arah masa depan

• Peningkatan Model : Jelajahi dan mengintegrasikan model yang lebih baik untuk pengenalan suara dan sintesis.
• Dukungan GPU Tanpa Server : Selidiki opsi untuk komputasi GPU tanpa server untuk mempercepat pemrosesan.
• Frontend Interface : Kembangkan frontend yang ramah pengguna untuk interaksi yang lebih mudah dengan aplikasi.
• Sinkronisasi terjemahan : Tingkatkan sinkronisasi antara teks yang diterjemahkan dan konten video untuk pengalaman menonton yang mulus.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.