youtube auto dub

YouTube Auto-Dub

Ce référentiel sert de point de départ pour développer un backend FastAPI pour doubler les vidéos YouTube en capturant et en déduisant le timbre vocal à l'aide d'OpenVoice.

Caractéristiques de base

• Reconnaissance vocale du timbre : utilise la technologie OpenVoice pour reconnaître avec précision le timbre vocal de la vidéo YouTube originale.
• Synthèse de texte vocale : téléchargements et processus sous-titres, les traduire et les convertir en discours, correspondant au timbre vocal d'origine aussi étroitement que possible.
• Déploiement flexible : prend en charge le déploiement via les actions GitHub et la création de cloud, avec une compatibilité pour le déploiement de l'exécution du cloud, une évolutivité et une facilité d'utilisation. Actuellement, l'inférence est effectuée à l'aide de CPU. Pour la configuration de Cloud Exécuter avec Terraform, reportez-vous au référentiel suivant pour les instructions:

Fastapi-cloudrun-starter

Commencer

Pour commencer avec YouTube Auto-Dub, suivez ces étapes:

1. Configuration de l'environnement

Pour le développement local, nous vous recommandons de créer un environnement conda avec:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Télécharger les points de contrôle requis

Téléchargez les points de contrôle des modèles nécessaires à la reconnaissance et à la synthèse du timbre vocal:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Exécution de l'application

Avec l'environnement configuré et les points de contrôle téléchargés, accédez au répertoire backend et démarrez l'application en utilisant:

 cd backend
uvicorn app.main:app --reload

Usage

Pour utiliser YouTube Auto-Dub, commencez par soumettre un lien YouTube via le point de terminaison:

 /api/v1/download/

L'application traitera la vidéo, reconnaîtra le timbre vocal, traduisa les sous-titres, synthétisera le discours traduit correspondant au timbre d'origine, puis assemblez la vidéo finale. La vidéo traitée sera enregistrée en backend/data/final_videos . Avec l'ID vidéo renvoyé dans la sortie, vous pouvez vérifier l'état de traitement via le point de terminaison:

 /api/v1/status/{video_id}

Enfin, vous pouvez télécharger la vidéo finale en utilisant le point de terminaison:

 /api/v1/download-video/{video_id}

Insertion de l'ID de la vidéo.

Déploiement

Ce projet est conçu avec un déploiement cloud à l'esprit. Les configurations cloudbuild.yaml et Terraform fournies fournis facilitent le déploiement sur Google Cloud Platform, spécifiquement à l'aide de Cloud Run pour l'hébergement d'applications sans serveur évolutif.

Contributif

Les contributions sont les bienvenues! Que vous corrigez un bogue, que vous ajoutiez de nouvelles fonctionnalités ou que vous amélioriez la documentation, votre aide est appréciée. N'hésitez pas à alimenter le référentiel et à soumettre des demandes de traction.

Référence et inspiration

Le développement de YouTube Auto-Dub a été inspiré par le référentiel suivant:

• OpenVoice: Technologie de clonage vocale instantanée par Myshell, utilisée pour la reconnaissance et la synthèse vocales du timbre dans ce projet.

Directions futures

• Améliorations du modèle : explorer et intégrer de meilleurs modèles de reconnaissance vocale et de synthèse.
• Prise en charge du GPU sans serveur : Étudiez les options pour le calcul du GPU sans serveur pour accélérer le traitement.
• Interface frontale : développez un frontage convivial pour une interaction plus facile avec l'application.
• Synchronisation de la traduction : améliorez la synchronisation entre le texte traduit et le contenu vidéo pour une expérience de visualisation transparente.

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.