end to end_deepfake_colab download - end to end_deepfake

end to end_deepfake_colab

Code Source AI

1.0.0

Télécharger

Génération de vidéo DeepFake de bout en bout

Aperçu

Ce carnet Colab fournit un guide étape par étape pour générer une vidéo DeepFake en clonant une voix sur une vidéo. Le processus consiste à télécharger des fichiers vidéo et vocaux, de les renommer, d'extraire l'audio, de créer des morceaux audio et enfin d'utiliser wav2lip pour la génération DeepFake.

Mesures

Avant d'exécuter ce cahier, nous devons avoir un dossier dans notre Google Drive nommé deepfake avec au moins un fichier vidéo (format MP4). Il est fortement recommandé d'inclure également un fichier audio (format MP3) pour cloner la voix. Surtout pour les cas de langue non anglophone dans la vidéo, il est également essentiel de télécharger un fichier audio anglais.

ATTENTION: L'invite de texte doit être séparée avec '|' chacune à deux phrases (toutes les ~ 20 secondes il faut pour la lire). Si vous obtenez des avertissements et que la session de redémarrage est suggérée (après l'installation d'une bibliothèque - par exemple Librosa, comme indiqué dans la figure ci-dessous), cliquez sur «Annuler». Dans la version gratuite (T4 ou V100 avec 15 Go de VRAM et ~ 13 Go de RAM), la durée audio / vidéo maximale peut être de ~ 50 secondes (prend ~ 30 minutes pour exécuter le script et obtenir des résultats). Pour une invite de texte plus longue, un GPU plus grand est nécessaire (version payante utilisant L4 avec 22,5 Go de VRAM et ~ 63 Go de RAM ou A100 avec 40 Go de VRAM et ~ 84 Go de RAM - ce dernier utilise plus d'unités de calcul / heure).

1. Télécharger des fichiers vidéo et vocaux

Montez Google Drive pour accéder aux fichiers.
Changer le répertoire en chemin spécifié.

 from google . colab import drive
drive . mount ( '/content/gdrive' )

cd gdrive / MyDrive / deepfake

2. Définir le chemin de base

Spécifiez le chemin de base pour les fichiers vidéo et audio.

 base_path = '/content/gdrive/MyDrive/deepfake'

3. Installez les dépendances

Installez les bibliothèques TTS, Pydub et MoviePy.

!p ip install - q pydub == 0.25 . 1 TTS == 0.22 . 0 moviepy == 1.0 . 3

4. Définir du texte pour lire

Définissez le texte anglais qui sera lu avec la voix clonée.

 text_to_read = "Joining two modalities results in a surprising increase in generalization! \ n What would happen if we combined them all? "

5. Renommer les fichiers audio et vidéo

Renommez respectivement les fichiers audio et vidéo téléchargés sur input_voice.mp3 et video_full.mp4 .

6. Extraire audio de la vidéo (si nécessaire)

Si seule une vidéo est fournie, en extraire un audio pour être utilisée pour cloner l'individu.

7. Créer des morceaux audio

Créez un dossier avec des morceaux d'audio de 10 secondes à utiliser comme entrée dans Tortoise.

8. Confirmer la durée de l'audio et de la vidéo

Assurez-vous que l'audio et la vidéo ont la même durée. Sinon, coupez le plus long pour correspondre à celui le plus court (ou coupez-les tous les deux à 20 secondes).