end to end_deepfake_colab

توليد فيديو DeepFake من شامل إلى طرف

ملخص

يوفر دفتر Colab Notebook دليلًا خطوة بخطوة لإنشاء مقطع فيديو DeepFake عن طريق استنساخ صوت على مقطع فيديو. تتضمن العملية تحميل ملفات الفيديو والصوت ، وإعادة تسميتها ، واستخراج الصوت ، وإنشاء قطع صوتية ، وأخيراً باستخدام WAV2LIP لتوليد DeepFake.

خطوات

قبل تنفيذ هذا الكمبيوتر الدفتري ، نحتاج إلى وجود مجلد في محرك Google الخاص بنا المسمى deepfake مع ملف فيديو على الأقل (تنسيق MP4). يوصى بشدة بتضمين ملف الصوت (تنسيق MP3) لاستنساخ الصوت من. خاصة بالنسبة لحالات اللغة غير الإنجليزية في الفيديو ، من الضروري تحميل ملف صوتي باللغة الإنجليزية أيضًا.

تحذير: يجب فصل موجه النص بـ "|" من كل جمل إلى جملتين (كل 20 ثانية يستغرق قراءتها). إذا حصلت على أي تحذيرات وتم اقتراح جلسة إعادة التشغيل (بعد تثبيت مكتبة - مثل Librosa ، كما هو موضح في الشكل أدناه) ، انقر فوق "إلغاء". في الإصدار المجاني (T4 أو V100 مع 15 جيجابايت VRAM و ~ 13 جيجابايت من ذاكرة الوصول العشوائي) يمكن أن يكون الحد الأقصى لمدة الصوت/الفيديو ~ 50 ثانية (يستغرق حوالي 30 دقيقة لتشغيل البرنامج النصي والحصول على النتائج). للحصول على مطالبة نصية أطول ، هناك حاجة إلى وحدة معالجة الرسومات الأكبر (نسخة مدفوعة باستخدام L4 مع 22.5 جيجابايت VRAM و 63 جيجابايت من ذاكرة الوصول العشوائي أو A100 مع 40 جيجابايت VRAM و ~ 84 جيجابايت من ذاكرة الوصول العشوائي - يستخدم الأخير المزيد من وحدات/ساعة).

1. تحميل الملفات والملفات الصوتية

• Mount Google Drive للوصول إلى الملفات.
• تغيير الدليل إلى المسار المحدد.

 from google . colab import drive
drive . mount ( '/content/gdrive' )

cd gdrive / MyDrive / deepfake

2. تعيين مسار قاعدة

حدد المسار الأساسي لملفات الفيديو والصوت.

 base_path = '/content/gdrive/MyDrive/deepfake'

3. تثبيت التبعيات

تثبيت مكتبات TTS و Pydub و MoviePy.

!p ip install - q pydub == 0.25 . 1 TTS == 0.22 . 0 moviepy == 1.0 . 3

4. تعيين نص للقراءة

اضبط النص الإنجليزي الذي سيتم قراءته مع الصوت المستنسخ.

 text_to_read = "Joining two modalities results in a surprising increase in generalization! \ n What would happen if we combined them all? " 

5. إعادة تسمية ملفات الصوت والفيديو

أعد تسمية ملفات الصوت والفيديو التي تم تحميلها إلى input_voice.mp3 و video_full.mp4 ، على التوالي.

6. استخراج الصوت من الفيديو (إذا لزم الأمر)

إذا تم توفير مقطع فيديو فقط ، استخرج الصوت منه لاستنساخ الفرد.

7. إنشاء قطع صوتية

قم بإنشاء مجلد مع أجزاء من الصوت 10 ثانية لاستخدامها كمدخلات في السلحفاة.

8. تأكيد مدة الصوت والفيديو

تأكد من أن الصوت والفيديو لديهم نفس المدة. إذا لم يكن الأمر كذلك ، قم بقص واحد أطول لتتناسب مع واحد أقصر (أو قطعها على حد سواء إلى 20 ثانية).

9. استنساخ مستودع WAV2LIP ونماذج التنزيل

Clone Wav2Lip Github Restository ، قم بتنزيل النماذج التي تم تدريبها مسبقًا ، وتثبيت التبعيات.

10. توليد DeepFake

قم بتشغيل البرنامج النصي للاستدلال WAV2LIP لإنشاء فيديو DeepFake.

11. التنظيف

إزالة الملفات والمجلدات المؤقتة.