end to end_deepfake_colab

การสร้างวิดีโอ Deepfake แบบ end-to-end

ภาพรวม

โน้ตบุ๊ก colab นี้ให้คำแนะนำทีละขั้นตอนเพื่อสร้างวิดีโอ Deepfake โดยการโคลนเสียงลงในวิดีโอ กระบวนการนี้เกี่ยวข้องกับการอัปโหลดไฟล์วิดีโอและเสียงเปลี่ยนชื่อพวกเขาการสกัดเสียงสร้างชิ้นเสียงและในที่สุดก็ใช้ WAV2LIP สำหรับการสร้าง DeepFake

ขั้นตอน

ก่อนที่จะดำเนินการโน้ตบุ๊กนี้เราต้องมีโฟลเดอร์ใน Google Drive ของเราชื่อ deepfake ด้วยไฟล์วิดีโออย่างน้อย (รูปแบบ MP4) ขอแนะนำอย่างยิ่งให้รวมไฟล์เสียง (รูปแบบ MP3) เพื่อโคลนเสียงจาก โดยเฉพาะอย่างยิ่งสำหรับกรณีของภาษาที่ไม่ใช่ภาษาอังกฤษในวิดีโอจำเป็นต้องอัปโหลดไฟล์เสียงภาษาอังกฤษเช่นกัน

ข้อควรระวัง: ข้อความแจ้งข้อความควรคั่นด้วย '|' ทุก ๆ หนึ่งถึงสองประโยค (ทุก ~ 20 วินาทีที่ต้องใช้ในการอ่าน) หากคุณได้รับคำเตือนใด ๆ และแนะนำเซสชันรีสตาร์ท (หลังจากติดตั้งไลบรารี - เช่น Librosa ดังที่แสดงในรูปด้านล่าง) ให้คลิก 'ยกเลิก' ในเวอร์ชันฟรี (T4 หรือ V100 ที่มี 15GB VRAM และ ~ 13GB RAM) ระยะเวลาเสียง/วิดีโอสูงสุดสามารถเป็น ~ 50SECS (ใช้เวลา ~ 30 นาทีในการเรียกใช้สคริปต์และรับผลลัพธ์) สำหรับข้อความที่ยาวกว่านั้นจำเป็นต้องใช้ GPU ขนาดใหญ่ (รุ่นที่ชำระเงินโดยใช้ L4 ที่มี 22.5GB VRAM และ ~ 63GB ของ RAM หรือ A100 พร้อม 40GB VRAM และ ~ 84GB RAM - หลังใช้หน่วยคำนวณ/ชั่วโมงมากขึ้น)

1. อัปโหลดวิดีโอและไฟล์เสียง

• เมานต์ Google ไดรฟ์เพื่อเข้าถึงไฟล์
• เปลี่ยนไดเรกทอรีเป็นเส้นทางที่ระบุ

 from google . colab import drive
drive . mount ( '/content/gdrive' )

cd gdrive / MyDrive / deepfake

2. ตั้งเส้นทางฐาน

ระบุเส้นทางพื้นฐานสำหรับไฟล์วิดีโอและเสียง

 base_path = '/content/gdrive/MyDrive/deepfake'

3. ติดตั้งการพึ่งพา

ติดตั้ง TTS, PyDub และ MoviePy Libraries

!p ip install - q pydub == 0.25 . 1 TTS == 0.22 . 0 moviepy == 1.0 . 3

4. ตั้งค่าข้อความเพื่ออ่าน

ตั้งค่าข้อความภาษาอังกฤษที่จะอ่านด้วยเสียงโคลน

 text_to_read = "Joining two modalities results in a surprising increase in generalization! \ n What would happen if we combined them all? " 

5. เปลี่ยนชื่อไฟล์เสียงและวิดีโอ

เปลี่ยนชื่อไฟล์เสียงและวิดีโอที่อัปโหลดเป็น input_voice.mp3 และ video_full.mp4 ตามลำดับ

6. แยกเสียงจากวิดีโอ (ถ้าจำเป็น)

หากมีเพียงวิดีโอให้ให้แยกเสียงออกมาเพื่อใช้ในการโคลนบุคคล

7. สร้างชิ้นเสียง

สร้างโฟลเดอร์ที่มีเสียง 10 วินาทีเพื่อใช้เป็นอินพุตในเต่า

8. ยืนยันระยะเวลาเสียงและวิดีโอ

ตรวจสอบให้แน่ใจว่าเสียงและวิดีโอมีระยะเวลาเท่ากัน ถ้าไม่ตัดให้ยาวกว่าที่จะจับคู่ที่สั้นกว่า (หรือตัดพวกเขาทั้งสองถึง 20 วินาที)

9. โคลน WAV2LIP repository และดาวน์โหลดรุ่นดาวน์โหลด

clone wav2lip repository github, ดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมก่อนและติดตั้งการพึ่งพา

10. สร้าง Deepfake

เรียกใช้สคริปต์การอนุมาน WAV2LIP เพื่อสร้างวิดีโอ DeepFake

11. ทำความสะอาด

ลบไฟล์และโฟลเดอร์ชั่วคราว