GANimation

Ganimation: ภาพเคลื่อนไหวใบหน้าที่รู้ทางกายวิภาคจากภาพเดียว

[โครงการ] [กระดาษ]

การดำเนินการอย่างเป็นทางการของ ganimation ในงานนี้เราแนะนำรูปแบบการปรับสภาพ GAN ใหม่ตามคำอธิบายประกอบของหน่วยการกระทำ (AU) ซึ่งอธิบายในการเคลื่อนไหวของใบหน้าทางกายวิภาคอย่างต่อเนื่องที่กำหนดการแสดงออกของมนุษย์ วิธีการของเราอนุญาตให้ควบคุมขนาดของการเปิดใช้งานของแต่ละ AU และรวมกันหลายอย่าง สำหรับข้อมูลเพิ่มเติมโปรดดูที่กระดาษ

รหัสนี้ถูกเปิดเผยต่อสาธารณะเพื่อแบ่งปันการวิจัยของเราเพื่อประโยชน์ของชุมชนวิทยาศาสตร์ อย่าใช้เพื่อจุดประสงค์ที่ผิดศีลธรรม

ข้อกำหนดเบื้องต้น

• ติดตั้ง pytorch (เวอร์ชัน 0.3.1), การมองเห็นคบเพลิงและการพึ่งพาจาก http://pytorch.org
• Install required.txt ( pip install -r requirements.txt )

การเตรียมข้อมูล

รหัสต้องใช้ไดเรกทอรีที่มีไฟล์ต่อไปนี้:

• imgs/ : โฟลเดอร์พร้อมรูปภาพทั้งหมด
• aus_openface.pkl : พจนานุกรมที่มีหน่วยการกระทำของรูปภาพ
• train_ids.csv : ไฟล์ที่มีชื่อรูปภาพที่จะใช้ในการฝึกอบรม
• test_ids.csv : ไฟล์ที่มีชื่อรูปภาพที่จะใช้ในการทดสอบ

ตัวอย่างของไดเรกทอรีนี้จะแสดงใน sample_dataset/

ในการสร้าง aus_openface.pkl แยกหน่วยการกระทำแต่ละภาพด้วย OpenFace และเก็บเอาต์พุตแต่ละรายการไว้ในไฟล์ CSV ในชื่อเดียวกับภาพ จากนั้นเรียกใช้:

 python data/prepare_au_annotations.py

วิ่ง

เพื่อฝึก:

 bash launch/run_train.sh

เพื่อทดสอบ:

 python test --input_path path/to/img

การอ้างอิง

หากคุณใช้รหัสหรือแนวคิดนี้จากกระดาษเพื่อการวิจัยของคุณโปรดอ้างอิงบทความของเรา:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}