GANimation

Ganimation: Anatomis-sadar menghadap ke wajah dari satu gambar

[Proyek] [kertas]

Implementasi resmi ganimation. Dalam karya ini kami memperkenalkan skema pengkondisian GAN baru berdasarkan anotasi unit aksi (AU), yang menggambarkan dalam manifold berkelanjutan gerakan wajah anatomi yang mendefinisikan ekspresi manusia. Pendekatan kami memungkinkan mengendalikan besarnya aktivasi masing -masing AU dan menggabungkan beberapa dari mereka. Untuk informasi lebih lanjut silakan lihat koran.

Kode ini dipublikasikan untuk berbagi penelitian kami untuk kepentingan komunitas ilmiah. Jangan menggunakannya untuk tujuan tidak bermoral.

Prasyarat

• Instal Pytorch (versi 0.3.1), visi obor dan dependensi dari http://pytorch.org
• Instal persyaratan.txt ( pip install -r requirements.txt )

Persiapan data

Kode membutuhkan direktori yang berisi file -file berikut:

• imgs/ : folder dengan semua gambar
• aus_openface.pkl : Kamus yang berisi unit tindakan gambar.
• train_ids.csv : File yang berisi nama gambar yang akan digunakan untuk berlatih.
• test_ids.csv : File yang berisi nama gambar yang akan digunakan untuk menguji.

Contoh direktori ini ditampilkan di sample_dataset/ .

Untuk menghasilkan aus_openface.pkl Ekstrak setiap unit tindakan gambar dengan OpenFace dan simpan setiap output dalam file CSV dengan nama yang sama dengan gambar. Kemudian jalankan:

 python data/prepare_au_annotations.py

Berlari

Untuk melatih:

 bash launch/run_train.sh

Untuk menguji:

 python test --input_path path/to/img

Kutipan

Jika Anda menggunakan kode atau ide ini dari kertas untuk penelitian Anda, silakan kutip makalah kami:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}