GANimation

Ganimation: Animation faciale anatomiquement consciente d'une seule image

[Projet] [Papier]

Mise en œuvre officielle de la ganimation. Dans ce travail, nous introduisons un nouveau schéma de conditionnement GaN basé sur les annotations d'unités d'action (UA), qui décrivent dans un variateur continu les mouvements faciaux anatomiques définissant une expression humaine. Notre approche permet de contrôler l'ampleur de l'activation de chaque UA et en combine plusieurs. Pour plus d'informations, veuillez vous référer au document.

Ce code a été rendu public pour partager nos recherches au profit de la communauté scientifique. Ne l'utilisez pas à des fins immorales.

Condition préalable

• Installez Pytorch (version 0.3.1), la vision de la torche et les dépendances de http://pytorch.org
• Installer les exigences.txt ( pip install -r requirements.txt )

Préparation des données

Le code nécessite un répertoire contenant les fichiers suivants:

• imgs/ : dossier avec toute image
• aus_openface.pkl : Dictionnaire contenant les unités d'action d'images.
• train_ids.csv : fichier contenant les noms d'images à utiliser pour s'entraîner.
• test_ids.csv : fichier contenant les noms d'images à utiliser pour tester.

Un exemple de ce répertoire est illustré dans sample_dataset/ .

Pour générer le aus_openface.pkl Extraire chaque unités d'action d'image avec OpenFace et stocker chaque sortie dans un fichier CSV le même nom que l'image. Puis courez:

 python data/prepare_au_annotations.py

Courir

S'entraîner:

 bash launch/run_train.sh

Pour tester:

 python test --input_path path/to/img

Citation

Si vous utilisez ce code ou les idées du document pour vos recherches, veuillez citer notre article:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}