GANimation

Ganimation: Anatomisch bewusste Gesichtsanimation aus einem einzigen Bild

[Projekt] [Papier]

Offizielle Umsetzung der Ganimation. In dieser Arbeit stellen wir ein neuartiges GaN -Konditionierungsschema vor, das auf Action -Einheiten (AU) -Notationen basiert, die in einem kontinuierlichen Verteiler die anatomischen Gesichtsbewegungen beschreiben, die einen menschlichen Ausdruck definieren. Unser Ansatz ermöglicht es, die Aktivierung der einzelnen AU zu steuern und mehrere von ihnen zu kombinieren. Weitere Informationen finden Sie im Papier.

Dieser Kodex wurde veröffentlicht, um unsere Forschung zum Nutzen der wissenschaftlichen Gemeinschaft zu teilen. Verwenden Sie es nicht für unmoralische Zwecke.

Voraussetzungen

• Installieren Sie Pytorch (Version 0.3.1), Torch Vision und Abhängigkeiten von http://pytorch.org
• Anforderungen installieren.txt ( pip install -r requirements.txt )

Datenvorbereitung

Der Code erfordert ein Verzeichnis, das die folgenden Dateien enthält:

• imgs/ : Ordner mit allem Bild
• aus_openface.pkl : Dictionary mit den Images -Aktionseinheiten.
• train_ids.csv : Datei mit den zum Training verwendeten Bildernamen.
• test_ids.csv : Datei mit den zum Testen verwendeten Bildernamen.

Ein Beispiel für dieses Verzeichnis ist in sample_dataset/ gezeigt.

So generieren Sie das Aus aus_openface.pkl jede Bildaktionseinheiten mit OpenFace und speichern Sie jede Ausgabe in einer CSV -Datei den gleichen Namen wie das Bild. Dann rennen:

 python data/prepare_au_annotations.py

Laufen

Zu trainieren:

 bash launch/run_train.sh

Zu testen:

 python test --input_path path/to/img

Zitat

Wenn Sie diesen Code oder diese Ideen aus dem Papier für Ihre Recherche verwenden, zitieren Sie bitte unser Papier:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}