GANimation

Ganimação: animação facial anatomicamente consciente de uma única imagem

[Projeto] [Papel]

Implementação oficial de ganimação. Neste trabalho, introduzimos um novo esquema de condicionamento GaN baseado em anotações de unidades de ação (AU), que descrevem em um coletor contínuo os movimentos faciais anatômicos que definem uma expressão humana. Nossa abordagem permite controlar a magnitude da ativação de cada UA e combinar vários deles. Para mais informações, consulte o artigo.

Este código foi divulgado para compartilhar nossa pesquisa para o benefício da comunidade científica. Não o use para fins imorais.

Pré -requisitos

• Instale Pytorch (versão 0.3.1), Torch Vision e Dependências de http://pytorch.org
• Instale requisitos.txt ( pip install -r requirements.txt )

Preparação de dados

O código requer um diretório que contenha os seguintes arquivos:

• imgs/ : Pasta com toda a imagem
• aus_openface.pkl : dicionário que contém as unidades de ação das imagens.
• train_ids.csv : Arquivo que contém os nomes das imagens a serem usados para treinar.
• test_ids.csv : arquivo que contém os nomes de imagens a serem usados para testar.

Um exemplo deste diretório é mostrado em sample_dataset/ .

Para gerar o aus_openface.pkl , extraia cada unidade de ação de imagem com o OpenFace e armazene cada saída em um arquivo CSV o mesmo nome que a imagem. Em seguida, corra:

 python data/prepare_au_annotations.py

Correr

Para treinar:

 bash launch/run_train.sh

Para testar:

 python test --input_path path/to/img

Citação

Se você usar este código ou idéias do artigo para sua pesquisa, cite nosso artigo:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}