GANimation

ganimation : 단일 이미지의 해부학 적으로 인식 된 얼굴 애니메이션

[프로젝트] [종이]

ganimation의 공식 구현. 이 연구에서 우리는 행동 단위 (AU) 주석을 기반으로 한 새로운 GAN 컨디셔닝 방식을 소개하는데, 이는 인간의 표현을 정의하는 연속적인 매니 폴드에서 해부학 적 안면 움직임을 설명합니다. 우리의 접근 방식은 각 AU의 활성화 크기를 제어하고 그 중 여러 개를 결합 할 수 있습니다. 자세한 내용은 논문을 참조하십시오.

이 코드는 과학계의 이익을 위해 우리의 연구를 공유하기 위해 공개되었습니다. 부도덕 한 목적으로 사용하지 마십시오.

전제 조건

• http://pytorch.org에서 Pytorch (버전 0.3.1), 토치 비전 및 종속성을 설치하십시오.
• 요구 사항 설치 .txt ( pip install -r requirements.txt )

데이터 준비

코드에는 다음 파일이 포함 된 디렉토리가 필요합니다.

• imgs/ : 모든 이미지가있는 폴더
• aus_openface.pkl : 이미지 동작 단위를 포함하는 사전.
• train_ids.csv : 훈련에 사용할 이미지 이름이 포함 된 파일.
• test_ids.csv : 테스트에 사용할 이미지 이름이 포함 된 파일.

이 디렉토리의 예는 sample_dataset/ 에 나와 있습니다.

aus_openface.pkl 생성하려면 Openface가있는 각 이미지 작업 장치를 추출하고 각 출력을 CSV 파일에 이미지와 동일한 이름으로 저장하십시오. 그런 다음 실행 :

 python data/prepare_au_annotations.py

달리다

훈련 :

 bash launch/run_train.sh

테스트하려면 :

 python test --input_path path/to/img

소환

연구를 위해이 코드 나 논문의 아이디어를 사용하는 경우, 우리 논문을 인용하십시오.

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}