GANimation

Ганимация: Анатомически с учетом лицевой анимации из одного изображения

[Проект] [бумага]

Официальная реализация ганимации. В этой работе мы вводим новую схему кондиционирования GAN, основанную на аннотациях действий (AU), которые в непрерывном многообразителе описывают анатомические движения лица, определяющие человеческое выражение. Наш подход позволяет контролировать величину активации каждого АС и объединять несколько из них. Для получения дополнительной информации, пожалуйста, обратитесь к газете.

Этот кодекс был обнародован, чтобы поделиться нашим исследованием в интересах научного сообщества. Не используйте его в аморальных целях.

Предварительные условия

• Установить Pytorch (версия 0.3.1), видение Torch и зависимости от http://pytorch.org
• Установить требования pip install -r requirements.txt

Подготовка данных

Код требует каталога, содержащего следующие файлы:

• imgs/ : Папка со всеми изображением
• aus_openface.pkl : Словарь, содержащий единицы действия изображений.
• train_ids.csv : файл, содержащий имена изображений, которые будут использоваться для обучения.
• test_ids.csv : файл, содержащий имена изображений, которые будут использоваться для тестирования.

Пример этого каталога показан в sample_dataset/ .

Чтобы сгенерировать aus_openface.pkl Извлеките каждые элементы действия с помощью OpenFace и сохраните каждый вывод в файле CSV одинаковое имя, что и изображение. Затем беги:

 python data/prepare_au_annotations.py

Бегать

Тренировать:

 bash launch/run_train.sh

Чтобы проверить:

 python test --input_path path/to/img

Цитирование

Если вы используете этот код или идеи из статьи для исследования, пожалуйста, укажите нашу статью:

 @article{Pumarola_ijcv2019,
    title={GANimation: One-Shot Anatomically Consistent Facial Animation},
    author={A. Pumarola and A. Agudo and A.M. Martinez and A. Sanfeliu and F. Moreno-Noguer},
    booktitle={International Journal of Computer Vision (IJCV)},
    year={2019}
}