talking head anime demo
1.0.0
Вы можете захотеть проверить гораздо более способную версию 2 того же программного обеспечения: http://github.com/pkhungurn/talking-bee-anime-2-demo
Этот репозиторий содержит код для двух приложений, которые используют систему нейронной сети в аниме Talking Head из одного проекта изображения:
Если у вас нет необходимого оборудования (обсуждается ниже) или вы не хотите загружать код и настроить среду, чтобы запустить его, нажмите, чтобы попробовать запустить Poser в Google Colab.
Как и во многих современных проектах машинного обучения, написанных с Pytorch, этот фрагмент кода требует недавнего и мощного GPU Nvidia . Я лично запускаю код на GeForce GTX 1080 TI и Titan RTX.
Кроме того, инструмент Feppeter требует веб -камеры.
Если вы установите эти пакеты, вы должны быть хорошими.
Если вы используете Anaconda, у вас также есть возможность воссоздать среду Python, которую можно использовать для запуска демо. Откройте каталог оболочки и изменить корень проекта. Затем запустите следующую команду:
conda env create -f environment.yml
Это должно загрузить и установить все зависимости. Имейте в виду, однако, что это потребует нескольких гигабайт вашего хранилища. После того, как установка будет сделана, вы можете активировать новую среду со следующей командой:
conda activate talking-head-anime
Как только вы закончите с окружающей средой, вы можете отключить ее:
conda deactivate
После того, как вы клонируете это хранилище в хранилище вашей машины, вам нужно загрузить модели:
data в рамках корня проекта. Модели выпускаются отдельно с международной лицензией Creative Commons Attribution 4.0.shape_predictor_68_face_landmarks.dat и сохраните его в каталог data . Вы можете скачать архив Bzip отсюда. Не забудьте не распадать.После того, как загрузка будет выполнена, каталог данных должен выглядеть следующим образом:
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
Чтобы играть с демонстрацией, вы можете использовать 5 изображений, которые я включил в data/illust . Или вы можете приготовить некоторые изображения персонажа самостоятельно. Изображения, которые могут быть анимированы, должны удовлетворить следующие требования:
Для получения более подробной информации обратитесь к разделу 4 веб -сайта рецензии проекта. Вы должны сохранить все изображения в каталоге data/illust . Один хороший способ получить изображения символов - это генерировать его с лабораториями Waifu и отредактировать изображение в соответствии с вышеуказанными требованиями.
Изменить каталог в корневой каталог проекта. Чтобы запустить руководство Poser, выпустите следующую команду в своей оболочке:
python app/manual_poser.py
Чтобы запустить кукол, выпустите следующую команду в своей оболочке:
python app/puppeteer.py
Если ваша академическая работа получает выгоду от кода в этом хранилище, пожалуйста, укажите веб -страницу проекта следующим образом:
Прамук Хунгурн. Говорящий аниме из одного изображения. http://pkhungurn.github.io/talking anime/, 2019. Доступ: Yyyy-mm-dd.
Вы также можете использовать следующую запись Bibtex:
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
Хотя автор является сотрудником Google Japan, это программное обеспечение не является продуктом Google и не поддерживается Google.
Авторское право этого программного обеспечения принадлежит мне, так как я просил его с помощью процесса IARC. Тем не менее, одно из условий выпуска этого исходного кода заключается в том, что публикация «говорящего аниме головы из одного изображения» была одобрена с помощью процесса одобрения внутренней публикации. Я запросил одобрение 2019/11/17. Он был рассмотрен исследователем, но не был официально одобрен менеджером в моей области продукта (Google Maps). Я решил выпустить этот код, неся все риски, которые он может понести.
Я использовал код трекера лица, реализованный Кванхуа Ли для реализации инструмента кукловода.
