3d ken burns скачать - 3d ken burns Скачать исходный код

3d ken burns

Питон

1.0.0

Скачать

3D-кен-сжигания

Это эталонная реализация эффекта 3D Ken Burns с одного изображения [1] с использованием Pytorch. Учитывая одно входное изображение, он анимирует это все еще изображение с помощью виртуального сканирования камеры и Zoom, подверженного движению параллакса. Если вы используете нашу работу, пожалуйста, цитируйте нашу статью [1].

настраивать

Несколько функций выполняются в CUDA с использованием Cupy, поэтому Cupy является обязательной зависимостью. Он может быть установлен с помощью pip install cupy или альтернативно, используя один из предоставленных двоичных пакетов, как указано в репозитории Cupy. Пожалуйста, также убедитесь, что установлена переменная среды CUDA_HOME .

Чтобы сгенерировать результаты видео, пожалуйста, также убедитесь, что pip install moviepy .

Использование

Чтобы запустить его на изображении и создать эффект 3D Ken Burns полностью автоматически, используйте следующую команду.

 python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4

Чтобы запустить интерфейс, который позволяет вручную настраивать путь камеры, используйте следующую команду. Затем вы можете перейти к http://localhost:8080/ и загрузить изображение, используя кнопку в правом нижнем углу. Пожалуйста, будьте терпеливы при загрузке изображения и сохранении результата, происходит небольшая обработка фоновой обработки.

 python interface.py

Чтобы запустить оценку глубины, чтобы получить оценку необработанной глубины, используйте следующую команду. Обратите внимание, что этот сценарий не выполняет регулировку глубины, см. #22 для получения информации о том, как его добавить.

 python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy

Чтобы оценить оценку глубины, запустите python benchmark-ibims.py или python benchmark-nyu.py . Вы можете использовать его, чтобы легко проверить, что предоставленная реализация работает, как и ожидалось.

колаба

Если у вас нет подходящей среды для запуска этих проектов, вы можете попробовать Colab. Это позволяет вам запустить проект в облаке бесплатно. Есть несколько человек, которые предоставляют ноутбуки Colab, которые должны заставить вас начать. Некоторые из них, о которых я знаю, включают один от Арнальдо Габриэля, один от Влада Алекса и один от Ахмеда Хармоуча.

набор данных

Этот набор данных лицензирован в соответствии с Creative Commons Attribution-Noncommercial-Sharealike 4.0 Международная публичная лицензия (CC By-NC-SA 4.0) и может использоваться только для некоммерческих целей. Пожалуйста, смотрите файл лицензии для получения дополнительной информации.

сцена	режим	цвет	глубина	нормальный
asdf	летающий	3,7 ГБ	1,0 ГБ	2,9 ГБ
asdf	ходьба	3,6 ГБ	0,9 ГБ	2,7 ГБ
пустой	летающий	3,2 ГБ	1,0 ГБ	2,8 ГБ
пустой	ходьба	3,0 ГБ	0,9 ГБ	2,7 ГБ
холод	летающий	5,4 ГБ	1,1 ГБ	10,8 ГБ
холод	ходьба	5,2 ГБ	1,0 ГБ	10,5 ГБ
город	летающий	0,8 ГБ	0,2 ГБ	0,9 ГБ
город	ходьба	0,7 ГБ	0,2 ГБ	0,8 ГБ
среда	летающий	1,9 ГБ	0,5 ГБ	3,5 ГБ
среда	ходьба	1,8 ГБ	0,5 ГБ	3,3 ГБ
форт	летающий	5,0 ГБ	1,1 ГБ	9,2 ГБ
форт	ходьба	4,9 ГБ	1,1 ГБ	9,3 ГБ
трава	летающий	1,1 ГБ	0,2 ГБ	1,9 ГБ
трава	ходьба	1,1 ГБ	0,2 ГБ	1,6 ГБ
лед	летающий	1,2 ГБ	0,2 ГБ	2,1 ГБ
лед	ходьба	1,2 ГБ	0,2 ГБ	2,0 ГБ
рыцари	летающий	0,8 ГБ	0,2 ГБ	1,0 ГБ
рыцари	ходьба	0,8 ГБ	0,2 ГБ	0,9 ГБ
аванпост	летающий	4,8 ГБ	1,1 ГБ	7,9 ГБ
аванпост	ходьба	4,6 ГБ	1,0 ГБ	7,4 ГБ
Пираты	летающий	0,8 ГБ	0,2 ГБ	0,8 ГБ
Пираты	ходьба	0,7 ГБ	0,2 ГБ	0,8 ГБ
стрелок	летающий	0,9 ГБ	0,2 ГБ	1,1 ГБ
стрелок	ходьба	0,9 ГБ	0,2 ГБ	1,0 ГБ
магазины	летающий	0,2 ГБ	0,1 ГБ	0,2 ГБ
магазины	ходьба	0,2 ГБ	0,1 ГБ	0,2 ГБ
трущобы	летающий	0,5 ГБ	0,1 ГБ	0,8 ГБ
трущобы	ходьба	0,5 ГБ	0,1 ГБ	0,7 ГБ
метро	летающий	0,5 ГБ	0,1 ГБ	0,9 ГБ
метро	ходьба	0,5 ГБ	0,1 ГБ	0,9 ГБ
храм	летающий	1,7 ГБ	0,4 ГБ	3,1 ГБ
храм	ходьба	1,7 ГБ	0,3 ГБ	2,8 ГБ
Титан	летающий	6,2 ГБ	1,1 ГБ	11,5 ГБ
Титан	ходьба	6,0 ГБ	1,1 ГБ	11,3 ГБ
город	летающий	1,7 ГБ	0,3 ГБ	3,0 ГБ
город	ходьба	1,8 ГБ	0,3 ГБ	3,0 ГБ
подводный	летающий	5,4 ГБ	1,2 ГБ	12,1 ГБ
подводный	ходьба	5,1 ГБ	1,2 ГБ	11,4 ГБ
Викторианский	летающий	0,5 ГБ	0,1 ГБ	0,8 ГБ
Викторианский	ходьба	0,4 ГБ	0,1 ГБ	0,7 ГБ
деревня	летающий	1,6 ГБ	0,3 ГБ	2,8 ГБ
деревня	ходьба	1,6 ГБ	0,3 ГБ	2,7 ГБ
склад	летающий	0,9 ГБ	0,2 ГБ	1,5 ГБ
склад	ходьба	0,8 ГБ	0,2 ГБ	1,4 ГБ
западный	летающий	0,8 ГБ	0,2 ГБ	0,9 ГБ
западный	ходьба	0,7 ГБ	0,2 ГБ	0,8 ГБ

Обратите внимание, что это обновленная версия набора данных, которую мы использовали в нашей статье. Таким образом, хотя в общей сложности у него меньше сцен, каждый захват образца теперь имеет различное фокусное расстояние, что должно помочь с обобщением. Кроме того, некоторые примеры либо переоценены, либо недостаточно, и было бы неплохо удалить эти выбросы. Пожалуйста, смотрите #37, #39 и #40 для дополнительных дискуссий.

видео

лицензия

Это проект Adobe Research. Он имеет лицензию в соответствии с Creative Commons Attribution-Noncommercial-Sharealike 4.0 International Public Public License (CC BY-NC-SA 4.0) и может использоваться только для некоммерческих целей. Пожалуйста, смотрите файл лицензии для получения дополнительной информации.

ссылки

 [1]  @article{Niklaus_TOG_2019,
         author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
         title = {3D Ken Burns Effect from a Single Image},
         journal = {ACM Transactions on Graphics},
         volume = {38},
         number = {6},
         pages = {184:1--184:15},
         year = {2019}
     }