sepconv slomo

Эта работа была заменена: https://github.com/sniklaus/revisiting-sepconv

SepConv-Slomo

Это эталонная реализация интерполяции видео кадров посредством адаптивной отдельной свертываемости [1] с использованием Pytorch. Учитывая две кадры, он будет использовать адаптивную свертку [2] отделимым образом для интерполяции промежуточной рамки. Если вы используете нашу работу, пожалуйста, цитируйте нашу статью [1].

Для повторной компенсации нашей работы см.
И для другой адаптации, рассмотрите: https://github.com/hyeongminlee/pytorch-sepconv
Для разбрызгивания Softmax, пожалуйста, смотрите: https://github.com/sniklaus/softmax-splatting

настраивать

Разделимый слой свертки реализован в CUDA с использованием Cupy, поэтому Cupy является обязательной зависимостью. Он может быть установлен с помощью pip install cupy или альтернативно, используя один из предоставленных двоичных пакетов, как указано в репозитории Cupy.

Если вы планируете обработать видео, то, пожалуйста, также убедитесь, что pip install moviepy .

Использование

Чтобы запустить его на своей паре кадров, используйте следующую команду. Вы можете выбрать l1 или модель lf , пожалуйста, обратитесь к нашей статье для получения более подробной информации. Короче говоря, модель l1 должна использоваться для количественных оценок и модели lf для качественных сравнений.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Чтобы запуститься на видео, используйте следующую команду.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Для быстрого эталона, используя примеры из эталона Мидлбери для оптического потока, запустите python benchmark.py . Вы можете использовать его, чтобы легко проверить, что предоставленная реализация работает, как и ожидалось.

видео

лицензия

Предоставленная реализация является строго только для академических целей. Если вы заинтересованы в использовании нашей технологии для любого коммерческого использования, пожалуйста, свяжитесь с нами.

ссылки

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

подтверждение

Эта работа была поддержана NSF IIS-1321119. В видео выше используются материалы по творческой общей лицензии или с разрешения владельца, как подробно описано в конце.