sepconv slomo

Este trabajo ha sido reemplazado por: https://github.com/sniklaus/revisiting-sepconv

sepconv-slomo

Esta es una implementación de referencia de la interpolación del marco de video a través de una convolución separable adaptativa [1] usando Pytorch. Dados dos cuadros, utilizará la convolución adaptativa [2] de manera separable para interpolar el marco intermedio. Si está haciendo uso de nuestro trabajo, por favor cita nuestro documento [1].

Para una reimplemntación de nuestro trabajo, consulte: https://github.com/martkartasev/sepconv
Y para otra adaptación, considere: https://github.com/hyeongminlee/pytorch-sepconv
Para Softmax Splatting, consulte: https://github.com/sniklaus/softmax-splatting

configuración

La capa de convolución separable se implementa en CUDA usando Cupy, por lo que Cupy es una dependencia requerida. Se puede instalar utilizando pip install cupy o alternativamente utilizando uno de los paquetes binarios proporcionados como se describe en el repositorio de Cupy.

Si planea procesar videos, también asegúrese de que pip install moviepy instalado.

uso

Para ejecutarlo en su propio par de marcos, use el siguiente comando. Puede seleccionar el modelo l1 o lf , consulte nuestro artículo para obtener más detalles. En resumen, el modelo l1 debe usarse para evaluaciones cuantitativas y el modelo lf para comparaciones cualitativas.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Para ejecutar un video, use el siguiente comando.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Para un punto de referencia rápido utilizando ejemplos del punto de referencia de Middlebury para el flujo óptico, ejecute python benchmark.py . Puede usarlo para verificar fácilmente que la implementación proporcionada se ejecuta como se esperaba.

video

licencia

La implementación proporcionada es estrictamente solo para fines académicos. Si está interesado en usar nuestra tecnología para cualquier uso comercial, no dude en contactarnos.

referencias

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

reconocimiento

Este trabajo fue apoyado por NSF IIS-1321119. El video anterior utiliza materiales bajo una licencia común creativa o con el permiso del propietario, como se detalla al final.