sepconv slomo

Ce travail a maintenant été remplacé par: https://github.com/sniklaus/revisiting-sepconv

sepconv-slomo

Il s'agit d'une implémentation de référence de l'interpolation du cadre vidéo via une convolution séparable adaptative [1] en utilisant pytorch. Compte tenu de deux images, il utilisera la convolution adaptative [2] de manière séparable pour interpoler le cadre intermédiaire. Si vous utilisez notre travail, veuillez citer notre papier [1].

Pour une réimpression de notre travail, voir: https://github.com/martkartasev/sepconv
Et pour une autre adaptation, considérez: https://github.com/hyeongminlee/pytorch-sepconv
Pour Softmax Splatting, veuillez consulter: https://github.com/sniklaus/softmax-splatting

installation

La couche de convolution séparable est mise en œuvre dans CUDA en utilisant Cupy, c'est pourquoi Cupy est une dépendance requise. Il peut être installé à l'aide pip install cupy ou alternativement à l'aide de l'un des packages binaires fournis comme indiqué dans le référentiel Cupy.

Si vous prévoyez de traiter les vidéos, veuillez également assurer que pip install moviepy installé.

usage

Pour l'exécuter sur votre propre paire de trames, utilisez la commande suivante. Vous pouvez sélectionner le modèle l1 ou lf , veuillez consulter notre article pour plus de détails. En bref, le modèle l1 doit être utilisé pour les évaluations quantitatives et le modèle lf pour les comparaisons qualitatives.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Pour exécuter une vidéo, utilisez la commande suivante.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Pour une référence rapide en utilisant des exemples de la référence Middlebury pour le flux optique, exécutez python benchmark.py . Vous pouvez l'utiliser pour vérifier facilement que l'implémentation fournie fonctionne comme prévu.

vidéo

licence

La mise en œuvre fournie est strictement uniquement à des fins académiques. Si vous êtes intéressé à utiliser notre technologie pour toute utilisation commerciale, n'hésitez pas à nous contacter.

références

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

reconnaissance

Ce travail a été soutenu par NSF IIS-1321119. La vidéo ci-dessus utilise des matériaux sous une licence commune créative ou avec la permission du propriétaire, comme détaillé à la fin.