sepconv slomo

Este trabalho foi substituído por: https://github.com/sniklaus/revisiting-sepconv

Sepconv-Slomo

Esta é uma implementação de referência da interpolação de quadros de vídeo por meio de convolução separável adaptável [1] usando Pytorch. Dado dois quadros, ele usará a convolução adaptativa [2] de maneira separável para interpolar o quadro intermediário. Se você estiver usando nosso trabalho, cite nosso artigo [1].

Para uma reimplenização do nosso trabalho, consulte: https://github.com/martkartasev/sepconv
E para outra adaptação, considere: https://github.com/hyeongminlee/pytorch-sepconv
Para Softmax Splating, consulte: https://github.com/sniklaus/softmax-splatting

configurar

A camada de convolução separável é implementada no CUDA usando Cupy, e é por isso que o Cupy é uma dependência necessária. Ele pode ser instalado usando pip install cupy ou, alternativamente, usando um dos pacotes binários fornecidos, conforme descrito no repositório Cupy.

Se você planeja processar vídeos, também certifique -se de que pip install moviepy instalado.

uso

Para executá -lo em seu próprio par de quadros, use o seguinte comando. Você pode selecionar o modelo l1 ou lf , consulte nosso papel para obter mais detalhes. Em resumo, o modelo l1 deve ser usado para avaliações quantitativas e o modelo lf para comparações qualitativas.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Para executar em um vídeo, use o seguinte comando.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Para uma rápida referência usando exemplos da referência de Middlebury para fluxo óptico, execute python benchmark.py . Você pode usá -lo para verificar facilmente se a implementação fornecida é executada conforme o esperado.

vídeo

licença

A implementação fornecida é estritamente apenas para fins acadêmicos. Se você estiver interessado em usar nossa tecnologia para qualquer uso comercial, não hesite em entrar em contato conosco.

Referências

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

reconhecimento

Este trabalho foi apoiado pelo NSF IIS-1321119. O vídeo acima usa materiais sob uma licença comum criativa ou com a permissão do proprietário, conforme detalhado no final.