sepconv slomo

Pekerjaan ini sekarang telah digantikan oleh: https://github.com/sniklaus/revisiting-sepconv

Sepconv-slomo

Ini adalah implementasi referensi interpolasi bingkai video melalui konvolusi terpisah adaptif [1] menggunakan pytorch. Diberi dua frame, itu akan menggunakan konvolusi adaptif [2] dengan cara yang dapat dipisahkan untuk menginterpolasi bingkai perantara. Jika Anda memanfaatkan pekerjaan kami, silakan kutip kertas kami [1].

Untuk reimplemntation dari pekerjaan kami, lihat: https://github.com/martkartasev/sepconv
Dan untuk adaptasi lain, pertimbangkan: https://github.com/hyeongminlee/pytorch-sepconv
Untuk Softmax Slatting, silakan lihat: https://github.com/sniklaus/softmax-splatting

Pengaturan

Lapisan konvolusi yang dapat dipisahkan diimplementasikan di CUDA menggunakan Cupy, itulah sebabnya Cupy adalah ketergantungan yang diperlukan. Ini dapat diinstal menggunakan pip install cupy atau sebagai alternatif menggunakan salah satu paket biner yang disediakan sebagaimana diuraikan dalam repositori cupy.

Jika Anda berencana untuk memproses video, maka silakan juga pastikan pip install moviepy .

penggunaan

Untuk menjalankannya pada bingkai Anda sendiri, gunakan perintah berikut. Anda dapat memilih model l1 atau lf , silakan lihat makalah kami untuk lebih jelasnya. Singkatnya, model l1 harus digunakan untuk evaluasi kuantitatif dan model lf untuk perbandingan kualitatif.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Untuk menjalankan video, gunakan perintah berikut.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Untuk tolok ukur cepat menggunakan contoh dari tolok ukur Middlebury untuk aliran optik, jalankan python benchmark.py . Anda dapat menggunakannya untuk dengan mudah memverifikasi bahwa implementasi yang disediakan berjalan seperti yang diharapkan.

video

lisensi

Implementasi yang disediakan hanya untuk tujuan akademik saja. Jika Anda tertarik menggunakan teknologi kami untuk penggunaan komersial apa pun, jangan ragu untuk menghubungi kami.

referensi

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

pengakuan

Pekerjaan ini didukung oleh NSF IIS-1321119. Video di atas menggunakan materi di bawah lisensi umum yang kreatif atau dengan izin pemilik, sebagaimana dirinci pada akhirnya.