sepconv slomo

Diese Arbeit wurde nun von: https://github.com/sniklaus/revisiting-sepconv ersetzt

Sepconv-Slomo

Dies ist eine Referenzimplementierung der Videorahmeninterpolation über adaptive trennbare Faltung [1] mit Pytorch. Bei zwei Frames wird die adaptive Faltung [2] auf eine trennbare Weise verwendet, um den Zwischenrahmen zu interpolieren. Sollten Sie unsere Arbeit verwenden, zitieren Sie bitte unser Papier [1].

Für eine Neuauflage unserer Arbeit finden Sie unter: https://github.com/martkartasev/sepconv
Und für eine weitere Anpassung beachten Sie: https://github.com/hyeongminlee/pytorch-sepconv
Für Softmax Splatting finden Sie unter: https://github.com/sniklaus/softmax-Splatting

aufstellen

Die trennbare Faltungsschicht wird in CUDA mit Cupy implementiert, weshalb Cupy eine erforderliche Abhängigkeit ist. Es kann mit pip install cupy oder alternativ mit einem der im Cupy -Repository beschriebenen Binärpakete installiert werden.

Wenn Sie Videos verarbeiten möchten, stellen Sie bitte auch sicher, dass pip install moviepy installiert.

Verwendung

Verwenden Sie den folgenden Befehl, um es auf Ihrem eigenen Framespaar auszuführen. Sie können entweder das l1 oder das lf -Modell auswählen. Weitere Informationen finden Sie in unserem Artikel. Kurz gesagt, das l1 -Modell sollte für quantitative Bewertungen und das lf -Modell für qualitative Vergleiche verwendet werden.

 python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

Verwenden Sie den folgenden Befehl, um in einem Video auszuführen.

 python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

Für einen schnellen Benchmark mit Beispielen aus dem Middlebury -Benchmark für den optischen Fluss führen Sie python benchmark.py aus. Sie können es verwenden, um zu überprüfen, ob die bereitgestellte Implementierung wie erwartet ausgeführt wird.

Video

Lizenz

Die bereitgestellte Umsetzung dient nur für akademische Zwecke. Sollten Sie daran interessiert sein, unsere Technologie für einen kommerziellen Gebrauch zu nutzen, können Sie uns gerne kontaktieren.

Referenzen

 [1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

 [2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

Anerkennung

Diese Arbeit wurde von NSF IIS-1321119 unterstützt. Das obige Video verwendet Materialien unter einer kreativen gemeinsamen Lizenz oder mit der Erlaubnis des Eigentümers, wie am Ende detailliert.