تم حل هذا العمل الآن محل: https://github.com/sniklaus/revisiting-sepconv
هذا هو التنفيذ المرجعي لاستيفاء إطار الفيديو عبر الالتفاف القابل للفصل [1] باستخدام Pytorch. بالنظر إلى إطارين ، سوف يستفيد من الالتفاف التكيفي [2] بطريقة قابلة للفصل لاستيفاء الإطار الوسيط. إذا كنت تستخدم عملنا ، يرجى الاستشهاد بالورقة [1].
للحصول على تعويض عن عملنا ، انظر: https://github.com/martkartasev/sepconv
وللتكيف الآخر ، ضع في اعتبارك: https://github.com/hyeongminlee/pytorch-sepconv
من أجل softmax platting ، يرجى الاطلاع على: https://github.com/sniklaus/softmax-splatting
يتم تنفيذ طبقة الالتواء القابلة للفصل في CUDA باستخدام Cupy ، وهذا هو السبب في أن Cupy هو التبعية المطلوبة. يمكن تثبيته باستخدام pip install cupy أو بدلاً من ذلك باستخدام إحدى الحزم الثنائية المقدمة كما هو موضح في المستودع الكأس.
إذا كنت تخطط لمعالجة مقاطع الفيديو ، فيرجى أيضًا التأكد من pip install moviepy .
لتشغيله على زوجك من الإطارات ، استخدم الأمر التالي. يمكنك إما تحديد طراز l1 أو lf ، يرجى الاطلاع على ورقتنا لمزيد من التفاصيل. باختصار ، يجب استخدام نموذج l1 للتقييمات الكمية ونموذج lf للمقارنات النوعية.
python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png
للتشغيل على مقطع فيديو ، استخدم الأمر التالي.
python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4
للحصول على معيار سريع باستخدام أمثلة من معيار Middlebury للتدفق البصري ، قم بتشغيل python benchmark.py . يمكنك استخدامه بسهولة للتحقق من أن التنفيذ المقدم يعمل كما هو متوقع.
التنفيذ المقدم هو بدقة للأغراض الأكاديمية فقط. إذا كنت مهتمًا باستخدام تقنيتنا لأي استخدام تجاري ، فلا تتردد في الاتصال بنا.
[1] @inproceedings{Niklaus_ICCV_2017,
author = {Simon Niklaus and Long Mai and Feng Liu},
title = {Video Frame Interpolation via Adaptive Separable Convolution},
booktitle = {IEEE International Conference on Computer Vision},
year = {2017}
}
[2] @inproceedings{Niklaus_CVPR_2017,
author = {Simon Niklaus and Long Mai and Feng Liu},
title = {Video Frame Interpolation via Adaptive Convolution},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
year = {2017}
}
تم دعم هذا العمل بواسطة NSF IIS-1321119. يستخدم الفيديو أعلاه المواد تحت ترخيص مشترك إبداعي أو بإذن من المالك ، كما هو مفصل في النهاية.