งานนี้ได้รับการแทนที่โดย: https://github.com/sniklaus/revisiting-sepconv
นี่คือการใช้งานอ้างอิงของการแก้ไขเฟรมวิดีโอผ่านการปรับเปลี่ยนแบบปรับได้ [1] โดยใช้ pytorch ให้สองเฟรมมันจะใช้ประโยชน์จากการปรับตัวแบบปรับตัว [2] ในลักษณะที่แยกกันไม่ออกเพื่อแทรกเฟรมกลาง หากคุณใช้ประโยชน์จากงานของเราโปรดอ้างอิงกระดาษของเรา [1]
สำหรับงานของเรา reimplemntation ดู: https://github.com/martkartasev/sepconv
และสำหรับการปรับตัวอื่นให้พิจารณา: https://github.com/hyeongminlee/pytorch-sepconv
สำหรับการแยก softmax โปรดดู: https://github.com/sniklaus/softmax-splatting
เลเยอร์ convolution ที่แยกได้ถูกนำมาใช้ใน CUDA โดยใช้ Cupy ซึ่งเป็นสาเหตุที่ Cupy เป็นแบบพึ่งพาที่จำเป็น สามารถติดตั้งได้โดยใช้ pip install cupy หรือใช้หนึ่งในแพ็คเกจไบนารีที่ให้ไว้ตามที่ระบุไว้ในที่เก็บถ้วย
หากคุณวางแผนที่จะประมวลผลวิดีโอโปรดตรวจสอบให้แน่ใจว่าได้ติดตั้ง pip install moviepy
หากต้องการเรียกใช้กับเฟรมคู่ของคุณเองให้ใช้คำสั่งต่อไปนี้ คุณสามารถเลือกรุ่น l1 หรือ lf ได้โปรดดูเอกสารของเราสำหรับรายละเอียดเพิ่มเติม ในระยะสั้นควรใช้โมเดล l1 สำหรับการประเมินเชิงปริมาณและแบบจำลอง lf สำหรับการเปรียบเทียบเชิงคุณภาพ
python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png
หากต้องการเรียกใช้ในวิดีโอให้ใช้คำสั่งต่อไปนี้
python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4
สำหรับเกณฑ์มาตรฐานอย่างรวดเร็วโดยใช้ตัวอย่างจากเกณฑ์มาตรฐาน Middlebury สำหรับการไหลของแสงให้เรียกใช้ python benchmark.py คุณสามารถใช้เพื่อตรวจสอบได้อย่างง่ายดายว่าการใช้งานที่ให้นั้นทำงานตามที่คาดไว้
การดำเนินการที่ให้ไว้นั้นมีวัตถุประสงค์ทางวิชาการอย่างเคร่งครัดเท่านั้น หากคุณสนใจที่จะใช้เทคโนโลยีของเราสำหรับการใช้งานเชิงพาณิชย์โปรดติดต่อเรา
[1] @inproceedings{Niklaus_ICCV_2017,
author = {Simon Niklaus and Long Mai and Feng Liu},
title = {Video Frame Interpolation via Adaptive Separable Convolution},
booktitle = {IEEE International Conference on Computer Vision},
year = {2017}
}
[2] @inproceedings{Niklaus_CVPR_2017,
author = {Simon Niklaus and Long Mai and Feng Liu},
title = {Video Frame Interpolation via Adaptive Convolution},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
year = {2017}
}
งานนี้ได้รับการสนับสนุนโดย NSF IIS-1321119 วิดีโอด้านบนใช้วัสดุภายใต้ใบอนุญาตทั่วไปที่สร้างสรรค์หรือได้รับอนุญาตจากเจ้าของตามรายละเอียดในตอนท้าย