3d ken burns

3D-ken-burns

هذا هو التنفيذ المرجعي لتأثير 3D Ken Burns من صورة واحدة [1] باستخدام Pytorch. بالنظر إلى صورة إدخال واحدة ، فإنه يشبه هذه الصورة الثابتة مع فحص الكاميرا الافتراضية والتكبير خاضعًا لمظاهر الحركة. إذا كنت تستخدم عملنا ، يرجى الاستشهاد بالورقة [1].

يثبت

يتم تنفيذ العديد من الوظائف في CUDA باستخدام CUPY ، وهذا هو السبب في أن CUPY هو التبعية المطلوبة. يمكن تثبيته باستخدام pip install cupy أو بدلاً من ذلك باستخدام إحدى الحزم الثنائية المقدمة كما هو موضح في المستودع الكأس. يرجى أيضًا التأكد من تكوين متغير بيئة CUDA_HOME .

من أجل إنشاء نتائج الفيديو ، يرجى أيضًا التأكد من pip install moviepy .

الاستخدام

لتشغيلها على صورة وإنشاء تأثير 3D Ken Burns تلقائيًا بالكامل ، استخدم الأمر التالي.

 python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4

لبدء الواجهة التي تتيح لك ضبط مسار الكاميرا يدويًا ، استخدم الأمر التالي. يمكنك بعد ذلك الانتقال إلى http://localhost:8080/ وتحميل صورة باستخدام الزر الموجود في الزاوية اليمنى السفلية. يرجى التحلي بالصبر عند تحميل صورة وحفظ النتيجة ، هناك القليل من معالجة الخلفية.

 python interface.py

لتشغيل تقدير العمق للحصول على تقدير العمق الخام ، استخدم الأمر التالي. يرجى ملاحظة أن هذا البرنامج النصي لا يؤدي تعديل العمق ، راجع رقم 22 للحصول على معلومات حول كيفية إضافته.

 python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy

لقياس تقدير العمق ، قم بتشغيل python benchmark-ibims.py أو python benchmark-nyu.py . يمكنك استخدامه بسهولة للتحقق من أن التنفيذ المقدم يعمل كما هو متوقع.

كولاب

إذا لم يكن لديك بيئة مناسبة لتشغيل هذه المشاريع ، فيمكنك تجربة كولاب. يتيح لك تشغيل المشروع في السحابة ، مجانًا. هناك العديد من الأشخاص الذين يقدمون دفاتر كولاب التي يجب أن تبدأ. من بين القلة التي أدركها واحدة من أرنالدو غابرييل ، وواحد من فلاد أليكس ، وواحد من أحمد هارمش.

مجموعة البيانات

تم ترخيص مجموعة البيانات هذه بموجب الترخيص العمومي الدولي 4.0 الدولي (CC BY-NC-SA 4.0) (CC BY-NC-SA 4.0) ويمكن استخدامه فقط للأغراض غير التجارية. يرجى الاطلاع على ملف الترخيص لمزيد من المعلومات.

مشهد	وضع	لون	عمق	طبيعي
ASDF	الطيران	3.7 غيغابايت	1.0 غيغابايت	2.9 جيجابايت
ASDF	المشي	3.6 جيجابايت	0.9 غيغابايت	2.7 غيغابايت
فارغ	الطيران	3.2 غيغابايت	1.0 غيغابايت	2.8 غيغابايت
فارغ	المشي	3.0 غيغابايت	0.9 غيغابايت	2.7 غيغابايت
برد	الطيران	5.4 غيغابايت	1.1 غيغابايت	10.8 غيغابايت
برد	المشي	5.2 جيجابايت	1.0 غيغابايت	10.5 غيغابايت
مدينة	الطيران	0.8 غيغابايت	0.2 غيغابايت	0.9 غيغابايت
مدينة	المشي	0.7 غيغابايت	0.2 غيغابايت	0.8 غيغابايت
بيئة	الطيران	1.9 غيغابايت	0.5 غيغابايت	3.5 غيغابايت
بيئة	المشي	1.8 غيغابايت	0.5 غيغابايت	3.3 جيجابايت
الحصن	الطيران	5.0 غيغابايت	1.1 غيغابايت	9.2 غيغابايت
الحصن	المشي	4.9 جيجابايت	1.1 غيغابايت	9.3 غيغابايت
عشب	الطيران	1.1 غيغابايت	0.2 غيغابايت	1.9 غيغابايت
عشب	المشي	1.1 غيغابايت	0.2 غيغابايت	1.6 جيجابايت
الجليد	الطيران	1.2 جيجابايت	0.2 غيغابايت	2.1 غيغابايت
الجليد	المشي	1.2 جيجابايت	0.2 غيغابايت	2.0 غيغابايت
فرسان	الطيران	0.8 غيغابايت	0.2 غيغابايت	1.0 غيغابايت
فرسان	المشي	0.8 غيغابايت	0.2 غيغابايت	0.9 غيغابايت
البؤرة الاستيطانية	الطيران	4.8 جيجابايت	1.1 غيغابايت	7.9 جيجابايت
البؤرة الاستيطانية	المشي	4.6 جيجابايت	1.0 غيغابايت	7.4 غيغابايت
القراصنة	الطيران	0.8 غيغابايت	0.2 غيغابايت	0.8 غيغابايت
القراصنة	المشي	0.7 غيغابايت	0.2 غيغابايت	0.8 غيغابايت
مطلق النار	الطيران	0.9 غيغابايت	0.2 غيغابايت	1.1 غيغابايت
مطلق النار	المشي	0.9 غيغابايت	0.2 غيغابايت	1.0 غيغابايت
المتاجر	الطيران	0.2 غيغابايت	0.1 غيغابايت	0.2 غيغابايت
المتاجر	المشي	0.2 غيغابايت	0.1 غيغابايت	0.2 غيغابايت
الأحياء الفقيرة	الطيران	0.5 غيغابايت	0.1 غيغابايت	0.8 غيغابايت
الأحياء الفقيرة	المشي	0.5 غيغابايت	0.1 غيغابايت	0.7 غيغابايت
مترو	الطيران	0.5 غيغابايت	0.1 غيغابايت	0.9 غيغابايت
مترو	المشي	0.5 غيغابايت	0.1 غيغابايت	0.9 غيغابايت
معبد	الطيران	1.7 غيغابايت	0.4 غيغابايت	3.1 غيغابايت
معبد	المشي	1.7 غيغابايت	0.3 غيغابايت	2.8 غيغابايت
تيتان	الطيران	6.2 غيغابايت	1.1 غيغابايت	11.5 غيغابايت
تيتان	المشي	6.0 غيغابايت	1.1 غيغابايت	11.3 غيغابايت
بلدة	الطيران	1.7 غيغابايت	0.3 غيغابايت	3.0 غيغابايت
بلدة	المشي	1.8 غيغابايت	0.3 غيغابايت	3.0 غيغابايت
أنقاذه	الطيران	5.4 غيغابايت	1.2 جيجابايت	12.1 غيغابايت
أنقاذه	المشي	5.1 غيغابايت	1.2 جيجابايت	11.4 غيغابايت
الفيكتوري	الطيران	0.5 غيغابايت	0.1 غيغابايت	0.8 غيغابايت
الفيكتوري	المشي	0.4 غيغابايت	0.1 غيغابايت	0.7 غيغابايت
قرية	الطيران	1.6 جيجابايت	0.3 غيغابايت	2.8 غيغابايت
قرية	المشي	1.6 جيجابايت	0.3 غيغابايت	2.7 غيغابايت
مستودع	الطيران	0.9 غيغابايت	0.2 غيغابايت	1.5 غيغابايت
مستودع	المشي	0.8 غيغابايت	0.2 غيغابايت	1.4 غيغابايت
الغربي	الطيران	0.8 غيغابايت	0.2 غيغابايت	0.9 غيغابايت
الغربي	المشي	0.7 غيغابايت	0.2 غيغابايت	0.8 غيغابايت

يرجى ملاحظة أن هذا إصدار محدث من مجموعة البيانات التي استخدمناها في ورقتنا. لذا ، على الرغم من أنه يحتوي على عدد أقل من المشاهد في المجموع ، إلا أن كل عينة من التقاط العينة لديها الآن طول بؤري متفاوت والذي يجب أن يساعد في التعميم. علاوة على ذلك ، تكون بعض الأمثلة إما أكثر من أو غير معرضة وسيكون من الجيد إزالة هذه القيم المتطرفة. يرجى الاطلاع على #37 و #39 و #40 للمناقشات التكميلية.

فيديو

رخصة

هذا مشروع من Adobe Research. وهي مرخصة بموجب الترخيص الدولي الدولي 4.0 الدولي (CC BY-NC-SA 4.0) (CC BY-NC-SA 4.0) ويمكن استخدامها فقط لأغراض غير تجارية. يرجى الاطلاع على ملف الترخيص لمزيد من المعلومات.

مراجع

 [1]  @article{Niklaus_TOG_2019,
         author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
         title = {3D Ken Burns Effect from a Single Image},
         journal = {ACM Transactions on Graphics},
         volume = {38},
         number = {6},
         pages = {184:1--184:15},
         year = {2019}
     }

شكر وتقدير

يستخدم الفيديو أعلاه المواد تحت ترخيص مشترك إبداعي أو بإذن من المالك ، كما هو مفصل في النهاية.