DenseDepth

تقدير عمق أحادي الجودة عالي الجودة عن طريق التعلم النقل (ARXIV 2018)

إبراهيم الوشيم وبيتر ونكا

[تحديث] يمكن العثور على أحدث طريقة لدينا مع أداء أفضل هنا Adabins.

keras offical (TensorFlow) APPLICATION. إذا كان لديك أي أسئلة أو تحتاج إلى مزيد من المساعدة في الرمز ، فاتصل بالمؤلف الأول .

[تحديث] أضاف دفتر كولاب لتجربة الطريقة الموجودة على الطيران.

[تحديث] تم إضافة تطبيق TensorFlow 2.0 التجريبي.

[تحديث] تم إضافة رمز Pytorch التجريبي.

نتائج

• كيتي

• عمق جامعة نيويورك V2

متطلبات

• يتم اختبار هذا الرمز باستخدام Keras 2.2.4 ، TensorFlow 1.13 ، CUDA 10.0 ، على جهاز مع NVIDIA TITAN V و 16GB+ RAM يعمل على Windows 10 أو Ubuntu 16.
• الحزم الأخرى اللازمة keras pillow matplotlib scikit-learn scikit-image opencv-python pydot و GraphViz لتصور الرسم البياني النموذجي و PyGLM PySide2 pyopengl لعرض واجهة المستخدم الرسومية.
• الحد الأدنى للأجهزة التي تم اختبارها على الاستدلال NVIDIA GeForce 940MX (الكمبيوتر المحمول) / NVIDIA GEFORCE GTX 950 (سطح المكتب).
• يستغرق التدريب حوالي 24 ساعة على NVIDIA TITAN RTX واحد مع حجم الدُفعة 8.

نماذج مدربة مسبقا

• عمق جامعة نيويورك (165 ميغابايت)
• كيتي (165 ميغابايت)

العروض التوضيحية

• بعد تنزيل النموذج الذي تم تدريبه مسبقًا (NYU.H5) ، قم بتشغيل python test.py يجب أن ترى مونتاج الصور مع خرائط العمق المقدرة.
• [تحديث] عرض تجريبي QT يعرض السحب ثلاثية الأبعاد من كاميرا الويب أو صورة. ببساطة تشغيل python demo.py يتطلب حزم PyGLM PySide2 pyopengl .

بيانات

• عمق NYU V2 (50k) (4.1 جيجابايت): لا تحتاج إلى استخراج مجموعة البيانات لأن الكود يقوم بتحميل ملف zip بالكامل في الذاكرة عند التدريب.
• Kitti: انسخ البيانات الأولية إلى مجلد مع المسار "../kitti". تتوقع طريقتنا خرائط عمق إدخال كثيفة ، لذلك ، تحتاج إلى تشغيل طريقة inpainting عمق على بيانات LIDAR. لتجاربنا ، استخدمنا إعادة بناء Python الخاصة بنا من رمز MATLAB المقدم مع صندوق أدوات NYU Depth V2. استغرقت الصور 80K بأكملها ساعتين على مجموعة العقد 80 من أجل inpainting. لتدريبنا ، استخدمنا المجموعة الفرعية المحددة هنا.
• unreal-1k: قريبا.

تمرين

• Run python train.py --data nyu --gpus 4 --bs 8 .

تقييم

• قم بتنزيل ، ولكن لا تستخرج ، بيانات اختبار الحقيقة الأرضية من هنا (1.4 جيجابايت). ثم ببساطة تشغيل python evaluate.py .

مرجع

الورق المقابل للاستشهاد:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}