DenseDepth

การประมาณค่าความลึกตาข้างเดียวที่มีคุณภาพสูงผ่านการเรียนรู้การถ่ายโอน (ARXIV 2018)

Ibraheem Alhashim และ Peter Wonka

[อัปเดต] วิธีการล่าสุดของเราที่มีประสิทธิภาพที่ดีขึ้นสามารถพบได้ที่นี่ Adabins

Offical Keras (Tensorflow) AdpnationaInon หากคุณมีคำถามใด ๆ หรือต้องการความช่วยเหลือเพิ่มเติมเกี่ยวกับรหัสติดต่อ ผู้เขียนคนแรก

[อัปเดต] เพิ่มสมุดบันทึก Colab เพื่อลองใช้วิธีการบินได้ทันที

[อัปเดต] เพิ่มการใช้งาน TensorFlow 2.0 Experimental

[อัปเดต] เพิ่มรหัส pytorch ทดลอง

ผลลัพธ์

• ลูกแมว

• NYU DEPTH V2

ความต้องการ

• รหัสนี้ได้รับการทดสอบด้วย Keras 2.2.4, Tensorflow 1.13, Cuda 10.0 บนเครื่องที่มี Nvidia Titan V และ 16GB+ RAM ทำงานบน Windows 10 หรือ Ubuntu 16
• แพ็คเกจอื่น ๆ จำเป็นต้องมี keras pillow matplotlib scikit-learn scikit-image opencv-python pydot และ GraphViz สำหรับการสร้างภาพกราฟแบบจำลองและ PyGLM PySide2 pyopengl สำหรับ DEMO GUI
• ฮาร์ดแวร์ขั้นต่ำที่ทดสอบสำหรับการอนุมาน Nvidia GeForce 940mx (แล็ปท็อป) / Nvidia GeForce GTX 950 (เดสก์ท็อป)
• การฝึกอบรมใช้เวลาประมาณ 24 ชั่วโมงสำหรับ Nvidia Titan RTX เดียวที่มีขนาดแบทช์ 8

รุ่นที่ผ่านการฝึกอบรมมาก่อน

• NYU DEPTH V2 (165 MB)
• Kitti (165 MB)

การสาธิต

• หลังจากดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมมาก่อน (NYU.H5) ให้เรียกใช้ python test.py คุณควรเห็นภาพตัดต่อภาพด้วยแผนที่ความลึกโดยประมาณ
• [อัปเดต] การสาธิต QT ที่แสดงเมฆจุด 3 มิติจากเว็บแคมหรือรูปภาพ เพียงเรียกใช้ python demo.py มันต้องใช้แพ็คเกจ PyGLM PySide2 pyopengl

ข้อมูล

• NYU DEPTH V2 (50K) (4.1 GB): คุณไม่จำเป็นต้องแยกชุดข้อมูลเนื่องจากรหัสโหลดไฟล์ ZIP ทั้งหมดลงในหน่วยความจำเมื่อฝึกอบรม
• Kitti: คัดลอกข้อมูลดิบไปยังโฟลเดอร์ที่มีเส้นทาง '../kitti' วิธีการของเราคาดว่าจะมีแผนที่ความลึกอินพุตหนาแน่นดังนั้นคุณต้องใช้วิธีการทาสีเชิงลึกบนข้อมูล LIDAR สำหรับการทดลองของเราเราใช้ Python re-implmenton ของรหัส MATLAB ที่มาพร้อมกับกล่องเครื่องมือ DEPTH V2 DEPTH NYU ภาพ 80K ทั้งหมดใช้เวลา 2 ชั่วโมงในคลัสเตอร์ 80 โหนดสำหรับการทาสี สำหรับการฝึกอบรมของเราเราใช้ชุดย่อยที่กำหนดไว้ที่นี่
• Unreal-1K: เร็ว ๆ นี้

การฝึกอบรม

• Run python train.py --data nyu --gpus 4 --bs 8

การประเมิน

• ดาวน์โหลด แต่อย่าแยกข้อมูลทดสอบความจริงภาคพื้นดินจากที่นี่ (1.4 GB) จากนั้นเพียงแค่เรียกใช้ python evaluate.py

อ้างอิง

กระดาษที่สอดคล้องกันเพื่ออ้างอิง:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}