DenseDepth

Estimasi Kedalaman Monokular Berkualitas Tinggi melalui Transfer Learning (ARXIV 2018)

Ibraheem Alhashim dan Peter Wonka

[UPDATE] Metode terbaru kami dengan kinerja yang lebih baik dapat ditemukan di sini Adabins.

Offical Keras (TensorFlow) Implementasi. Jika Anda memiliki pertanyaan atau membutuhkan lebih banyak bantuan dengan kode, hubungi penulis pertama .

[UPDATE] Menambahkan notebook Colab untuk mencoba metode dengan cepat.

[Pembaruan] Implementasi TensorFlow 2.0 Eksperimental ditambahkan.

[UPDATE] Kode Pytorch eksperimental ditambahkan.

Hasil

• Kitti

• NYU Depth V2

Persyaratan

• Kode ini diuji dengan Keras 2.2.4, TensorFlow 1.13, CUDA 10.0, pada mesin dengan NVIDIA Titan V dan 16GB+ RAM berjalan di Windows 10 atau Ubuntu 16.
• Paket lain yang dibutuhkan keras pillow matplotlib scikit-learn scikit-image opencv-python pydot dan GraphViz untuk visualisasi grafik model dan PyGLM PySide2 pyopengl untuk demo GUI.
• Perangkat keras minimum diuji untuk inferensi NVIDIA GEFORCE 940MX (LAPTOP) / NVIDIA GEFORCE GTX 950 (Desktop).
• Pelatihan membutuhkan waktu sekitar 24 jam dengan satu NVIDIA Titan RTX dengan ukuran batch 8.

Model pra-terlatih

• NYU Depth V2 (165 MB)
• Kitti (165 MB)

Demo

• Setelah mengunduh model pra-terlatih (NYU.H5), jalankan python test.py Anda harus melihat montase gambar dengan perkiraan peta kedalaman mereka.
• [Perbarui] Demo QT yang menunjukkan awan titik 3D dari webcam atau gambar. Cukup jalankan python demo.py Ini membutuhkan paket PyGLM PySide2 pyopengl .

Data

• NYU Depth V2 (50K) (4.1 GB): Anda tidak perlu mengekstrak dataset karena kode memuat seluruh file zip ke dalam memori saat pelatihan.
• Kitti: Salin data mentah ke folder dengan jalur '../kitti'. Metode kami mengharapkan peta kedalaman input yang padat, oleh karena itu, Anda perlu menjalankan metode inpaining kedalaman pada data LIDAR. Untuk eksperimen kami, kami menggunakan Python Re-Implmentaiton dari Kode MATLAB yang disediakan dengan NYU kedalaman V2 Toolbox. Seluruh gambar 80K memakan waktu 2 jam pada cluster 80 node untuk masuk. Untuk pelatihan kami, kami menggunakan subset yang ditentukan di sini.
• Unreal-1k: Segera hadir.

Pelatihan

• Jalankan python train.py --data nyu --gpus 4 --bs 8 .

Evaluasi

• Unduh, tetapi jangan mengekstrak, data uji kebenaran tanah dari sini (1,4 GB). Kemudian cukup jalankan python evaluate.py .

Referensi

Kertas yang sesuai untuk mengutip:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}