DenseDepth

通過轉移學習的高質量單眼估計（Arxiv 2018）

Ibraheem Alhashim和Peter Wonka

[更新]我們的最新方法可以在這裡找到Adabins。

官方keras（TensorFlow）empentaiton。如果您有任何疑問或在代碼方面需要更多幫助，請聯繫第一作者。

[更新]添加了一本COLAB筆記本，以嘗試嘗試該方法。

[更新]添加了實驗Tensorflow 2.0實現。

[更新]添加了實驗pytorch代碼。

結果

• 基蒂

• NYU深度V2

要求

• 該代碼在帶有NVIDIA TITAN V和16GB+ RAM的機器上使用KERAS 2.2.4，TensorFlow 1.13，CUDA 10.0測試，在Windows 10或Ubuntu 16上運行。
• 其他包裝需要keras pillow matplotlib scikit-learn scikit-image opencv-python pydot和GraphViz用於模型圖可視化和GUI演示的PyGLM PySide2 pyopengl 。
• 在推理NVIDIA GEFORCE 940MX（筆記本電腦） / NVIDIA GEFORCE GTX 950（桌面）上測試的最小硬件。
• 培訓大約需要24小時的NVIDIA TITAN RTX，其大小8。

預訓練的模型

• NYU深度V2（165 MB）
• Kitti（165 MB）

演示

• 下載預培訓模型（NYU.H5）後，運行python test.py您應該看到圖像估計的深度圖的蒙太奇。
• [更新] QT演示顯示了網絡攝像頭或圖像的3D點雲。只需運行python demo.py即可。它需要包裝PyGLM PySide2 pyopengl 。

數據

• NYU DEPTH V2（50K）（4.1 GB）：您不需要提取數據集，因為訓練時代碼將整個ZIP文件加載到內存中。
• KITTI：將原始數據複製到使用路徑'../Kitti'的文件夾。我們的方法期望密集的輸入深度圖，因此，您需要在LiDAR數據上運行深度塗塗料方法。為了進行實驗，我們使用了使用NYU Depth V2工具箱提供的MATLAB代碼的Python重新放入。整個80k圖像在80個節點群集上花費了2個小時才能進行介入。為了進行培訓，我們使用了此處定義的子集。
• Unreal-1k：即將來臨。

訓練

• 運行python train.py --data nyu --gpus 4 --bs 8 。

評估

• 下載但不要提取地面真相測試數據（1.4 GB）。然後簡單地運行python evaluate.py 。

參考

相應的論文引用：

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}