DenseDepth

通过转移学习的高质量单眼估计（Arxiv 2018）

Ibraheem Alhashim和Peter Wonka

[更新]我们的最新方法可以在这里找到Adabins。

官方keras（TensorFlow）empentaiton。如果您有任何疑问或在代码方面需要更多帮助，请联系第一作者。

[更新]添加了一本COLAB笔记本，以尝试尝试该方法。

[更新]添加了实验Tensorflow 2.0实现。

[更新]添加了实验pytorch代码。

结果

• 基蒂

• NYU深度V2

要求

• 该代码在带有NVIDIA TITAN V和16GB+ RAM的机器上使用KERAS 2.2.4，TensorFlow 1.13，CUDA 10.0测试，在Windows 10或Ubuntu 16上运行。
• 其他包装需要keras pillow matplotlib scikit-learn scikit-image opencv-python pydot和GraphViz用于模型图可视化和GUI演示的PyGLM PySide2 pyopengl 。
• 在推理NVIDIA GEFORCE 940MX（笔记本电脑） / NVIDIA GEFORCE GTX 950（桌面）上测试的最小硬件。
• 培训大约需要24小时的NVIDIA TITAN RTX，其大小8。

预训练的模型

• NYU深度V2（165 MB）
• Kitti（165 MB）

演示

• 下载预培训模型（NYU.H5）后，运行python test.py您应该看到图像估计的深度图的蒙太奇。
• [更新] QT演示显示了网络摄像头或图像的3D点云。只需运行python demo.py即可。它需要包装PyGLM PySide2 pyopengl 。

数据

• NYU DEPTH V2（50K）（4.1 GB）：您不需要提取数据集，因为训练时代码将整个ZIP文件加载到内存中。
• KITTI：将原始数据复制到使用路径'../Kitti'的文件夹。我们的方法期望密集的输入深度图，因此，您需要在LiDAR数据上运行深度涂涂料方法。为了进行实验，我们使用了使用NYU Depth V2工具箱提供的MATLAB代码的Python重新放入。整个80k图像在80个节点群集上花费了2个小时才能进行介入。为了进行培训，我们使用了此处定义的子集。
• Unreal-1k：即将来临。

训练

• 运行python train.py --data nyu --gpus 4 --bs 8 。

评估

• 下载但不要提取地面真相测试数据（1.4 GB）。然后简单地运行python evaluate.py 。

参考

相应的论文引用：

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}