DenseDepth

転送学習による高品質の単眼深度推定（ARXIV 2018）

イブラヒーム・アルハシムとピーター・ウォンカ

[更新]パフォーマンスが向上した最新の方法は、Adabinsです。

オフカルケラス（Tensorflow）実装。ご質問がある場合、またはコードに関するさらにサポートが必要な場合は、最初の著者に連絡してください。

[更新]コラブノートブックを追加して、その場でメソッドを試しました。

[更新]実験的なTensorflow 2.0実装が追加されました。

[更新]実験的なPytorchコードが追加されました。

結果

• キティ

• NYU深度V2

要件

• このコードは、Keras 2.2.4、Tensorflow 1.13、Cuda 10.0を使用して、Windows 10またはUbuntu 16で実行されているNvidia Titan Vおよび16GB+ RAMを搭載したマシンでテストします。
• 他のパッケージには、モデルグラフの視覚化のためにkeras pillow matplotlib scikit-learn scikit-image opencv-python pydotおよびGraphViz必要でしPyGLM PySide2 pyopengl 。
• 推論でテストされた最小ハードウェアnvidia geforce 940mx（ラップトップ） / nvidia geforce gtx 950（デスクトップ）。
• トレーニングには、バッチサイズ8の単一Nvidia Titan RTXで約24時間かかります。

事前に訓練されたモデル

• NYU深度V2（165 MB）
• キッティ（165 MB）

デモ

• 事前に訓練されたモデル（NYU.H5）をダウンロードした後、 python test.py実行します。推定された深度マップを備えた画像のモンタージュが表示されます。
• [更新]ウェブカメラまたは画像からの3Dポイントクラウドを示すQTデモ。 python demo.pyを実行するだけです。パッケージPyGLM PySide2 pyopenglが必要です。

データ

• NYU深度V2（50K）（4.1 GB）：トレーニング時にコードがZIPファイル全体をメモリにロードするため、データセットを抽出する必要はありません。
• Kitti：RAWデータをパス '../kitti'でフォルダーにコピーします。私たちの方法では、密な入力深度マップが予想されるため、LIDARデータに深さの入力方法を実行する必要があります。実験には、NYU深度V2ツールボックスで提供されたMATLABコードのPython RemplmentAitonを使用しました。 80kの画像全体が、入力のために80ノードクラスターで2時間かかりました。トレーニングには、ここで定義されているサブセットを使用しました。
• Unreal-1K：近日公開。

トレーニング

• python train.py --data nyu --gpus 4 --bs 8 。

評価

• ダウンロードしますが、ここからグラウンドトゥルーステストデータを抽出しないでください（1.4 GB）。次に、単にpython evaluate.pyを実行します。

参照

引用する対応する論文：

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}