DenseDepth

Hochwertige Monokulartiefenschätzung durch Transferlernen (Arxiv 2018)

Ibraheem Alhashim und Peter Wonka

[Update] Unsere neueste Methode mit besserer Leistung finden Sie hier Adabins.

Offical Keras (TensorFlow) Implementaiton. Wenn Sie Fragen haben oder mehr Hilfe beim Code benötigen, wenden Sie sich an den Erstautor .

[Update] fügte ein Colab -Notizbuch hinzu, um die Methode im laufenden Fliegen auszuprobieren.

[Update] Experimentelle Tensorflow 2.0 -Implementierung hinzugefügt.

[Update] Experimenteller Pytorch -Code hinzugefügt.

Ergebnisse

• Kitti

• NYU Tiefe v2

Anforderungen

• Dieser Code wird mit Keras 2.2.4, TensorFlow 1.13, CUDA 10.0, auf einer Maschine mit einem Nvidia Titan V und 16 GB+ RAM getestet, das unter Windows 10 oder Ubuntu 16 ausgeführt wird.
• Andere Pakete benötigten keras pillow matplotlib scikit-learn scikit-image opencv-python pydot und GraphViz für die Modelldiagrammvisualisierung und PyGLM PySide2 pyopengl für die GUI-Demo.
• Minimale Hardware für Inferenz NVIDIA Geforce 940mx (Laptop) / Nvidia Geforce GTX 950 (Desktop).
• Das Training dauert ungefähr 24 Stunden bei einem einzelnen Nvidia Titan RTX mit Stapelgröße 8.

Vorausgebildete Modelle

• NYU Tiefe V2 (165 MB)
• Kitti (165 MB)

Demos

• Führen Sie nach dem Herunterladen des vorgebildeten Modells (NYU.H5) python test.py aus. Sie sollten eine Montage von Bildern mit ihren geschätzten Tiefenkarten sehen.
• [Update] Eine QT -Demo mit 3D -Punktwolken aus der Webcam oder einem Bild. Führen Sie einfach python demo.py aus. Es erfordert die Pakete PyGLM PySide2 pyopengl .

Daten

• NYU Tiefe V2 (50K) (4,1 GB): Sie müssen den Datensatz nicht extrahieren, da der Code beim Training die gesamte ZIP -Datei in Speicher lädt.
• Kitti: Kopieren Sie die Rohdaten in einen Ordner mit dem Pfad '../kitti'. Unsere Methode erwartet eine dichte Eingangstiefenkarten. Daher müssen Sie eine Tiefenbissmethode für die Lidar -Daten ausführen. Für unsere Experimente verwendeten wir unsere Python-Wiedereinstellung des Matlab-Codes mit der NYU-Tiefen-V2-Toolbox. Die gesamten 80 -km -Bilder dauerten 2 Stunden auf einem 80 -Knoten -Cluster zum Inpainting. Für unser Training haben wir die hier definierte Untergruppe verwendet.
• Unreal-1K: bald kommen.

Ausbildung

• Run python train.py --data nyu --gpus 4 --bs 8 .

Auswertung

• Download, aber nicht extrahieren, die Grundwahrheits -Testdaten von hier (1,4 GB). Dann führen Sie einfach python evaluate.py durch.

Referenz

Entsprechendes Papier zum Zitieren:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}