DenseDepth

전송 학습을 통한 고품질 단안 깊이 추정 (ARXIV 2018)

Ibraheem Alhashim과 Peter Wonka

[업데이트] 더 나은 성능을 가진 최신 방법은 Adabins에서 찾을 수 있습니다.

오프전한 keras (Tensorflow) 구현. 궁금한 점이 있거나 코드에 대한 도움이 필요한 경우 첫 번째 저자 에게 문의하십시오.

[업데이트] 는 Colab 노트북을 추가하여 방법을 즉시 시도했습니다.

[업데이트] 실험적인 텐서 플로우 2.0 구현이 추가되었습니다.

[업데이트] 실험적 pytorch 코드가 추가되었습니다.

결과

• 키티

• NYU 깊이 v2

요구 사항

• 이 코드는 NVIDIA TITAN V 및 16GB+ RAM이 Windows 10 또는 Ubuntu 16에서 실행되는 기계에서 Keras 2.2.4, Tensorflow 1.13, Cuda 10.0으로 테스트됩니다.
• 다른 패키지에는 keras pillow matplotlib scikit-learn scikit-image opencv-python pydot 및 GUI 데모를위한 모델 그래프 시각화 및 PyGLM PySide2 pyopengl 용 GraphViz 필요했습니다.
• 추론 NVIDIA GEFORCE 940MX (노트북) / NVIDIA GEFORCE GTX 950 (데스크탑)에 대한 최소 하드웨어 테스트.
• 배치 크기 8의 단일 Nvidia Titan RTX에서 훈련은 약 24 시간이 걸립니다.

미리 훈련 된 모델

• NYU 깊이 V2 (165MB)
• 키티 (165MB)

시민

• 미리 훈련 된 모델 (nyu.h5)을 다운로드 한 후 python test.py 실행하십시오. 예상 깊이 맵이있는 이미지 몽타주를 볼 수 있습니다.
• [업데이트] 웹캠이나 이미지에서 3D 포인트 클라우드를 보여주는 QT 데모. python demo.py 실행합니다. 패키지 PyGLM PySide2 pyopengl 필요합니다.

데이터

• NYU 깊이 v2 (50k) (4.1 GB) : 코드가 훈련 할 때 전체 zip 파일을 메모리에로드하므로 데이터 세트를 추출 할 필요가 없습니다.
• Kitti : 원시 데이터를 경로와 함께 폴더에 복사하십시오. 우리의 방법은 조밀 한 입력 깊이 맵을 기대하므로 LIDAR 데이터에서 깊이 수입 방법을 실행해야합니다. 실험을 위해 NYU 깊이 V2 도구 상자와 함께 제공되는 MATLAB 코드의 Python Reimplmentaiton을 사용했습니다. 전체 80k 이미지는 80 노드 클러스터에서 2 시간이 걸렸습니다. 훈련을 위해 여기에 정의 된 서브 세트를 사용했습니다.
• Unreal-1K : 곧 출시됩니다.

훈련

• python train.py --data nyu --gpus 4 --bs 8 실행하십시오.

평가

• 여기에서 Ground Truth 테스트 데이터를 다운로드하지만 추출하지 마십시오. 그런 다음 python evaluate.py 실행하십시오.

참조

인용 할 해당 논문 :

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}