DenseDepth

Estimativa de profundidade monocular de alta qualidade via Learning de Transferência (ARXIV 2018)

Ibraheem Alhashim e Peter Wonka

[Atualizar] Nosso método mais recente com melhor desempenho pode ser encontrado aqui Adabins.

Keras OFCICAL (Tensorflow) implementaiton. Se você tiver alguma dúvida ou precisar de mais ajuda com o código, entre em contato com o primeiro autor .

[Update] Adicionou um notebook Colab para experimentar o método em tempo real.

[ATUALIZAÇÃO] Implementação experimental de tensorflow 2.0 adicionada.

[Atualização] Código Pytorch experimental adicionado.

Resultados

• Kitti

• NYU profundidade v2

Requisitos

• Este código é testado com o Keras 2.2.4, Tensorflow 1.13, CUDA 10.0, em uma máquina com um NVIDIA Titan V e 16 GB+ RAM em execução no Windows 10 ou Ubuntu 16.
• Outros pacotes necessários para keras pillow matplotlib scikit-learn scikit-image opencv-python pydot e GraphViz para a visualização de gráficos de modelo e PyGLM PySide2 pyopengl para a demonstração da GUI.
• Hardware mínimo testado para inferência NVIDIA GeForce 940MX (laptop) / nvidia geForce GTX 950 (Desktop).
• O treinamento leva cerca de 24 horas em um único NVIDIA Titan RTX com tamanho 8 em lote.

Modelos pré-treinados

• NYU profundidade v2 (165 MB)
• Kitti (165 MB)

Demos

• Depois de baixar o modelo pré-treinado (NYU.H5), execute python test.py Você deve ver uma montagem de imagens com seus mapas de profundidade estimados.
• [ATUALIZAÇÃO] Uma demonstração QT mostrando nuvens de ponto 3D da webcam ou uma imagem. Simplesmente execute python demo.py Requer os pacotes PyGLM PySide2 pyopengl .

Dados

• NYU profundidade v2 (50k) (4,1 GB): você não precisa extrair o conjunto de dados, pois o código carrega todo o arquivo zip na memória ao treinar.
• Kitti: copie os dados brutos para uma pasta com o caminho '../kitti'. Nosso método espera mapas densos de profundidade de entrada, portanto, você precisa executar um método de pintura de profundidade nos dados do LIDAR. Para nossos experimentos, usamos nossa reimpliação de Python do código MATLAB fornecido com a caixa de ferramentas NYU Depth V2. Todas as imagens de 80k levaram 2 horas em um cluster de 80 nós para pintar. Para nosso treinamento, usamos o subconjunto definido aqui.
• Unreal-1k: Em breve.

Treinamento

• Run python train.py --data nyu --gpus 4 --bs 8 .

Avaliação

• Faça o download, mas não extraia, os dados do teste de verdade daqui (1,4 GB). Em seguida, basta executar python evaluate.py .

Referência

Papel correspondente para citar:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}