DenseDepth

Высококачественная оценка глубины монокулярной глубины посредством обучения передачи (ARXIV 2018)

Ибрагим Алхашим и Питер Вонка

[Обновление] Наш последний метод с лучшей производительностью можно найти здесь, Adabins.

Offical Keras (Tensorflow) infulaiton. Если у вас есть какие -либо вопросы или вам нужна дополнительная помощь с кодом, свяжитесь с первым автором .

[Обновление] добавила ноутбук Colab, чтобы попробовать метод на лету.

[Обновление] Экспериментальная реализация Tensorflow 2.0 добавлена.

[Обновление] Экспериментальный код питорха добавлена.

Результаты

• Китти

• NYU глубина V2

Требования

• Этот код тестируется с помощью Keras 2.2.4, Tensorflow 1.13, Cuda 10.0, на машине с Nvidia Titan V и 16GB+ RAM, работающим на Windows 10 или Ubuntu 16.
• Другие пакеты необходимы keras pillow matplotlib scikit-learn scikit-image opencv-python pydot и GraphViz для визуализации графа модели и PyGLM PySide2 pyopengl для демонстрации графического интерфейса.
• Минимальный аппаратный тестируется для вывода NVIDIA GEFORCE 940MX (ноутбук) / NVIDIA GEFORCE GTX 950 (настольный компьютер).
• Обучение занимает около 24 часов на одном Nvidia Titan RTX с размером партии 8.

Предварительно обученные модели

• Глубина NYU V2 (165 МБ)
• Китти (165 МБ)

Демо

• После загрузки предварительно обученной модели (NYU.H5) запустите python test.py Вы должны увидеть монтаж изображений с их расчетными картами глубины.
• [Обновление] демонстрация QT, показывающая трехмерные облака точек из веб -камеры или изображения. Просто запустите python demo.py Требуются пакеты PyGLM PySide2 pyopengl .

Данные

• Глубина NYU V2 (50K) (4,1 ГБ): вам не нужно извлекать набор данных, поскольку код загружает весь файл Zip в память при обучении.
• Китти: скопируйте необработанные данные в папку с путем '../kitti'. Наш метод ожидает плотных карт глубины ввода, поэтому вам необходимо запустить метод глубины внедрения на данные LIDAR. Для наших экспериментов мы использовали наш Python Reimplamentaiton кода MATLAB, предоставленного на инструментарию NYU Debin V2. Все 80 тыс. Изображения заняли 2 часа на 80 узлах для внедрения. Для нашего обучения мы использовали подмножество, определенное здесь.
• Unreal-1K: скоро появится.

Обучение

• Запустить python train.py --data nyu --gpus 4 --bs 8

Оценка

• Загрузите, но не извлекайте данные о тестировании истины отсюда (1,4 ГБ). Затем просто запустите python evaluate.py .

Ссылка

Соответствующая статья для цитирования:

 @article{Alhashim2018,
  author    = {Ibraheem Alhashim and Peter Wonka},
  title     = {High Quality Monocular Depth Estimation via Transfer Learning},
  journal   = {arXiv e-prints},
  volume    = {abs/1812.11941},
  year      = {2018},
  url       = {https://arxiv.org/abs/1812.11941},
  eid       = {arXiv:1812.11941},
  eprint    = {1812.11941}
}