Ultra Fast Lane Detection

Ультрастрабильное обнаружение

Реализация Pytorch бумаги «Ультра быстрое расстройство глубокого переулка».

[18 июля 2022 г.] Обновления: новая версия нашего метода была принята TPAMI 2022. Код доступен здесь .

[28 июня 2021 г.] Обновления: мы выпустим расширенную версию, которая улучшит 6,3 балла F1 на кулане с помощью основания Resnet-18 по сравнению с версией ECCV.

Обновления: наша статья была принята ECCV2020.

Код оценки модифицируется из SCNN и Tusimple Benchmark.

Модель Caffe и Prototxt можно найти здесь.

Демо

Установить

Пожалуйста, смотрите install.md

Начните

Прежде всего, пожалуйста, измените data_root и log_path в вашей configs/culane.py или configs/tusimple.py в соответствии с вашей средой.

• data_root - это путь вашего набора данных CUNANE или набора данных TUSIMPLE.
• log_path - это то, где хранятся журналы Tensorboard, обученные модели и резервное копирование кода. Это должно быть размещено за пределами этого проекта.

---

Для обучения отдельности графического процессора, беги

python train.py configs/path_to_your_config

Для обучения мульти-GPU, запустить

sh launch_training.sh

или

python -m torch.distributed.launch --nproc_per_node= $NGPUS train.py configs/path_to_your_config

Если нет предварительной модели TOCHVISION, обучение мульти-GPU может привести к многократной загрузке. Сначала вы можете загрузить соответствующие модели вручную, а затем перезапустить обучение с несколькими GPU.

Поскольку наш код имеет функцию автоматического резервного копирования, которая будет копировать все коды в log_path в соответствии с Gitignore, дополнительный временный файл также может быть скопирован, если он не будет отфильтрован Gitignore, что может заблокировать выполнение, если временные файлы велики. Таким образом, вы должны сохранить рабочий каталог в чистоте.

---

Помимо настроек стиля конфигурации, мы также поддерживаем командную строку. Вы можете переопределить настройку, как

python train.py configs/path_to_your_config --batch_size 8

batch_size будет установлен на 8 во время обучения.

---

Чтобы визуализировать журнал с помощью Tensorboard, запустите

tensorboard --logdir log_path --bind_all

Обученные модели

Мы предоставляем две обученные модели RES-18 на Culane и Tusimple.

Набор данных	Метрическая бумага	Метрика этого репо	AVG FPS на GTX 1080TI	Модель
Тусимпл	95,87	95,82	306	Googledrive/Baidudrive (код: BGHD)
Кулан	68.4	69,7	324	Googledrive/Baidudrive (код: W9TW)

Для оценки, запустите

mkdir tmp
# This a bad example, you should put the temp files outside the project.

python test.py configs/culane.py --test_model path_to_culane_18.pth --test_work_dir ./tmp

python test.py configs/tusimple.py --test_model path_to_tusimple_18.pth --test_work_dir ./tmp

То же самое, что и обучение, также поддерживается оценка с несколькими GPU.

Визуализация

Мы предоставляем сценарий для визуализации результатов обнаружения. Запустите следующие команды, чтобы визуализировать набор тестирования Culane и Tusimple.

python demo.py configs/culane.py --test_model path_to_culane_18.pth
# or
python demo.py configs/tusimple.py --test_model path_to_tusimple_18.pth

Поскольку набор тестирования Tusimple не заказан, визуализированное видео может выглядеть плохо, и мы не рекомендуем это делать.

Скорость

Чтобы проверить время выполнения, пожалуйста, запустите

python speed_simple.py  
# this will test the speed with a simple protocol and requires no additional dependencies

python speed_real.py
# this will test the speed with real video or camera input

Он будет зацикливаться на 100 раз и рассчитывать среднее время выполнения и FPS в вашей среде.

Цитирование

 @InProceedings { qin2020ultra ,
author = { Qin, Zequn and Wang, Huanyu and Li, Xi } ,
title = { Ultra Fast Structure-aware Deep Lane Detection } ,
booktitle = { The European Conference on Computer Vision (ECCV) } ,
year = { 2020 }
}

@ARTICLE { qin2022ultrav2 ,
  author = { Qin, Zequn and Zhang, Pengyi and Li, Xi } ,
  journal = { IEEE Transactions on Pattern Analysis and Machine Intelligence } , 
  title = { Ultra Fast Deep Lane Detection With Hybrid Anchor Driven Ordinal Classification } , 
  year = { 2022 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-14 } ,
  doi = { 10.1109/TPAMI.2022.3182097 }
}

Спасибо

Спасибо Zchrissirhcz за вклад в инструмент компиляции Culane, Kopisoftware за участие в тесте на скорость и USTCLBH для тестирования на платформе Windows.