SiamMask

Siammask

Новое: теперь включая код как для обучения, так и для вывода!

Это официальная реализация с кодом обучения для Siammask (CVPR2019). Для получения технических данных, пожалуйста, см.

Быстрое отслеживание и сегментацию объектов онлайн: объединяющий подход
Qiang Wang*, Li Zhang*, Luca Bertinetto*, Weiming Hu, Philip HS Torr (*обозначает равный вклад)
CVPR 2019
[Paper] [Видео] [страница проекта]

Бибтекс

Если вы найдете этот код полезным, пожалуйста, рассмотрите возможность ссылаться:

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

Содержимое

1. Настройка среды
2. Демо
3. Тестирование моделей
4. Тренировочные модели

Настройка среды

Этот код был протестирован на Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, CUDA 9.2, RTX 2080 GPU

• Клонировать репозиторий

 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD

• Установка среды Python

 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh

• Добавьте проект в свой PythonPath

 export PYTHONPATH=$PWD:$PYTHONPATH

Демо

• Установите окружающую среду
• Скачать модель Siammask

 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• Запустить demo.py

 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

Тестирование

• Установите окружающую среду
• Загрузите тестовые данные

 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh

• Загрузите предварительные модели

 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• Оценить эффективность на голосе

bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019

• Оценить эффективность на Дэвисе (менее 50 лет)

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0

• Оценить производительность на YouTube-VOS (нужны данные загрузки с веб-сайта)

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

Результаты

Это результаты воспроизведения этого хранилища. Все результаты могут быть загружены со нашей страницы проекта.

Трекер	VOT2016 Eao / a / r	VOT2018 Eao / a / r	Davis2016 J / f	Davis2017 J / f	YouTube-VOS J_s / j_u / f_s / f_u	Скорость
Siammask-Box	0,412/0,623/0,233	0,363/0,584/0,300	- / -	- / -	- / - / - / -	77 кадров в секунду
Siammask	0,433 / 0,639 / 0,214	0,380 / 0,609 / 0,276	0,713 / 0,674	0,543 / 0,585	0,602 / 0,451 / 0,582 / 0,477	56 кадров в секунду
Siammask-Ld	0,455 / 0,634 / 0,219	0,423 / 0,615 / 0,248	- / -	- / -	- / - / - / -	56 кадров в секунду

Примечание:

• Скорость проверена на NVIDIA RTX 2080.
• -box сообщает о приостановленной оси, ограничивающей коробке из ветви коробки.
• -LD означает обучение с большим набором данных (YTB-BB+YTB-VOS+VID+COCO+DET).

Обучение

Данные обучения

• Загрузите YouTube-VOS, Coco, ImageNet-Det и ImageNet-Vid.
• Предварительно обрабатывать каждый наборы данных в соответствии с файлами readme.

Загрузите предварительно обученную модель (174 МБ)

(Эта модель была обучена набору данных ImageNet-1K)

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

Обучение базовой модели Siammask

• Установите окружающую среду
• Из каталога экспериментов запустите

 cd $SiamMask/experiments/siammask_base/
bash run.sh

• Обучение занимает около 10 часов в наших 4 графических процессорах Tesla V100.
• Если вы испытываете ошибки вне памяти, вы можете уменьшить размер партии в run.sh
• Вы можете просмотреть прогресс на Tensorboard (журналы находятся по адресу <Eperiment_DIR>/logs/)
• После обучения вы можете проверить контрольно -пропускные пункты в наборе данных VOT.

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs

• Выберите лучшую модель для гиперпараметрического поиска.

 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

Обучение модели Siammask с модулем уточнения

• Установите окружающую среду
• В файле эксперимента тренируйтесь с лучшей базовой моделью Siammask

 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth

• Вы можете просмотреть прогресс на Tensorboard (журналы находятся по адресу <Eperiment_DIR>/logs/)
• После обучения вы можете проверить контрольно -пропускные пункты в наборе данных VOT

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Обучение модели siamrpn ++ ( неофициальная )

• Установите окружающую среду
• Из каталога экспериментов запустите

 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh

• Вы можете просмотреть прогресс на Tensorboard (журналы находятся по адресу <Eperiment_DIR>/logs/)
• После обучения вы можете проверить контрольно -пропускные пункты в наборе данных VOT

bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Лицензия

Лицензирован по лицензии MIT.