SiamMask
1.0.0
새로운 : 이제 훈련 및 추론을위한 코드를 포함합니다!
이것은 Siammask (CVPR2019)에 대한 교육 코드를 사용한 공식 구현입니다. 기술적 인 자세한 내용은 다음을 참조하십시오.
빠른 온라인 객체 추적 및 분할 : 통일 접근법
Qiang Wang*, Li Zhang*, Luca Bertinetto*, Weiming Hu, Philip Hs Torr (*동등한 기여를 나타냅니다)
CVPR 2019
[종이] [비디오] [프로젝트 페이지]
이 코드가 유용하다고 생각하면 다음을 고려하십시오.
@inproceedings{wang2019fast,
title={Fast online object tracking and segmentation: A unifying approach},
author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
year={2019}
}
이 코드는 Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, Cuda 9.2, RTX 2080 GPU에서 테스트되었습니다.
git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD
conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh
export PYTHONPATH=$PWD:$PYTHONPATH
cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pthdemo.py 실행하십시오 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pthbash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0이것들은이 저장소의 재생산 결과입니다. 모든 결과는 프로젝트 페이지에서 다운로드 할 수 있습니다.
| 트래커 | Vot2016 eao / a / r | Vot2018 eao / a / r | DAVIS2016 J / F. | DAVIS2017 J / F. | YouTube-vos J_S / J_U / F_S / F_U | 속도 |
|---|---|---|---|---|---|---|
| 시암 마스크 박스 | 0.412/0.623/0.233 | 0.363/0.584/0.300 | - / - | - / - | - / - / - | 77 fps |
| 시암 마스크 | 0.433 / 0.639 / 0.214 | 0.380 / 0.609 / 0.276 | 0.713 / 0.674 | 0.543 / 0.585 | 0.602 / 0.451 / 0.582 / 0.477 | 56 fps |
| Siammask-Ld | 0.455 / 0.634 / 0.219 | 0.423 / 0.615 / 0.248 | - / - | - / - | - / - / - | 56 fps |
메모:
-box 박스 브랜치에서 축 정렬 된 경계 상자를보고합니다.-LD 큰 데이터 세트 (ytb-bb+ytb-vos+vid+coco+det)로 훈련을 의미합니다. (이 모델은 ImageNet-1K 데이터 세트에 대한 교육을 받았습니다)
cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}
cd $SiamMask/experiments/siammask_base/
bash run.sh
run.sh 에서 배치 크기를 줄일 수 있습니다.bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4 # test all snapshots with 4 GPUs # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh
bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4MIT 라이센스에 따라 라이센스가 부여됩니다.
