الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

Siammask

جديد: الآن بما في ذلك رمز لكل من التدريب والاستدلال!

هذا هو التنفيذ الرسمي مع قانون التدريب لـ Siammask (CVPR2019). للحصول على التفاصيل الفنية ، يرجى الرجوع إلى:

تتبع الكائنات السريعة وتجزئتها سريعة عبر الإنترنت: نهج موحد
Qiang Wang*، Li Zhang*، Luca Bertinetto*، Weiming Hu ، Philip HS Torr (*يشير إلى مساهمة متساوية)
CVPR 2019
[ورقة] [فيديو] [صفحة المشروع]

bibtex

إذا وجدت هذا الرمز مفيدًا ، فيرجى التفكير في: 

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

محتويات

  1. إعداد البيئة
  2. العرض التوضيحي
  3. نماذج الاختبار
  4. نماذج التدريب

إعداد البيئة

تم اختبار هذا الرمز على Ubuntu 16.04 ، Python 3.6 ، Pytorch 0.4.1 ، Cuda 9.2 ، RTX 2080 GPUS

  • استنساخ المستودع 
 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD
  • الإعداد بيئة بيثون 
 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh
  • أضف المشروع إلى Pythonpath الخاص بك 
 export PYTHONPATH=$PWD:$PYTHONPATH

العرض التوضيحي

  • قم بإعداد بيئتك
  • قم بتنزيل نموذج Siammask 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • تشغيل demo.py 
 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

الاختبار

  • قم بإعداد بيئتك
  • تنزيل بيانات الاختبار 
 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh
  • تنزيل النماذج المسبق 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • تقييم الأداء على VOT 
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019
  • تقييم الأداء على ديفيس (أقل من 50s) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0
  • تقييم الأداء على YouTube-VOS (بحاجة إلى تنزيل بيانات من موقع الويب) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

نتائج

هذه هي نتائج التكاثر من هذا المستودع. يمكن تنزيل جميع النتائج من صفحة مشروعنا.

تعقب VOT2016
EAO / A / R		 VOT2018
EAO / A / R		 Davis2016
ي / و		 Davis2017
ي / و		 يوتيوب-فوس
j_s / j_u / f_s / f_u		 سرعة
Siammask-box 0.412/0.623/0.233 0.363/0.584/0.300 - / - - / - - / - / - / - 77 إطارًا في الثانية
Siammask 0.433 / 0.639 / 0.214 0.380 / 0.609 / 0.276 0.713 / 0.674 0.543 / 0.585 0.602 / 0.451 / 0.582 / 0.477 56 إطارًا في الثانية
Siammask-ld 0.455 / 0.634 / 0.219 0.423 / 0.615 / 0.248 - / - - / - - / - / - / - 56 إطارًا في الثانية

ملحوظة:

  • يتم اختبار السرعة على NVIDIA RTX 2080.
  • -box تقارير مربع محاذاة محاذاة المحور من فرع الصندوق.
  • -LD تعني التدريب مع مجموعة بيانات كبيرة (YTB-BB+YTB-VOS+VID+COCO+DET).

تمرين

بيانات التدريب

  • قم بتنزيل Youtube-Vos و Coco و ImageNet-Det و ImageNet-Vid.
  • المعالجة المسبقة لكل مجموعات بيانات وفقًا لملفات README.

قم بتنزيل النموذج الذي تم تدريبه مسبقًا (174 ميغابايت)

(تم تدريب هذا النموذج على مجموعة بيانات ImageNet-1K) 

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

تدريب نموذج قاعدة Siammask

  • قم بإعداد بيئتك
  • من دليل التجربة ، قم بتشغيل 
 cd $SiamMask/experiments/siammask_base/
bash run.sh
  • يستغرق التدريب حوالي 10 ساعات في وحدات معالجة الرسومات 4 Tesla V100.
  • إذا واجهت أخطاء خارج الذاكرة ، فيمكنك تقليل حجم الدُفعة في run.sh
  • يمكنك عرض التقدم على Tensorboard (السجلات موجودة في <rexperior_dir>/logs/)
  • بعد التدريب ، يمكنك اختبار نقاط التفتيش على مجموعة بيانات التصويت. 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs
  • حدد أفضل نموذج للبحث فرطميترية. 
 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

نموذج تدريب Siammask مع وحدة الصقل

  • قم بإعداد بيئتك
  • في ملف التجربة ، قم بالتدريب مع أفضل نموذج قاعدة Siammask 
 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth
  • يمكنك عرض التقدم على Tensorboard (السجلات موجودة في <rexperior_dir>/logs/)
  • بعد التدريب ، يمكنك اختبار نقاط التفتيش على مجموعة بيانات التصويت 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

نموذج تدريب Siamrpn ++ ( غير رسمي )

  • قم بإعداد بيئتك
  • من دليل التجربة ، قم بتشغيل 
 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh
  • يمكنك عرض التقدم على Tensorboard (السجلات موجودة في <rexperior_dir>/logs/)
  • بعد التدريب ، يمكنك اختبار نقاط التفتيش على مجموعة بيانات التصويت 
bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

رخصة

مرخصة بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل