หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

Siammask

ใหม่: ตอนนี้รวมถึงรหัสสำหรับทั้งการฝึกอบรมและการอนุมาน!

นี่คือการใช้งานอย่างเป็นทางการพร้อมรหัส ฝึกอบรม สำหรับ Siammask (CVPR2019) สำหรับรายละเอียดทางเทคนิคโปรดดู:

การติดตามและแบ่งส่วนวัตถุออนไลน์อย่างรวดเร็ว: วิธีการรวมเป็นหนึ่งเดียว
Qiang Wang*, Li Zhang*, Luca Bertinetto*, Weiming Hu, Philip HS Torr (*หมายถึงการมีส่วนร่วมที่เท่าเทียมกัน)
CVPR 2019
[กระดาษ] [วิดีโอ] [หน้าโครงการ]

bibtex

หากคุณพบว่ารหัสนี้มีประโยชน์โปรดพิจารณาอ้าง: 

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

สารบัญ

  1. การตั้งค่าสภาพแวดล้อม
  2. การสาธิต
  3. รูปแบบการทดสอบ
  4. รูปแบบการฝึกอบรม

การตั้งค่าสภาพแวดล้อม

รหัสนี้ได้รับการทดสอบใน Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, Cuda 9.2, RTX 2080 GPUS

  • โคลนที่เก็บ 
 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD
  • การตั้งค่า Python Environment 
 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh
  • เพิ่มโครงการลงใน Pythonpath ของคุณ 
 export PYTHONPATH=$PWD:$PYTHONPATH

การสาธิต

  • ตั้งค่าสภาพแวดล้อมของคุณ
  • ดาวน์โหลดรุ่น Siammask 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • เรียกใช้ demo.py 
 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

การทดสอบ

  • ตั้งค่าสภาพแวดล้อมของคุณ
  • ดาวน์โหลดข้อมูลทดสอบ 
 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh
  • ดาวน์โหลดนางแบบ pretrained 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • ประเมินผลการลงคะแนนเสียง 
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019
  • ประเมินประสิทธิภาพของเดวิส (น้อยกว่า 50s) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0
  • ประเมินประสิทธิภาพบน YouTube-Vos (ต้องการข้อมูลดาวน์โหลดจากเว็บไซต์) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

ผลลัพธ์

นี่คือผลการสืบพันธุ์จากที่เก็บนี้ ผลลัพธ์ทั้งหมดสามารถดาวน์โหลดได้จากหน้าโครงการของเรา

ผู้ติดตาม VOT2016
EAO / A / R		 VOT2018
EAO / A / R		 Davis2016
J / F		 Davis2017
J / F		 youtube-vos
j_s / j_u / f_s / f_u		 ความเร็ว
Siammask-Box 0.412/0.623/0.233 0.363/0.584/0.300 - - - 77 fps
Siammask 0.433 / 0.639 / 0.214 0.380 / 0.609 / 0.276 0.713 / 0.674 0.543 / 0.585 0.602 / 0.451 / 0.582 / 0.477 56 fps
Siammask-ld 0.455 / 0.634 / 0.219 0.423 / 0.615 / 0.248 - - - 56 fps

บันทึก:

  • ความเร็วจะถูกทดสอบบน Nvidia RTX 2080
  • -box รายงานกล่องขอบเขตที่จัดแนวแกนจากสาขากล่อง
  • -LD หมายถึงการฝึกอบรมด้วยชุดข้อมูลขนาดใหญ่ (YTB-BB+YTB-VOS+VID+COCO+DET)

การฝึกอบรม

ข้อมูลการฝึกอบรม

  • ดาวน์โหลด YouTube-Vos, Coco, Imagenet-Det และ Imagenet-Vid
  • ประมวลผลล่วงหน้าแต่ละชุดข้อมูลตามไฟล์ README

ดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมมาก่อน (174 MB)

(รุ่นนี้ได้รับการฝึกฝนในชุดข้อมูล Imagenet-1K) 

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

รูปแบบการฝึกอบรม Siammask Base

  • ตั้งค่าสภาพแวดล้อมของคุณ
  • จากไดเรกทอรีการทดลอง Run 
 cd $SiamMask/experiments/siammask_base/
bash run.sh
  • การฝึกอบรมใช้เวลาประมาณ 10 ชั่วโมงใน 4 Tesla V100 GPU ของเรา
  • หากคุณพบข้อผิดพลาดนอกหน่วยความจำคุณสามารถลดขนาดแบทช์ใน run.sh
  • คุณสามารถดูความคืบหน้าบน Tensorboard (บันทึกอยู่ที่ <Experiment_dir>/logs/)
  • หลังการฝึกอบรมคุณสามารถทดสอบจุดตรวจสอบในชุดข้อมูล VOT 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs
  • เลือกรุ่นที่ดีที่สุดสำหรับการค้นหา hyperparametric 
 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

โมเดลการฝึกอบรม Siammask ด้วยโมดูล Refine

  • ตั้งค่าสภาพแวดล้อมของคุณ
  • ในไฟล์การทดลองฝึกอบรมด้วยรุ่นฐาน Siammask ที่ดีที่สุด 
 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth
  • คุณสามารถดูความคืบหน้าบน Tensorboard (บันทึกอยู่ที่ <Experiment_dir>/logs/)
  • หลังการฝึกอบรมคุณสามารถทดสอบจุดตรวจสอบในชุดข้อมูล VOT 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

โมเดลการฝึกอบรม Siamrpn ++ ( ไม่เป็นทางการ )

  • ตั้งค่าสภาพแวดล้อมของคุณ
  • จากไดเรกทอรีการทดลอง Run 
 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh
  • คุณสามารถดูความคืบหน้าบน Tensorboard (บันทึกอยู่ที่ <Experiment_dir>/logs/)
  • หลังการฝึกอบรมคุณสามารถทดสอบจุดตรวจสอบในชุดข้อมูล VOT 
bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

ใบอนุญาต

ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด