Startseite>Programmierbezogen>Python
Herunterladen

Siammaske

NEU: Jetzt beinhaltet Code für Training und Inferenz!

Dies ist die offizielle Implementierung mit Schulungscode für Siammask (CVPR2019). Für technische Details finden Sie unter:

Schnelle Online -Objektverfolgung und Segmentierung: Ein einheitlicher Ansatz
Qiang Wang*, Li Zhang*, Luca Bertinetto*, Weimering Hu, Philip HS Torr (*bezeichnet den gleichen Beitrag)
CVPR 2019
[Papier] [Video] [Projektseite]

Bibtex

Wenn Sie diesen Code nützlich finden, sollten Sie sich angeben: 

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

Inhalt

  1. Umgebungsaufbau
  2. Demo
  3. Testmodelle
  4. Trainingsmodelle

Umgebungsaufbau

Dieser Code wurde auf Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, CUDA 9.2, RTX 2080 GPUs getestet

  • Klonen Sie das Repository 
 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD
  • Setup Python -Umgebung 
 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh
  • Fügen Sie das Projekt zu Ihrem Pythonpath hinzu 
 export PYTHONPATH=$PWD:$PYTHONPATH

Demo

  • Richten Sie Ihre Umgebung ein
  • Laden Sie das Siammask -Modell herunter 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • Führen Sie demo.py aus 
 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

Testen

  • Richten Sie Ihre Umgebung ein
  • Testdaten herunterladen 
 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh
  • Laden Sie vor pressierte Modelle herunter 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • Die Leistung auf VOT bewerten 
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019
  • Bewerten Sie die Leistung auf Davis (weniger als 50er Jahre) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0
  • Bewerten Sie die Leistung auf YouTube-Vos (müssen Daten von der Website herunterladen). 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

Ergebnisse

Dies sind die Reproduktionsergebnisse aus diesem Repository. Alle Ergebnisse können von unserer Projektseite heruntergeladen werden.

Tracker VOT2016
Eao / a / r		 VOT2018
Eao / a / r		 Davis2016
J / f		 Davis2017
J / f		 YouTube-Vos
J_s / j_u / f_s / f_u		 Geschwindigkeit
Siammask-Box 0,412/0,623/0,233 0,363/0,584/0,300 - / - - / - - / - / - / - 77 fps
Siammaske 0,433 / 0,639 / 0,214 0,380 / 0,609 / 0,276 0,713 / 0,674 0,543 / 0,585 0,602 / 0,451 / 0,582 / 0,477 56 fps
Siammask-ld 0,455 / 0,634 / 0,219 0,423 / 0,615 / 0,248 - / - - / - - / - / - / - 56 fps

Notiz:

  • Die Geschwindigkeit wird an einem NVIDIA RTX 2080 getestet.
  • -box meldet einen Achsen-ausgerichteten Begrenzungsbox aus der Boxzweig.
  • -LD bedeutet Training mit großem Datensatz (YTB-BB+YTB-VOS+VID+COCO+DET).

Ausbildung

Trainingsdaten

  • Laden Sie die YouTube-Vos, Coco, ImageNet-Det und ImageNet-vid herunter.
  • Preprocess jede Datensätze gemäß den ReadMe -Dateien.

Laden Sie das vorgebildete Modell (174 MB) herunter

(Dieses Modell wurde auf dem ImageNet-1K-Datensatz trainiert) 

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

Trainingssiammask -Basismodell

  • Richten Sie Ihre Umgebung ein
  • Aus dem Experiment -Verzeichnis laufen 
 cd $SiamMask/experiments/siammask_base/
bash run.sh
  • Das Training dauert ungefähr 10 Stunden in unserem 4 Tesla V100 GPUs.
  • Wenn Sie außerdem fehlerhafte Fehler haben, können Sie die Chargengröße in run.sh reduzieren.
  • Sie können den Fortschritt auf Tensorboard anzeigen (Protokolle finden Sie bei <Experiment_dir>/logs/)
  • Nach dem Training können Sie Kontrollpunkte im VOT -Datensatz testen. 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs
  • Wählen Sie das beste Modell für die hyperparametrische Suche. 
 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

Training Siammask -Modell mit dem Verfeinerungsmodul

  • Richten Sie Ihre Umgebung ein
  • In der Experimentdatei mit dem besten Siammask -Basismodell trainieren 
 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth
  • Sie können den Fortschritt auf Tensorboard anzeigen (Protokolle finden Sie bei <Experiment_dir>/logs/)
  • Nach dem Training können Sie Kontrollpunkte im VOT -Datensatz testen 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Training SIAMRPN ++ Modell ( inoffiziell )

  • Richten Sie Ihre Umgebung ein
  • Aus dem Experiment -Verzeichnis laufen 
 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh
  • Sie können den Fortschritt auf Tensorboard anzeigen (Protokolle finden Sie bei <Experiment_dir>/logs/)
  • Nach dem Training können Sie Kontrollpunkte im VOT -Datensatz testen 
bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Lizenz

Lizenziert unter einer MIT -Lizenz.

Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle