Page d'accueil>Lié à la programmation>Python
Télécharger

Thermask

NOUVEAU: Maintenant, y compris le code pour la formation et l'inférence!

Il s'agit de l'implémentation officielle avec le code de formation pour Siammask (CVPR2019). Pour plus de détails techniques, veuillez vous référer à:

Suivi et segmentation d'objets en ligne rapide: une approche unificatrice
Qiang Wang *, Li Zhang *, Luca Bertinetto *, Weiming Hu, Philip HS Torr (* indique une contribution égale)
CVPR 2019
[Paper] [VIDEO] [PAGE DE PROJET]

Bibtex

Si vous trouvez ce code utile, veuillez envisager de citer: 

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

Contenu

  1. Configuration de l'environnement
  2. Démo
  3. Modèles de test
  4. Modèles de formation

Configuration de l'environnement

Ce code a été testé sur Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, CUDA 9.2, RTX 2080 GPUS

  • Cloner le référentiel 
 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD
  • Configuration de l'environnement Python 
 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh
  • Ajoutez le projet à votre PythonPath 
 export PYTHONPATH=$PWD:$PYTHONPATH

Démo

  • Configurez votre environnement
  • Télécharger le modèle Siammask 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • Exécuter demo.py 
 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

Essai

  • Configurez votre environnement
  • Télécharger les données de test 
 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh
  • Télécharger les modèles pré-entraînés 
 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth
  • Évaluer les performances sur le vote 
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019
  • Évaluez les performances sur Davis (moins de 50s) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0
  • Évaluez les performances sur YouTube-Vos (Besoin de téléchargement de données sur le site Web) 
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

Résultats

Ce sont les résultats de reproduction de ce référentiel. Tous les résultats peuvent être téléchargés à partir de notre page de projet.

Traqueur VOT2016
EAO / A / R		 VOT2018
EAO / A / R		 Davis2016
J / f		 Davis2017
J / f		 YouTube-Vos
J_s / j_u / f_s / f_u		 Vitesse
Trépan à siammask 0,412 / 0,623 / 0,233 0,363 / 0,584 / 0,300 - / - - / - - / - / - / - 77 ips
Thermask 0,433 / 0,639 / 0,214 0,380 / 0,609 / 0,276 0,713 / 0,674 0,543 / 0,585 0,602 / 0,451 / 0,582 / 0,477 56 ips
Siammask-ld 0,455 / 0,634 / 0,219 0,423 / 0,615 / 0,248 - / - - / - - / - / - / - 56 ips

Note:

  • La vitesse est testée sur un NVIDIA RTX 2080.
  • -box rapporte une boîte de délimitation alignée sur l'axe de la branche de la boîte.
  • -LD signifie une formation avec un grand ensemble de données (YTB-BB + YTB-VOS + VID + COCO + DET).

Entraînement

Données de formation

  • Téléchargez les vos YouTube, Coco, Imagenet-Det et ImageNet-Vid.
  • Prétraitez chaque ensemble de données selon les fichiers ReadMe.

Téléchargez le modèle pré-formé (174 MB)

(Ce modèle a été formé sur l'ensemble de données ImageNet-1k) 

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

Modèle de base de siammask de formation

  • Configurez votre environnement
  • Du répertoire de l'expérience, courez 
 cd $SiamMask/experiments/siammask_base/
bash run.sh
  • La formation dure environ 10 heures dans nos 4 GPU Tesla V100.
  • Si vous ressentez des erreurs hors mémoire, vous pouvez réduire la taille du lot dans run.sh
  • Vous pouvez afficher les progrès sur Tensorboard (les journaux sont sur <Experiment_Dir> / Logs /)
  • Après la formation, vous pouvez tester les points de contrôle sur l'ensemble de données VOT. 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs
  • Sélectionnez le meilleur modèle pour la recherche hyperparamétrique. 
 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

Formation du modèle Siammask avec le module Affine

  • Configurez votre environnement
  • Dans le fichier de l'expérience, entraînez-vous avec le meilleur modèle de base Siammask 
 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth
  • Vous pouvez afficher les progrès sur Tensorboard (les journaux sont sur <Experiment_Dir> / Logs /)
  • Après la formation, vous pouvez tester les points de contrôle sur l'ensemble de données VOT 
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Formation du modèle siamrpn ++ ( non officiel )

  • Configurez votre environnement
  • Du répertoire de l'expérience, courez 
 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh
  • Vous pouvez afficher les progrès sur Tensorboard (les journaux sont sur <Experiment_Dir> / Logs /)
  • Après la formation, vous pouvez tester les points de contrôle sur l'ensemble de données VOT 
bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Licence

Sous licence sous licence MIT.

Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout