SiamMask

Siammask

NUEVO: ¡Ahora incluye código para capacitación e inferencia!

Esta es la implementación oficial con código de capacitación para SiamMASK (CVPR2019). Para obtener detalles técnicos, consulte:

Seguimiento y segmentación de objetos en línea rápidos: un enfoque unificador
Qiang Wang*, Li Zhang*, Luca Bertinetto*, Weiming Hu, Philip HS Torr (*denota la misma contribución)
CVPR 2019
[Paper] [Video] [Página del proyecto]

Bibtex

Si encuentra útil este código, considere citar:

 @inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

Contenido

1. Configuración del medio ambiente
2. Manifestación
3. Modelos de prueba
4. Modelos de entrenamiento

Configuración del medio ambiente

Este código ha sido probado en Ubuntu 16.04, Python 3.6, Pytorch 0.4.1, CUDA 9.2, RTX 2080 GPUS

• Clonar el repositorio

 git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD

• Configurar el entorno Python

 conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh

• Agregue el proyecto a su Pythonpath

 export PYTHONPATH=$PWD:$PYTHONPATH

Manifestación

• Configurar su entorno
• Descargue el modelo siammask

 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• Ejecutar demo.py

 cd $SiamMask /experiments/siammask_sharp
export PYTHONPATH= $PWD : $PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

Pruebas

• Configurar su entorno
• Descargar datos de prueba

 cd $SiamMask /data
sudo apt-get install jq
bash get_test_data.sh

• Descargar modelos previos a la aparición

 cd $SiamMask /experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• Evaluar el rendimiento en VOT

bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019

• Evaluar el rendimiento en Davis (menos de los 50)

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0

• Evaluar el rendimiento en YouTube-Vos (necesite datos de descarga del sitio web)

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

Resultados

Estos son los resultados de la reproducción de este repositorio. Todos los resultados se pueden descargar desde la página de nuestro proyecto.

Rastreador	VOT2016 EAO / A / R	VOT2018 EAO / A / R	Davis2016 J / F	Davis2017 J / F	Youtube-vos J_s / j_u / f_s / f_u	Velocidad
Buzón de siammask	0.412/0.623/0.233	0.363/0.584/0.300	- / -	- / -	- / - / - / -	77 fps
Siammask	0.433 / 0.639 / 0.214	0.380 / 0.609 / 0.276	0.713 / 0.674	0.543 / 0.585	0.602 / 0.451 / 0.582 / 0.477	56 fps
Siammask-ld	0.455 / 0.634 / 0.219	0.423 / 0.615 / 0.248	- / -	- / -	- / - / - / -	56 fps

Nota:

• La velocidad se prueba en un NVIDIA RTX 2080.
• -box informa una caja delimitadora alineada por el eje desde la rama de la caja.
• -LD significa entrenamiento con un gran conjunto de datos (YTB-BB+YTB-VOS+VID+COCO+DET).

Capacitación

Datos de capacitación

• Descargue el YouTube-Vos, Coco, ImageNet-Det e ImageNet-Vid.
• Preprocese cada conjunto de datos según los archivos ReadMe.

Descargue el modelo previamente capacitado (174 MB)

(Este modelo fue entrenado en el conjunto de datos ImageNet-1k)

 cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

Modelo base de entrenamiento de siammask

• Configurar su entorno
• Del directorio de experimentos, ejecute

 cd $SiamMask/experiments/siammask_base/
bash run.sh

• El entrenamiento tarda aproximadamente 10 horas en nuestras 4 GPU Tesla V100.
• Si experimenta errores fuera de memoria, puede reducir el tamaño del lote en run.sh
• Puede ver el progreso en TensorBoard (los registros están en <spers_dir>/logs/)
• Después de la capacitación, puede probar los puntos de control en el conjunto de datos VOT.

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # test all snapshots with 4 GPUs

• Seleccione el mejor modelo para la búsqueda hiperparamétrica.

 # bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 threads with 4 GPUS
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 threads with 4 GPUS

Modelo de entrenamiento de siammask con el módulo de refine

• Configurar su entorno
• En el archivo de experimento, entrena con el mejor modelo base de Siammask

 cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth

• Puede ver el progreso en TensorBoard (los registros están en <spers_dir>/logs/)
• Después de la capacitación, puede probar los puntos de control en el conjunto de datos de VOT

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Modelo de entrenamiento SIAMRPN ++ ( no oficial )

• Configurar su entorno
• Del directorio de experimentos, ejecute

 cd $SiamMask/experiments/siamrpn_resnet
bash run.sh

• Puede ver el progreso en TensorBoard (los registros están en <spers_dir>/logs/)
• Después de la capacitación, puede probar los puntos de control en el conjunto de datos de VOT

bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

Licencia

Con licencia bajo una licencia MIT.