Towards Realtime MOT

Hacia RealTime-Mot

NOTICIAS:

• [2021.08.19] Una reimplementación pura de C ++ por Samylee. ¡Útil si desea implementar JDE en su propio proyecto!
• [2021.06.01] Una buena reimplementación (y documento) del equipo de Baidu Paddlepaddle.
• [2020.07.14] ¡ Nuestro artículo es aceptado para ECCV 2020!
• [2020.01.29] ¡Más modelos cargados! ¡El más rápido corre a alrededor de 38 fps! .
• [2019.10.11] ¡ Datos de capacitación y evaluación cargados! Consulte DataSet_zoo.md para más detalles.
• [2019.10.01] ¡ Código de demostración y modelo previamente entrenado lanzado!

Introducción

Este repositorio es la base de código A del modelo de detección e incrustación (JDE). JDE es un rastreador de objetivos múltiples rápidos y de alto rendimiento que aprende la tarea de detección de objetos y la apariencia que incorpora la tarea simutáneamente en una red neuronal compartida. Los detalles técnicos se describen en nuestro artículo ECCV 2020. Al usar este repositorio, simplemente puede lograr MOTA 64%+ en el protocolo "privado" del desafío MOT-16, y con una velocidad casi en tiempo real a 22 ~ 38 fps (tenga en cuenta que esta velocidad es para todo el sistema, incluido el sistema, incluido el sistema, incluido el paso de detección!

Esperamos que este repositorio ayude a los investigadores/ingenieros a desarrollar sistemas MOT más prácticos. Para el desarrollo de algoritmos, proporcionamos datos de capacitación, modelos de referencia y métodos de evaluación para hacer un parque infantil. Para el uso de la aplicación, también proporcionamos una pequeña demostración de video que toma videos en bruto como entrada sin campanas y silbatos.

Requisitos

• Python 3.6
• Pytorch> = 1.2.0
• Python-Opencv
• Py-Motmetrics ( pip install motmetrics )
• Cython-Bbox ( pip install cython_bbox )
• (Opcional) FFMPEG (utilizado en la demostración de video)
• (Opcional) SyncBN (compile y colóquelo en Utils/SyncBn, o simplemente reemplace con nn.batchnorm aquí)
• Maskrcnn-Benchmark (su GPU NMS se usa en este proyecto)

Demostración de video

Uso:

 python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

Ejemplo de demostración de Docker

docker build -t towards-realtime-mot docker/

docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

Zoológico del conjunto de datos

Consulte DataSet_zoo.md para una descripción detallada de los conjuntos de datos de capacitación/evaluación.

Modelo previo a la aparición y modelos de referencia

Darknet-53 ImageNet Pretraned Modelo: [Darknet Official]

Modelos entrenados con diferentes resoluciones de entrada:

Modelo	Mota	IDF1	IDS	FP	Fn	FPS	Enlace
JDE-1088X608	73.1	68.9	1312	6593	21788	22.2	[Google] [Baidu]
JDE-864X480	70.8	65.8	1279	5653	25806	30.3	[Google] [Baidu]
JDE-576X320	63.7	63.3	1307	6657	32794	37.9	[Google] [Baidu]

El rendimiento se prueba en el conjunto de entrenamiento MOT-16, solo como referencia. La velocidad de ejecución se prueba en una GPU Nvidia Titan XP. Para una comparación más completa con otros métodos, puede probar en el conjunto de pruebas MOT-16 y enviar un resultado al punto de referencia MOT-16. Tenga en cuenta que los resultados deben enviarse a la pista del detector privado.

Prueba en el desafío MOT-16

 python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights

Por defecto, el script ejecuta evaluación en el conjunto de capacitación MOT-16. Si desea evaluar en el conjunto de pruebas, agregue --test-mot16 a la línea de comando. Los resultados se guardan en archivos de texto en $DATASET_ROOT/results/*.txt . También puede agregar las banderas --save-images o --save-videos para obtener los resultados visualizados. Los resultados visualizados se guardan en $DATASET_ROOT/outputs/

Instrucción de entrenamiento

• Descargue los conjuntos de datos de capacitación.
• Editar cfg/ccmcpe.json , configure las combinaciones de entrenamiento/validación. Un conjunto de datos está representado por una lista de imágenes, consulte data/*.train por ejemplo.
• Ejecute el guión de entrenamiento:

 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py 

Usamos 8x nvidia titan xp para entrenar el modelo, con un tamaño de lote de 32. Puede ajustar el tamaño de lote (y la tasa de aprendizaje juntos) de acuerdo con cuántas GPU tiene. También puede entrenar con un tamaño de imagen más pequeño, lo que traerá un tiempo de inferencia más rápido. Pero tenga en cuenta que el tamaño de la imagen tenía mejor ser múltiplos de 32 (la velocidad de muestreo hacia abajo).

Entrenar con conjuntos de datos personalizados

Agregar Datsets personalizados es bastante simple, todo lo que necesita hacer es organizar sus archivos de anotación en el mismo formato que en nuestros conjuntos de capacitación. Consulte DataSet_zoo.md para el formato de conjunto de datos.

Recursos relacionados

• Fairmot: un método mejorado basado en el marco JDE, el rendimiento de Sota.
• Cstrack: Mejor detección/cabezal de incrustación para JDE.
• JDE-Paddle: una buena reimplementación (y documento) del equipo de Baidu Paddlepaddle.
• JDE-CPP: una reimplementación pura de C ++ por Samylee. ¡Útil si desea implementar JDE en su propio proyecto!

Reconocimiento

Se toma prestada una gran parte del código de Ultralytics/YOLOV3 y LongCW/MOTDT, ¡muchas gracias a su maravilloso trabajo!

Citación

Si encuentra este repositorio útil en su proyecto o investigación, considere citárselo:

 @article{wang2019towards,
  title={Towards Real-Time Multi-Object Tracking},
  author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
  journal={The European Conference on Computer Vision (ECCV)},
  year={2020}
}