Towards Realtime MOT

迈向现实时间

消息：

• [2021.08.19] Samylee的纯C ++重新实现。如果您想在自己的项目中部署JDE，很有帮助！
• [2021.06.01] Baidu Paddlepaddle团队的一个不错的重新实现（和文档）。
• [2020.07.14]我们的论文被ECCV 2020接受！
• [2020.01.29]更多型号上传了！最快的速度约为38 fps！ 。
• [2019.10.11]上传的培训和评估数据！有关详细信息，请参见Dataset_zoo.md。
• [2019.10.01]发布的演示代码和预培训模型发布了！

介绍

此存储库是联合检测和嵌入（JDE）模型的代码库。 JDE是一个快速且高性能的多对象跟踪器，在共享神经网络中同时学习对象检测任务和外观嵌入任务。技术细节在我们的ECCV 2020论文中描述了。通过使用此仓库，您只需在MOT-16挑战的“私有”方案上实现MOTA 64％+ ，并且在22〜38 fps的接近实时速度（请注意，此速度适用于整个系统，包括检测步骤！

我们希望该回购将帮助研究/工程师开发更实用的MOT系统。对于算法开发，我们提供培训数据，基线模型和评估方法来建立一个级别的操场。对于应用程序使用情况，我们还提供了一个小型视频演示，该演示将原始视频作为输入而无需任何铃铛和哨声。

要求

• Python 3.6
• pytorch> = 1.2.0
• Python-Opencv
• PY-MOTMETRICS（ pip install motmetrics ）
• Cython-bbox（ pip install cython_bbox ）
• （可选）FFMPEG（在视频演示中使用）
• （可选）Syncbn（编译并将其放在utils/syncbn下，或者简单地用nn.batchnorm替换）
• MaskRCNN基准（在此项目中使用其GPU NMS）

视频演示

用法：

 python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

Docker演示示例

docker build -t towards-realtime-mot docker/

docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

数据集动物园

有关培训/评估数据集的详细说明，请参见Dataset_zoo.md。

预验证的模型和基线模型

Darknet-53 Imagenet预估计的模型：[Darknet官员]

具有不同输入分辨率的训练有素的模型：

模型	Mota	IDF1	IDS	fp	fn	FPS	关联
JDE-1088X608	73.1	68.9	1312	6593	21788	22.2	[Google] [Baidu]
JDE-864x480	70.8	65.8	1279	5653	25806	30.3	[Google] [Baidu]
JDE-576x320	63.7	63.3	1307	6657	32794	37.9	[Google] [Baidu]

该性能在MOT-16训练集上进行了测试，仅供参考。在NVIDIA TITAN XP GPU上测试了运行速度。有关与其他方法进行更全面的比较，您可以在MOT-16测试集上测试，并将结果提交为MOT-16基准测试。请注意，结果应提交给私人检测器轨道。

测试MOT-16挑战

 python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights

默认情况下，脚本在MOT-16训练集上进行评估。如果要在测试集上评估，请在命令行中添加--test-mot16 。结果保存在$DATASET_ROOT/results/*.txt中的文本文件中。您还可以添加--save-images或--save-videos标志以获得可视化的结果。可视化的结果保存在$DATASET_ROOT/outputs/

培训指导

• 下载培训数据集。
• 编辑cfg/ccmcpe.json ，配置培训/验证组合。数据集由图像列表表示，请参见data/*.train 。
• 运行训练脚本：

 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py 

我们使用8x NVIDIA TITAN XP来训练该模型，批量大小为32。您可以根据您的GPU数量调整批量大小（以及一起学习率）。您也可以使用较小的图像尺寸训练，这将带来更快的推理时间。但是请注意，图像大小最好是32（下采样率）的倍数。

使用自定义数据集训练

添加自定义数据集非常简单，您需要做的就是以与我们的培训集相同的格式组织注释文件。请参阅Dataset_zoo.md以获取数据集格式。

相关资源

• Fairmot：基于JDE框架，SOTA性能的改进方法。
• CSTRACK：JDE的更好的解开检测/嵌入头。
• JDE-PADDLE：Baidu Paddlepaddle团队的一个不错的重新实施（和文档）。
• JDE-CPP：Samylee的纯C ++重新实现。如果您想在自己的项目中部署JDE，很有帮助！

致谢

从Ultrytics/Yolov3和Longcw/Motdt借用了很大一部分代码，这要归功于它们的出色工作！

引用

如果您发现此存储库在您的项目或研究中有用，请考虑引用它：

 @article{wang2019towards,
  title={Towards Real-Time Multi-Object Tracking},
  author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
  journal={The European Conference on Computer Vision (ECCV)},
  year={2020}
}