BoT-SORT: Robust Associations Multi-Pedestrian Tracking
多目标跟踪(MOT)是检测和跟踪场景中的所有物体,同时为每个物体保留唯一的标识符。在本文中,我们提出了一种新的鲁棒性先进跟踪器,它能将运动和外观信息的优势与摄像机运动补偿以及更精确的卡尔曼滤波器状态向量结合起来。我们的新跟踪器 BoT-SORT 和 BoT-SORT-ReID 在 MOTChallenge 数据集的 MOT17 和 MOT20 测试集上,在所有主要 MOT 指标方面均排名第一: MOTA、IDF1 和 HOTA。在 MOT17 中:MOTA 达到 80.5,IDF1 达到 80.2,HOTA 达到 65.0。
SORT-like
算法采用卡尔曼滤波器
和恒速模型
假设作为运动模型。KF
用于预测下一帧中的 tracklet
边界框,以与检测边界框相关联,并用于在遮挡或未检测到的情况下预测 tracklet
状态。
与目标检测器驱动的检测相比,使用 KF
状态估计作为跟踪器的输出会导致边界框形状次优。最近的大多数方法都使用了经典跟踪器 DeepSORT
中提出的 KF
状态表征,它试图估计框的纵横比而不是宽度,这导致宽度大小估计不准确。
SORT-like
IoU-based
方法主要取决于 tracklet
的预测边界框的质量。因此,在许多复杂的场景中,预测边界框的正确位置可能会由于相机运动而失败,这导致2个相关边界框之间的重叠率低,最终导致跟踪器性能低下。作者通过采用传统的图像配准来估计相机运动,通过适当地校正卡尔曼滤波器来克服这个问题。这里将此称为相机运动补偿
(CMC
)。
在许多情况下,SORT-like
算法中的定位和外观信息(即重识别)会导致跟踪器的检测能力 (MOTA
) 和跟踪器随时间保持正确身份的能力 (IDF1
) 之间的权衡。使用 IoU
通常可以实现更好的 MOTA
,而 Re-ID
可以实现更高的 IDF1SORT-like
的跟踪器的限制并将它们集成到 ByteTrack
Tracking-by-detection
跟踪器严重依赖于预测轨迹的边界框和检测到的边界框之间的重叠RANSAC
计算出仿射变换矩阵 A ∈ R 2×3 。Re-ID
特征,在来自 FastReID
库的 BoT
(SBS
) 之上采用了更强的基线。IoU
距离矩阵和余弦距离矩阵。首先,就 IoU
的分数而言,低余弦相似度或距离较远的候选者会被拒绝。然后,使用矩阵的每个元素中的最小值作为Cost矩阵 C 的最终值。IoU-ReID
融合管道可以表述如下本文分享自 iResearch666 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!