本文总结近期三篇对Sort和DeepSort改进的工作，Sort和DeepSort以及JDE的推理流程可以参考之前的文章：Sort和Deepsort原理解析及在JDE和Fairmot中的应用
一、ByteTrack: Multi-Object Tracking by Associating Every Detection Box
论文链接：https://arxiv.org/pdf/2110.06864.pdf
Github：https://github.com/ifzhang/ByteTrack
1、Motivation
找回被检测阈值卡掉的低阈值正确检测结果。
2、方法细节
本文的做法很简单，先通过正常的匹配方式将正常的检测结果和轨迹做匹配，然后在第二部分check了下低于阈值的检测结果和未匹配成功的轨迹，如果可以匹配上的话则把这些结果捞回来。
; 二、StrongSORT: Make DeepSORT Great Again
论文链接：https://arxiv.org/pdf/2202.13514.pdf
1、Motivation
提出了两个改进来提高Deepsort的性能。
1）提出了一种无外观的链路模型(AFLink)，将短轨迹与完整轨迹相结合。
2）我们提出了高斯平滑插值(GSI)来补偿缺失的检测。
2、方法细节
1）ECC：一种相机运动的补偿方式。
2）EMA：embedding的线性更新。
3）NSA Kalman：去除噪声的卡尔曼滤波。
4）多加的箭头：给embedding的度量矩阵加一个运动距离限制。
以上的改进是已有的，本文所提出的两个创新点是offline的。
1）AFLink
把轨迹的k帧的位置点（xt，yt）抽象为一个输入，用卷积提取特征，后pooling成向量相加到一起，用FC层来打分，判断是不是同一个轨迹，从而实现短轨关联成长轨迹。
2）GSI
一种带高斯平滑的插值方式。可以比较好拟合出非线性的插值。
; 三、Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking
论文链接：https://arxiv.org/pdf/2203.14360.pdf
Github：https://github.com/noahcao/OC_SORT
1、Motivation
本文的出发点是强调运动信息的作用，证明了无需外观等信息，用一个简单的运动模型可以获得最先进的跟踪性能。强调”Observation”的作用，在目标丢失中恢复轨迹，并减少线性的运动模型在检测不到目标期间所带来的误差累积。
文中所提到的Sort的三项缺陷：
1）使用高帧率视频不利于抑制运动噪声： 在高帧率视频的连续帧之间，物体的位移噪声可以与实际的物体位移的幅度相同，导致KF估计的物体速度存在较大的方差；
2）观测不足造成的轨迹偏移： 由于遮挡或非线性运动，当没有新的物体观测（检测结果）与现有的轨迹相匹配时，物体状态噪声可以进一步累积。
3）依赖KF的状态估计： SORT是以估计为中心的，这意味着它严重依赖于KF状态估计，并且只使用观测值作为辅助信息。然而，作者认为当前检测器比以往的可靠，可以更多关注当前的检测。
文中所提到三项改进：
1）Observation-centric Online Smoothing (OOS) strategy：减少KF带来的轨迹累计误差；
2） Observation-Centric Momentum (OCM)：在代价矩阵中增加轨迹的方向一致性的影响，以更好地实现轨迹和观测值之间的匹配。
3）Observation-Centric Recovery (OCR)：为了处理物体在短时间窗口内由于遮挡而未被跟踪的情况，通过将它们最后的观测结果与新的观测结果联系起来来恢复。
🔺主要是改进了KF中的一些限制。
2、方法细节
1、Observation-centric Online Smoothing (OOS)
2、Observation-Centric Momentum (OCM)
这个比较好理解，在计算IOU度量矩阵的时候，把速度/方向计算成一个代价矩阵加入到原度量矩阵中，如下式：
3、 Observation-Centric Recovery (OCR)
OCR指的是再找回一次的流程，伪代码如下图：
Original: https://blog.csdn.net/qq_34919792/article/details/123826106
Author: 藏晖
Title: 近期关于Sort和DeepSort改进的工作
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/719238/
转载文章受原作者版权保护。转载请注明原作者出处！