论文链接:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.294.4992&rep=rep1&type=pdf
摘要
视觉跟踪算法要求鲁棒的算法具备从单帧进行训练并泛化到接下来所有变化的目标上。
本文提出一种新的自相关滤波算法MOSSE,基于MOSSE的跟踪器在光照变化、尺度、姿态、非刚性变形上是鲁棒的,并且每秒能操作669帧。同时该方法根据峰值与旁瓣的比率检测遮挡,这使得跟踪器能够在物体重新出现时暂停并恢复它停止的位置。
介绍
本文提出一种简单的跟踪策略:目标外形通过自适应相关滤波器建模,跟踪通过卷积执行。经过修改的ASEF、UMACE、MOSSE方法较朴素创建滤波器的方法:例如从图片中裁剪一个模板,对外观变化更加鲁棒,并且能更好的判别目标和背景。主副峰值比PSR是一种评价相关峰的强度,检测遮挡和跟踪失败,并暂停线上更新直到再次捕捉到跟踪对象的有效手段。总的来说,基于自相关滤波的先进方法不输于计算复杂度极高的跟踪方法,但其速度可达669fps,比后者快了20倍。
基于相关滤波器的跟踪策略
简单流程:
- 初始化,选择一个基于小的跟踪窗口并位于正中的目标
- 利用初始化的目标窗口训练相关滤波器
- 在下一帧中利用训练得到的相关滤波器计算相关度得分最高的窗口区域,即这一帧目标所在位置
- 利用新得到的目标窗口进行线上训练更新相关滤波器
- 前往步骤三,如此往复直到视频结束
为了得到一个快速响应的跟踪器,相关是在频域通过计算快速傅里叶变换得到
预处理环节
考虑到使用拓扑结构连接图像边界(上下左右)会人为地引入影响相关输出的伪像,消除该影响的有效方法:
(1)首先对图像的每个像素点进行对数变换,以增强对比度
(2)接着进行归一化处理,将像素值映射到0-1
(3)使用余弦窗进行处理,一方面将边缘像素值缩减到0,
另一方面增强目标中心邻域的值
MOSSE滤波器
MOSSE滤波器的求解是在傅里叶频域进行,基本表达式为:
该除法的执行是逐元素的。
目标是最小化平方误差和(SSE):
对该优化问题求导:
可求得对应的相关滤波器为:
UMACE滤波器
UMACE较MOSSE的不同之处在于,其假设
代入可得对应表达式为
ASEF滤波器的改进(正则化处理)
求平均得方法被使用来产生一个更具备泛化能力的滤波器:
考虑到ASEF滤波器对应分母部分存在值极小导致滤波器不稳定的情况,需要加上一个较小的常系数进行稳定。
滤波器初始化和在线更新策略
根据经验,令η=0.125滤波器同时具备快速响应和高鲁棒性的优点。
滤波器比较
使用Naïve方法和UMACE、ASEF、MOSSE滤波器分别在七种序列的视频场景进行测试,发现Naïve方法与其他三种滤波器相比PSR值相差较多,同时不稳定性更加明显。后三种方法在这七种场景都表现出极好的PSR评估值,同时在稳定性上也几乎一致,普遍在发生大的平面外的旋转时暴露出较差的稳定性。在单一数据集sylv上MOSSE表现出相对更好的稳定性,当然并不具备代表性,需要在更多的数据集上进行测试。
不同跟踪器比较
为了评估本文设计的算法在保持跟踪方面的能力,与IVT、MILTrack、FragTrack、OAB进行比较。发现使用OAB和FragTrack的跟踪器都在davidin300数据上跟踪失败产生重大漂移。跟踪器产生的偏移与滤波器极不相同,在这些视频中,跟踪窗口在目标之间来回徘徊。 当过滤器漂移时,当目标经历姿势变化时,它们倾向于偏离中心,然后它们锁定到新的中心点。
实时性
计算复杂度:
结论
本文表明传统的解决视觉跟踪问题的方法使用参数繁多的分类器、复杂的外观模型和随机的搜索策略可以被更简单有效的MOSSE相关滤波器所替代。使用MOSSE相关滤波器方法在实现同等精度的情况下,运行速度更快。
后续能继续提高的方向:
(1)如果目标的外观相对稳定,可以通过偶尔根据初始帧重新定位滤波器来减轻漂移;
(2)通过在更新后过滤跟踪窗口进行对数极坐标变换,还可以扩展跟踪器以估计比例和旋转的变化。