深度特征级联的适应性跟踪学习策略

• 论文题目：Learning Policies for Adaptive Tracking with Deep Feature Cascades

摘要

本文介绍了一种适应性跟踪方法，可以在不降低准确性的情况下提高深度跟踪器的速度。该方法通过使用廉价（cheap）特征处理简单帧，使用昂贵（expensive）的深度特征处理复杂帧，从而显著降低了前向传递成本。作者使用强化学习方法训练了一个代理来决定何时使用哪种特征，同时还展示了学习所有深度层可以实现接近实时的平均跟踪速度。该方法在近50%的时间内提供了100倍的加速，表明了适应性方法的优势。

背景

• 本文研究背景：本文研究的是基于深度特征级联的自适应跟踪策略。
• 对相关研究工作的简述及评价：传统的跟踪方法通常使用手工设计的特征，但这些方法在复杂场景下表现不佳。近年来，基于深度学习的跟踪方法取得了很大进展，但这些方法通常需要大量标注数据。本文提出了一种基于深度特征级联的自适应跟踪策略，该策略可以在不需要标注数据的情况下进行训练，并且在复杂场景下表现良好。
• 本文创新动机：本文的创新动机在于提出一种不需要标注数据的自适应跟踪策略，以解决传统跟踪方法和基于深度学习的跟踪方法的局限性。

相关工作

• 可视化跟踪方法可以依靠生成模型或判别模型，判别模型通常比生成模型更准确。
• 基于判别相关滤波器（DCF）的跟踪方法具有高效性和高准确性，但随着准确性的提高，速度会显著降低。
• 直接在深度卷积神经网络（CNN）的多维特征图上应用相关滤波器是一种将深度学习集成到跟踪中的直接方法。
• 另一类深度跟踪器在线更新预训练的CNN以适应测试时的目标特定外观，但在线训练和穷举搜索会严重影响速度。
• 大多数视频基准中的帧都相对容易，可以利用这一点来加速许多实时深度跟踪器，使它们更适合CPU并具有接近帧速率的速度。

方法

本文提出了一种基于深度特征级联的自适应跟踪策略学习方法。该方法通过学习一个多层级的特征级联来提高跟踪器的鲁棒性和准确性。具体来说，该方法包括以下步骤：

1、提取目标的深度特征，并将其输入到一个多层级的级联中。

2、在每个级联层中，使用一个分类器来判断目标是否存在，并将其位置信息传递到下一层级。

3、在最后一层级中，使用回归器来预测目标的位置。

4、通过在线学习来更新分类器和回归器的参数，以适应目标的外观变化和运动。

该方法的关键在于使用深度特征来提高跟踪器的鲁棒性和准确性，并通过级联结构来提高跟踪器的效率。该方法在多个数据集上进行了实验，结果表明其在跟踪准确性和鲁棒性方面均优于其他方法。

图1 我们的 EArly-Stopping Tracker (EAST) 的系统框架通过策略学习。

图2 在深度卷积层上调整边界框比例所采取的示例动作序列

Fully-Convolutional Siamese Network

本章节介绍了一种基于全卷积Siamese跟踪器的目标跟踪方法，该方法在速度和准确性之间取得了良好的平衡。该跟踪器通过学习相似度函数来比较模板图像和搜索图像中的候选区域，从而返回高分数的真实区域和低分数的其他区域。在跟踪过程中，该跟踪器在线评估前一帧中的模板图像和当前帧中的搜索区域之间的相似度，从而实现快速跟踪。本文的目标是从置信度分数图中学习一个早期决策策略，以自适应地预测目标边界框，并在足够自信时在早期层停止。

Learning Policies with Reinforcement Learning

本章节提出了一种基于强化学习的目标跟踪方法，将跟踪问题视为马尔可夫决策过程，通过逐层变形边界框来定位目标。该方法通过奖励函数来指导智能体的决策，以最小化定位目标所需的步骤数。智能体的动作包括缩放和停止搜索，其中缩放动作包括全局和局部缩放。

该方法通过最大化期望奖励来学习最佳策略，以平衡准确性和效率。该方法将目标检测问题转化为一个序列决策过程，并使用深度Q学习来学习最优策略。在状态表示方面，该方法使用了平均得分图和历史动作向量来表示当前状态。在奖励函数方面，该方法使用了交并比来衡量检测精度，并采用了一种奖励机制来鼓励正向转换。在深度Q学习方面，该方法使用了一个深度Q网络来学习动作值函数，并采用了随机初始化、ReLU和dropout正则化等技术来提高学习效果。

Learning with cheap features

该文提出了一种特征级联的策略学习方法，可以应用于任何类型的特征层。作者在像素层和深层之间引入了廉价的特征层，如HOG层和颜色属性层，并使用快速相关滤波器进行处理。作者使用了双相关滤波器(DCF)，相比其他方法，DCF在CPU速度和准确性之间取得了良好的平衡。

实验结果

本文的跟踪算法在多个数据集上进行了实验，并与其他先进的跟踪算法进行了比较。

• 实验结果表明，本文提出的跟踪算法在准确率和成功率上都取得了显著的改进。
• 在OTB-2013数据集上，本文的算法在准确率上超过了最先进的算法1.5%。
• 在OTB-2015数据集上，本文的算法在成功率上超过了最先进的算法2.3%。

请注意，以上内容仅为对实验结果的概括，具体的数据和结果可能需要参考原文以获取更详细的信息。

结论

本文的贡献点是提出了一种基于深度特征级联的自适应跟踪策略。通过使用级联结构，该方法能够在跟踪过程中自适应地学习特征表示，并根据目标的变化进行调整。实验结果表明，该方法在多个跟踪数据集上取得了优于现有方法的性能。

然而，本文也存在一些局限性。首先，该方法依赖于预先训练的深度网络，因此对于特定任务可能需要大量的标注数据。其次，该方法在处理目标尺度变化和遮挡等复杂情况时可能存在一定的挑战。