基于运动目标三维轨迹重建的视频序列同步算法

“

视频配准是计算机视觉领域中一个重要的基础问题。涉及多个时空关联视频的视觉应用通常需要首先执行视频配准，即通过联合估计时间空间映射，将多个图像序列注册到统一的时间空间中，例如动作识别、基于内容的视频检索、多视频监控以及三维重建与可视化等。

为了降低问题的复杂度，研究者们提出各种假设以减少待估计参数的数目。假设相机静止或联合运动相机，则空间变换关系恒定不变。假设相机沿相似轨迹运动，则对应图像帧之间的相机运动可仅用旋转矩阵表示（忽略平移）。假设时域映射为线性关系，例如两序列间仅存在一个常数偏移量，或者帧率比不为1，则可以用一个简单的参数化模型来描述该类时域映射。此外，关于算法的输入，现有算法一般假设特征点跟踪持续整个图像序列，且序列之间的特征点对应关系已知。然而，实际问题要远比这复杂得多。首先，对于自由运动相机和非刚性动态场景（多个运动目标）来说，由于遮挡、运动模糊、复杂背景、超出视野范围等原因，要在多个视频中做到长时间精确跟踪同一个特征点是十分困难的，在某些情况下甚至是不可能的。其次，在成像面上投影形成的光流是由相机自运动和目标运动共同产生的，如何对光流解耦，消除相机自运动的影响，从而得到序列时域配准的线索——目标运动，这是一个病态问题。另外，线性时域映射也无法处理非均匀时域采样、丢帧等问题。

图 1第一人称视角图像序列通过非线性映射实现时域配准

Fig.1 Two video sequences caputered by first-person cameras are temporally aligned via a nonlinear transformation

如图1所示，针对同时空采集模式（多个相机在同一个时间空间中从不同视角对某个动态场景进行记录），本文提出一种基于运动目标三维轨迹重建的多视频时域配准算法。其主要思路是基于轨迹基函数重建目标的三维轨迹，然后利用不同序列重建的三维运动轨迹来同步图像序列。我们提出一种基于轨迹基系数的秩约束，结合基于图的最优路径搜索算法，实现视频间的非线性时域配准。该方法不要求跟踪特征点轨迹持续整个序列，也不依赖已知的序列间点对应关系。本文在仿真数据和真实数据集上验证了提出方法的鲁棒性和性能。

引用格式

王雪, SHI Jian-Bo, PARK Hyun-Soo, 王庆. 基于运动目标三维轨迹重建的视频序列同步算法. 自动化学报, 2017, 43(10): 1759-1772

作者简介

王雪 西北工业大学计算机学院博士研究生. 主要研究方向为目标跟踪, 人体行为分析.

SHI Jian-Bo 宾夕法尼亚大学工程与应用科学学院教授. 主要研究方向为人体行为分析, 图像识别分割.

PARK Hyun-Soo 宾夕法尼亚大学工程与应用科学学院博士后. 主要研究方向为基于视觉社交信号的人体交互行为分析, 如注意力运动、面部表情和身体姿势等.

王庆 西北工业大学计算机学院教授. 主要研究方向为计算机视觉, 图像与视频处理, 光场成像, 虚拟现实. 本文通信作者.

欢迎关注