MIT＆谷歌视频运动放大让计算机辅助人眼“明察秋毫”

本文来自ECCV 2018 选为Oral的论文《Learning-based Video Motion Magnification》，代码已开源，作者信息：

(欢迎关注“我爱计算机视觉”公众号，一个有价值有深度的公众号~)

什么是视频运动放大技术？

视频运动放大技术是一种从视频到视频的滤波处理，可以使我们能够看到在视频中肉眼看不到的小的运动，例如振动飞机机翼的动作，或者在风的影响下摇摆的建筑物等。这在衡量建筑物的结构健康程度和医疗环境中人体生命信号检测中有非常重要的应用。

由于这种运动往往很小，因此放大后的效果容易产生噪音或过度模糊。现有技术使用手工设计的滤波器来提取运动表示，往往不是最佳的。

在本文中，试图直接使用深度卷积神经网络从已有样本中学习滤波器。为了方便训练，该文仔细设计了一个人工合成的数据集，该数据集可以很好地捕捉视频中小的运动，用两帧图像作为输入就可以训练。

本文是第一个使用卷积神经网络在人工合成数据上学习运动放大滤波器的工作，实验证明经过学习得到的过滤器在真实视频上与之前的方法相比获得更高质量的视觉效果，明显减少了振铃伪像和噪声放大。

上图中原始频频的局部区域被截取出来，红色代表的是被放大的采样区域，波浪条纹代表着被放大的运动，原始图像看不出运动，中间的能看出波浪状的变形但有很明显的伪影，而右边使用本文方法的结果不仅波浪状变形被发现而且大大减少了伪影。

这是一个高速运动物体的例子，请看原始帧红色采样区域（请注意它非物体运动区域，不应该有运动）对应的算法处理结果，之前的方法出现了明显的伪影，而该文的方法则较好的保留了静止状态。

网络架构

数据合成方法

从MS COCO数据集中的200000幅图像做前景，使用PASCAL VOC数据集中7000个分割出的目标做背景，按照一定的运动系数、尺度系数等直接合成运动模拟图像。

处理结果示例：

论文：

https://arxiv.org/abs/1804.02684

代码已经开源：

https://github.com/12dmodel/deep_motion_mag