特征点跟踪之LK光流法

一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置

LK光流会有一些假设：

• 灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的
• 微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化
• 空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近

基于前两个假设，便有如下约束方程

其中

是指在

时刻，坐标

的灰度值

对约束方程做一阶泰勒展开可得

其中

是高阶余项，视为0

易得

两边除以

，有

其中

和

为像素点沿

和

方向的速度（位移对时间的导数）

简写成

化作矩阵形式

利用第三假设，可以假设在一个

的窗口内，光流是一个恒定的值，即

利用最小二乘可以直接得到解