单应性Homograph估计：从传统算法到深度学习

3D视觉工坊

发布于 2020-11-11 17:05:07

2.2K00

代码可运行

文章被收录于专栏：3D视觉从入门到精通3D视觉从入门到精通

运行总次数：0

代码可运行

本文作者：白裳 https://zhuanlan.zhihu.com/p/74597564 本文已由原作者授权，不得擅自二次转载

单应性原理被广泛应用于图像配准，全景拼接，机器人定位SLAM，AR增强现实等领域。这篇文章从基础图像坐标知识系为起点，讲解图像变换与坐标系的关系，介绍单应性矩阵计算方法，并分析深度学习在单应性方向的进展。

本文为入门级文章，希望能够帮助读者快速了解相关内容。

目录一图像变换与平面坐标系的关系二平面坐标系与齐次坐标系三单应性变换四深度学习在单应性方向的进展

单应性估计在图像拼接中的应用

一图像变换与平面坐标系的关系

旋转：

将图形围绕原点

逆时针方向旋转

角，用解析式表示为：

旋转

写成矩阵乘法形式：

平移：

平移

但是现在遇到困难了，平移无法写成和上面旋转一样的矩阵乘法形式。所以引入齐次坐标

，再写成矩阵形式：

其中

表示单位矩阵，而

表示平移向量。

那么就可以把把旋转和平移统一写在一个矩阵乘法公式中，即刚体变换：

而旋转矩阵

是正交矩阵（

）。

刚体变换：旋转+平移（正方形-正方形）

仿射变换

其中

可以是任意2x2矩阵（与

一定是正交矩阵不同）。

仿射变换（正方形-平行四边形）

可以看到，相比刚体变换（旋转和平移），仿射变换除了改变目标位置，还改变目标的形状，但是会保持物体的“平直性”。

不同

和

矩阵对应的各种基本仿射变换：

投影变换（单应性变换）

投影变换（正方形-任意四边形）

简单说，投影变换彻底改变目标的形状。

总结一下：

刚体变换：平移+旋转，只改变物体位置，不改变物体形状
仿射变换：改变物体位置和形状，但是保持“平直性”
投影变换：彻底改变物体位置和形状

注：上图“投影变换”应该是“任意四边形”

我们来看看完整投影变换矩阵各个参数的物理含义：

其中

代表仿射变换参数，

代表平移变换参数。

而

表示一种“变换后边缘交点“关系，如：

至于

则是一个与

二平面坐标系与齐次坐标系

问题来了，齐次坐标到底是什么？

齐次坐标系

与常见的三维空间坐标系

不同，只有两个自由度：

而

（其中

）对应坐标

和

的缩放尺度。当

时：

特别的当

时，对应无穷远：

三单应性变换

单应性是什么？

此处不经证明的给出：同一个 [无镜头畸变] 的相机从不同位置拍摄 [同一平面物体] 的图像之间存在单应性，可以用 [投影变换] 表示。

注意：单应性成立是有条件的！

简单说就是：

其中

是Left view图片上的点，

是Right view图片上对应的点。

那么这个

单应性矩阵如何求解呢？

更一般的，每一组匹配点

有

由平面坐标与齐次坐标对应关系

，上式可以表示为：

进一步变换为：

写成矩阵

形式：

也就是说一组匹配点

可以获得2组方程。

单应性矩阵8自由度

注意观察：单应性矩阵

与

其实完全一样（其中

），例如：

即点

无论经过

还是

映射，变化后都是

。

如果使

，那么有:

所以单应性矩阵

虽然有9个未知数，但只有8个自由度。

在求

时一般添加约束

（也有用

约束），所以还有

共8个未知数。由于一组匹配点

对应2组方程，那么只需要

组不共线的匹配点即可求解

的唯一解。

XIAOMI9拍摄，有镜头畸变

OpenCV已经提供了相关API，代码和变换结果如下。

import cv2
import numpy as np

im1 = cv2.imread('left.jpg')
im2 = cv2.imread('right.jpg')

src_points = np.array([[581, 297], [1053, 173], [1041, 895], [558, 827]])
dst_points = np.array([[571, 257], [963, 333], [965, 801], [557, 827]])

H, _ = cv2.findHomography(src_points, dst_points)

h, w = im2.shape[:2]

im2_warp = cv2.warpPerspective(im2, H, (w, h))

可以看到：

红框所在平面上内容基本对齐，但受到镜头畸变影响无法完全对齐；
平面外背景物体不符合单应性原理，偏离很大，完全无法对齐。

传统方法估计单应性矩阵

一般传统方法估计单应性变换矩阵，需要经过以下4个步骤：

提取每张图SIFT/SURF/FAST/ORB等特征点
提取每个特征点对应的描述子
通过匹配特征点描述子，找到两张图中匹配的特征点对（这里可能存在错误匹配）
使用RANSAC算法剔除错误匹配
求解方程组，计算Homograph单应性变换矩阵

示例代码如下：

#coding:utf-8

# This code only tested in OpenCV 3.4.2!
import cv2 
import numpy as np

# 读取图片
im1 = cv2.imread('left.jpg')
im2 = cv2.imread('right.jpg')

# 计算SURF特征点和对应的描述子，kp存储特征点坐标，des存储对应描述子
surf = cv2.xfeatures2d.SURF_create()
kp1, des1 = surf.detectAndCompute(im1, None)
kp2, des2 = surf.detectAndCompute(im2, None)

# 匹配特征点描述子
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1, des2, k=2)

# 提取匹配较好的特征点
good = []
for m,n in matches:
    if m.distance < 0.7*n.distance:
        good.append(m)

# 通过特征点坐标计算单应性矩阵H
# （findHomography中使用了RANSAC算法剔初错误匹配）
src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2)
H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
matchesMask = mask.ravel().tolist()

# 使用单应性矩阵计算变换结果并绘图
h, w, d = im1.shape
pts = np.float32([[0,0], [0,h-1], [w-1,h-1], [w-1,0]]).reshape(-1,1,2)
dst = cv2.perspectiveTransform(pts, H)
img2 = cv2.polylines(im2, [np.int32(dst)], True, 255, 3, cv2.LINE_AA)

draw_params = dict(matchColor = (0,255,0), # draw matches in green color
                   singlePointColor = None,
                   matchesMask = matchesMask, # draw only inliers
                   flags = 2)

im3 = cv2.drawMatches(im1, kp1, im2, kp2, good, None, **draw_params)