镜头畸变校正
之前介绍了镜头畸变，本文记录校正畸变的模型和方法。
背景
- 对于常见的镜头径向畸变和切向畸变，在硬件已经无法继续优化时，需要后处理进行校正
模型
一些针孔摄像机会对图像产生严重的畸变，主要有两种畸变: 径向畸变和切向畸变。
径向畸变
- 径向畸变导致直线看起来弯曲。点距图像中心越远，径向畸变越大。例如，下图显示了一个棋盘的两个边缘用红线标记的图像。但是，你可以看到棋盘的边界不是一条直线，与红线不匹配。所有预期的直线都凸出。
- 径向畸变可以表示为以下模型
\begin{array}{c} x_{distorted} = x( 1 + k_1 r^2 + k_2 r^4 + k_3 r^6) \\ y_{distorted} = y( 1 + k_1 r^2 + k_2 r^4 + k_3 r^6) \end{array}
切向畸变
- 类似地，切向畸变发生是因为摄像透镜没有与成像平面完全平行。因此，图像中的某些区域看起来可能比预期的要近。切向扭曲的数量可表示如下:
\begin{array}{c} x_{distorted} = x + [ 2p_1xy + p_2(r^2+2x^2)] \\ y_{distorted} = y + [ p_1(r^2+ 2y^2)+ 2p_2xy] \end{array}
畸变系数
- 简而言之，我们需要找到五个参数，即畸变系数：
相机参数
- 除了畸变模型参数之外，还需要一些其他的信息，比如相机的内部参数和外部参数。
内参
- 摄像机的固有参数是特定的。它们包括像焦距 (f_x，f_y) 和光学中心 (c_x，c_y) 这样的信息。所述焦距和光学中心可用于创建摄像机矩阵，该矩阵可用于消除由于特定摄像机的镜头而产生的畸变。相机矩阵对于特定的相机来说是独一无二的，所以一旦计算出来，就可以在同一个相机拍摄的其他图像上重复使用。它表示为一个 3 \times 3 的矩阵:
camera \; matrix = \left [ \begin{matrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{matrix} \right ]
外参
- 外部参数对应于将 3D 点的坐标转换为坐标系的旋转和平移向量。
- 为了找到这些参数，我们必须提供一些定义良好的示例图像(例如棋盘)。如果已经知道相对位置的特定点(例如棋盘上的方角)，并且知道这些点在真实空间中的坐标，也知道图像中的坐标，在这种情况下就可以求出畸变系数。 为了获得更好的结果，至少需要10组对应点的数据。
Python 实现
- 测试图像：
可以直接下载图像，命名为
undistort.png
示例代码（需要安装 mtutils）
pip install mtutils
核心步骤使用 OpenCV 库实现
import numpy as np
import cv2 as cv
import mtutils as mt
# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,6,0)
W_num = 7
H_num = 7
objp = np.zeros((W_num*H_num,3), np.float32)
objp[:,:2] = np.mgrid[0:W_num,0:H_num].T.reshape(-1,2)
# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
img = mt.cv_rgb_imread('undistort.png', 1)
another = img.copy()
# Find the chess board corners
ret, corners = cv.findChessboardCorners(img, (W_num,H_num), None)
# If found, add object points, image points (after refining them)
if ret == True:
objpoints.append(objp)
corners2 = cv.cornerSubPix(img,corners, (11,11), (-1,-1), criteria)
imgpoints.append(corners2)
# Draw and display the corners
cv.drawChessboardCorners(img, (W_num, H_num), corners2, ret)
mt.PIS(img)
ret, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, img.shape[::-1], None, None)
h, w = img.shape[:2]
newcameramtx, roi = cv.getOptimalNewCameraMatrix(mtx, dist, (w,h), 1, (w,h))
dst = cv.undistort(another, mtx, dist, None, newcameramtx)
mt.PIS([another, 'origin'], [img, 'marked'], [dst, 'undistort'], row_num=1)
pass- 配置好图像，运行程序可以看到标记的图和校正结果
参考资料
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2022年11月15日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
