一种基于不变特征的自动化全景图像拼接方法

今天让我们重新温故一篇2006关于图像拼接的经典巨作《Automatic Panoramic Image Stitching using Invariant Features》

虽然一维变化(单轴方向上)的图像序列拼接问题已得到很好的研究，但2D或多行拼接问题更为复杂。本文提出了一种全新的全自动全景图像拼接方法。

基于不变特征的全自动全景图像拼接方法优点：

(1) 使用不变特征可以在输入图像旋转、缩放和光照变化的情况下可靠地匹配全景图像序列；

(2) 通过将图像拼接视为多图像匹配问题，可以自动发现图像之间的匹配关系，并在无序数据集中识别全景图；

(3) 使用多波段混合生成高质量的结果来渲染无缝输出全景图。

01

特征匹配

以往的方法都是通过人工输入或对图像序列的限制来建立匹配图像。在本文中，研究者将拼接定义为一个多图像匹配问题，并使用不变的局部特征来查找所有图像之间的匹配。

SIFT features are extracted from all of the images.

02

图像匹配

本节描述了图像匹配方法(RANSAC)和用于图像匹配验证的概率模型。

Recognising panoramas.

结果表明：RANSAC方法对输入图像的顺序、方向、比例和光照不敏感，对不属于全景图的噪声图像也不敏感，并且可以识别无序图像数据集中的多个全景图。

03

光束法平差

本节描述了一种有效的图像对齐算法(束调整)，该算法联合优化了每个相机的参数。

04

渲染管道

除了提供更多细节外，本文还描述了增益补偿和自动全景校正，并展示了如何对多个重叠图像进行多波段混合(这些图像具有任意数量的波段)。

Automatic panorama straightening.

本文提出了一种全新的全自动全景图像拼接系统。使用不变的局部特征和概率模型来验证图像匹配，使我们能够识别无序图像集中的多个全景图，并在无需用户输入的情况下完全自动拼接。该系统对相机变焦、输入图像的方向以及由于闪光灯和曝光/光圈设置导致的照明变化具有鲁棒性。多波段混合方案确保平滑过渡图像之间的照明差异，同时保留高频细节。