FAST-Calib：激光雷达与相机快速外参标定

文章：FAST-Calib: LiDAR-Camera Extrinsic Calibration in One Second

作者：Chunran Zheng and Fu Zhang

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

从技术角度观察行业发展，努力跟上时代的步伐。公众号致力于点云处理，SLAM，三维视觉，具身智能，自动驾驶等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。文章未申请原创，未经过本人允许请勿转载，有意转载联系微信920177957。

摘要

本文提出FAST-Calib—一种基于定制3D标定靶的快速、用户友好的激光雷达-相机外参标定工具。该工具通过高效可靠的边缘提取算法实现对机械式与固态激光雷达的通用支持，且不依赖特定扫描模式。创新性地采用椭圆拟合补偿激光点扩散导致的边缘膨胀伪影，并支持多场景联合优化。在三组设备（Ouster激光雷达、Avia激光雷达、Mid360激光雷达，均配广角相机）上验证性能。实验表明：相较于现有方法，FAST-Calib具备更优精度与鲁棒性，其点对点配准误差稳定低于6.5毫米，总处理时间不超过0.7秒，构建了高效精准的靶标自动化标定流程。代码及数据集已在https://github.com/hku-mars/FAST-Calib开源，以赋能机器人技术社区。

主要贡献

激光雷达与相机之间的外参标定旨在估计其空间坐标系之间的刚性变换。 这是自动驾驶应用中多传感器融合的基本要求，例如跟踪、建图和物体检测。在生产线上，标定通常在专用标定室内进行，受控的环境和标准化的程序确保了高精度和可重复性。然而当尝试将工厂标定板转移到实验室环境时，现有的基于标定板的方法（例如，Velo2Cam, JointCalib）遇到了若干实际限制：

1. 兼容性有限：由于扫描模式不同，大多数现有工具无法同时支持机械式和固态激光雷达；

2. 自动化程度低：在工厂环境中，标定板放置在固定位置以便于检测。在实验室环境中，任意放置需要手动深度滤波以从激光雷达点云中提取感兴趣区域；

3. 缺乏多场景支持：在工厂环境中，会在传感器视场（FoV）内放置多个标定板以提高鲁棒性。在实验室环境中，空间限制通常只允许放置单个标定板，需要多次采集和联合优化；

4. 效率低下：多场景标定通常涉及多个处理步骤，无法达到秒级标定速度；

5. 边缘膨胀问题：对于具有大光斑尺寸的激光雷达（例如，Livox激光雷达），标定板的边缘经常出现膨胀，导致激光雷达和相机数据之间的特征对应不准确。

据我们所知，目前没有开源工具能同时解决所有这些挑战。缺乏实用且通用的标定解决方案仍然是部署激光雷达-相机融合的关键瓶颈。为此，本文呢提出了FAST-Calib：一种用于激光雷达-相机系统（例如FAST-LIVO2）的快速、用户友好的外参标定工具。主要贡献如下：

1. 鲁棒地提取圆孔边缘：该算法与激光雷达扫描模式无关，同时支持机械式和固态激光雷达。

2. 椭圆拟合：补偿由激光雷达光斑扩散引起的边缘膨胀，提高孔中心提取的精度。

3. 提供高效、准确、基于标定板的自动标定流程：具有多场景联合优化功能，使得生产线标定程序可以在实验室环境中复制。

主要内容

A.概述

为准备标定数据，我们首先将定制标定板放置在两个传感器的重叠视场（FoV）内。然后，我们合并多个激光雷达扫描以构建稠密点云。对于16线机械式激光雷达，累积的数据可能仍然过于稀疏。在这种情况下，采用FAST-LIVO2的激光雷达里程计模式，该模式允许轻微的俯仰（pitch）运动以聚合更多点。最终得到成对的稠密点云和图像用于后续处理。如图2所示，FAST-Calib包含两个主要阶段：

1. 激光雷达数据处理阶段（蓝色部分）：我们执行粗略感兴趣区域（ROI）提取、平面分割和圆孔边缘提取，以在激光雷达坐标系中定位四个孔中心。

2. 相机数据处理阶段（红色部分）：我们使用放置在标定板上已知位置的四个ArUco标记[22]来推断相机坐标系中对应的孔中心。

3. 配准：最后，通过使用4对（或4n对）3D-3D对应点进行几何配准来估计外参变换。

图2 FAST-Calib系统框架

B. 相机数据处理

首先执行ArUco标记检测，这为恢复圆孔位置提供了几何参考。给定已知的相机内参和标记的物理尺寸，通过求解透视n点（PnP）问题来估计每个标记相对于相机坐标系的3D位姿。然后采用四个检测到的标记的平均位姿作为标定板的估计位姿，从而确定板坐标系的位置和方向。利用已知的四个孔中心相对于板坐标系的物理布局，可以计算出它们在相机坐标系中对应的3D位置。得到的孔中心表示为点集PC。

C. 激光雷达数据处理

1. ROI提取：

本节分为两个阶段：粗略ROI提取和平面分割。

• 粗略ROI提取：我们首先沿X、Y和Z轴应用直通滤波器（pass-through filters）以隔离包含标定板的点云区域。目标是粗略过滤掉目标区域外的大部分点，无需精细调整直通滤波器的参数。注意，标定板后面或旁边的一些点在过滤后可能仍然存在，但它们不影响后续操作。
• 平面分割：接下来，我们对过滤后的点云执行平面分割。使用RANSAC算法，我们随机采样三个点来拟合一个平面模型，并识别内点（即距离平面在 0.01 m0.01m 内的点）数量最多的那个平面。然后提取这个主导平面（即内点最多的平面）的内点作为最终的平面点云。

2.孔边缘和中心提取：

获得标定板的平面点云后：

• 应用体素下采样（voxel downsampling），沿所有三个轴的分辨率为 8 mm8mm。
• 将平面点云旋转并对齐到 z=0z=0 平面，从而得到一个2D对齐的点云。

3. 提取边缘点：

• 在2D平面上，非边界点通常在其邻域内所有方向上均匀分布有邻居点，而边缘点在其局部邻域内表现出显著的方向性间隙。
• 对于每个2D点pi，计算到其 0.03 m半径内邻近点pj的方向角：

• 将这些角度按升序排序，并使用公式(2)计算相邻角度之间的差值以识别最大的角度间隙：

• 如果最大间隙超过25∘，则该点被分类为边缘点。

4. 使用欧几里得聚类（Euclidean clustering）对边缘点进行分组。

5. 椭圆拟合以识别候选圆孔并补偿边缘膨胀：

• 对每组边缘点进行椭圆拟合，使用一般二次曲线形式：

• 采用直接最小二乘法，并附加约束B2−4AC<0以确保拟合的二次曲线是椭圆。
• 解析计算拟合椭圆的中心：

6. 椭圆验证

给定圆孔的几何先验，我们使用两个标准验证每个拟合的椭圆：

• 其半长轴长度必须与已知孔半径的差异小于 4 cm4cm。
• 其偏心率必须足够低以表明接近圆形。满足这两个标准的椭圆被接受为有效的圆孔提取结果。

7.将孔中心坐标从 z=0z=0 平面变换回原始坐标系，得到点集PL

D. 配准

给定在相机坐标系中提取的点集PC和在激光雷达坐标系中提取的点集PL（均为圆孔中心），目标是找到一个刚性变换TCL，以最小化对应点之间的距离。通过最小化以下最小二乘误差来估计最优变换TCL：

该问题可以通过Kabsch方法获得闭式解，该方法使用奇异值分解（SVD）估计刚性变换。

该公式自然扩展到 NN 次独立采集（即多场景联合标定）的情况：

• 每次采集贡献 4个匹配点。
• 总共产生 4⋅N 个约束。
• 该问题仍然是一个具有已知对应关系的点对点配准任务。

实验结果

在三种传感器配置上验证了我们的标定工具：OS1-128、Livox Avia 和 Mid360，每种配置均与一个广角相机（MV-CS050-10UC CMOS 传感器，搭配 LM5JCM 镜头）配对。 我们的传感器套件已在 GitHub 上开源。对于每种配置，我们收集四对累积的激光雷达点云和相应的相机图像。相机的内参和畸变模型已预先标定。

A. 一致性评估

为了评估所提出标定方法的一致性，我们对每种传感器配置进行了五次实验：

• 四次运行：使用四对数据中的三对进行不同组合的联合标定。
• 一次运行：使用所有四对数据进行联合优化。

如图 3 所示，散点图展示了 Livox Avia、Mid360 和 Ouster 配置下收敛的外参分布。在每种传感器配置中，相机与各种激光雷达模型之间的估计外参在所有六个自由度上都表现出低方差，证明了 FAST-Calib 的一致性和鲁棒性。

图3.收敛的外参在六个度上的分布所有数据组合的自由

B. 精度评估

在标定精度方面对我们的方法与 Velo2Cam进行了定量比较。遵循其设置，我们采用相同的3D 结构化标定板（见图 1）。

• Velo2Cam 通过检测每条环上的深度不连续性来估计圆孔中心，该技术在理论上仅适用于多线机械式激光雷达。然而，由于 Livox Mid360 和 Avia 分别配备了 4 个 和 6 个 EEL 激光发射器，我们将 Velo2Cam 适配到我们的数据上以获得外参标定结果。
• 对每种传感器配置进行了五次实验。
• 使用两组标定的外参计算公式 (5) 中的残差，定量结果如表 I 所示。

Out-of-Sequence RGB & Depth Novel View Synthesis

该方法在固态激光雷达（即 Livox Avia 和 Mid360）上显著优于 Velo2Cam。

• 对于 Mid360 激光雷达，由于其激光束分布极其稀疏且不规则，Velo2Cam 在所有五次运行中均完全失败。
• 对于 Ouster 激光雷达，我们的方法达到了相当的标定精度。

此外，图4展示了在 Livox Avia 和 Ouster 传感器配置下着色点云的定性比较。在所有情况下，点对点配准残差均保持在 6.5 毫米 以下，证明了 FAST-Calib 的高精度对齐能力。

如图4所示（a）和（b）显示了用外部颜色着色的点云分别通过我们的方法和Velo2Cam估计的参数，所有用于联合校准的数据对。（a1）和（b1）对应于Avia而（a2）和（b2）对应于Ouster LiDAR

C. 运行时间评估

评估了每个标定步骤的处理时间。

• 对于每种传感器配置，报告的时间对应于使用四对数据进行联合优化的情况。
• 所有实验均在配备 Intel i7-10700K CPU 的台式 PC 上进行。

如表 II 所示，我们的方法在所有传感器配置上的总处理时间均低于 0.7 秒。我们方法的高效率源于以下几个因素：

1. 避免在稠密点云上操作：转而使用下采样到 8 毫米分辨率的过滤点云，显著减少了计算开销。

2. 边缘提取在 2D 平面进行：实现了快速执行。

3. 多对数据并行处理：导致总运行时间大约等于处理单对数据的时间。

总结

本文提出FAST-Calib—一种面向激光雷达-相机系统的快速、精准、基于标定靶的外参标定工具。该方法创新性地实现了环形孔洞边缘与中心提取算法，该算法不受激光雷达扫描模式限制，并支持多场景联合优化。定量与定性实验结果表明：本方案具有高度一致性、鲁棒性与精确性，可同时适用于机械式与固态激光雷达；且在所有传感器配置下，整体处理时间均保持在1秒以内。凭借这些特性，FAST-Calib有效弥合了生产线标定与实验室环境实际部署之间的技术鸿沟。

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，具身智能，自动驾驶，以及机器人等相关的领域。