Gaussian-LIC2：激光雷达-惯性-相机高斯泼溅SLAM系统

文章：Gaussian-LIC2: LiDAR-Inertial-Camera Gaussian Splatting SLAM

作者：Xiaolei Lang , Jiajun Lv , Kai Tang, Laijian Li, Jianxin Huang, Lina Liu, Yong Liu, Xingxing Zuo

编辑：点云PCL

摘要

本论文提出了首个具备真实感渲染能力的激光雷达-惯性-相机高斯投影 SLAM 系统，能够同时兼顾视觉质量、几何精度和实时性能。所提出的方法在连续时间轨迹优化框架下，实现了鲁棒且高精度的位姿估计，并通过相机与激光雷达数据实时增量构建三维高斯地图。该地图支持高质量、实时的新视角渲染，包括 RGB 图像与深度图。

为有效解决激光雷达未覆盖区域的重建不足问题，我们引入了一个轻量级的零样本深度模型，该模型结合 RGB 外观信息和稀疏的激光雷达数据，生成稠密深度图，从而在激光盲区实现可靠的高斯初始化，显著提升了系统在稀疏雷达传感器下的适用性。

为提高几何精度，作者利用稀疏但精确的激光雷达深度对高斯地图优化过程进行监督，并通过精心设计的 CUDA 加速策略提升优化效率。此外，我们还探索了如何利用增量构建的高斯地图提升里程计的鲁棒性：通过将来自高斯地图的光度约束紧密融合进连续时间因子图优化中，在激光雷达性能退化场景下实现更优的位姿估计。

展示了系统在下游任务中的扩展能力，如视频帧插值与快速三维网格提取。为支持严格评估，我们构建了一个专用的激光雷达-惯性-相机数据集，包含真实位姿、深度图和用于评估非顺序新视角合成的外推轨迹。大量在公开与自采数据集上的实验证明，该系统在不同采样密度的激光雷达传感器下均表现出优异的性能和良好的通用性。

数据集与代码将公开发布在项目页面：https://xingxingzuo.github.io/gaussian_lic2

主要贡献

通过将三维高斯投影（3D Gaussian Splatting）与激光雷达-惯性-相机（LiDAR-Inertial-Camera）融合相结合，本文针对前述挑战，提出了一种实时的真实感 SLAM 系统，称为 Gaussian-LIC2。该系统能够实现鲁棒且高精度的位姿估计，同时构建同时具备高保真视觉信息和几何信息的真实感三维高斯地图。主要贡献如下：

• 首次提出了一个融合激光雷达、惯性测量和相机的高斯投影 SLAM 系统，能够同时兼顾视觉质量、几何精度与实时性能。该系统可以在实时条件下，稳定而精确地估计位姿，并构建真实感和几何精确度俱佳的三维高斯地图。
• 设计了一个快速、轻量且具有良好泛化能力的稀疏深度补全网络，用于预测激光雷达未覆盖像素的深度，从而实现更全面的高斯初始化，并缓解地图重建不足的问题。在训练阶段，我们充分利用激光雷达提供的深度进行监督，同时通过精心设计的 C++ 与 CUDA 实现加速训练过程。
• 探索了如何在连续时间框架中，将增量构建的高斯地图中的光度约束与激光雷达-惯性数据进行紧耦合融合，从而有效增强了系统在激光雷达退化情况下的里程计鲁棒性。此外还扩展了该系统，使得构建好的高斯地图可用于下游任务，例如视频帧插值与快速三维网格生成。
• 构建了一个专门的激光雷达-惯性-相机数据集，提供了真实的位姿与深度图，并设计了精确的采集轨迹，以支持对“非顺序新视角合成”能力的评估。在多个公开与自采数据集上进行了大量实验，验证了该方法在不同类型激光雷达下的优越性与适应性。

图片

图 1：系统输出结果概览（从左到右、从上到下排列）：(1) 由三维高斯组成的重建地图，(2) 从新视角渲染的 RGB 图像，(3) 稀疏的激光雷达点云地图，(4) 从新视角渲染的深度图，(5) 从高斯地图提取的三维网格。

主要内容

图片

图 2：实时真实感激光雷达-惯性-相机 SLAM 系统的处理流程，该系统采用三维高斯来表示地图。

实时真实感激光雷达-惯性-相机 SLAM 系统主要包括两个模块：一个连续时间的紧耦合激光雷达-惯性-相机里程计系统，以及一个基于3D高斯样本（3DGS）的增量式真实感建图后端。首先设计了一个作为前端的紧耦合激光雷达-惯性-相机里程计系统，该系统在连续时间因子图中紧密融合了两个可选的相机因子，并包含来自高斯地图的约束。其次，利用一个高效且具有良好泛化能力的深度模型，完整初始化高斯分布，并为后端建图准备数据。最后，在深度正则化和CUDA加速的支持下，执行真实感建图。

实验结果

In-Sequence RGB & Depth Novel View Synthesis

图片

Out-of-Sequence RGB & Depth Novel View Synthesis

图片

应用

图片

应用一 - 视频帧插值：中间的图像为左右两帧之间时间点的插值帧，得益于连续时间轨迹与三维高斯投影（3DGS）在时空上的建模能力。

应用二 - 快速三维网格提取：从实时重建的高斯地图中生成的法线着色网格。

总结

本文提出了一种新颖的 激光雷达-惯性-相机高斯投影 SLAM 系统，该系统能够兼顾视觉质量、几何精度与实时性能。该方法在实现高精度位姿估计的同时，能够实时构建具备真实感的地图，支持高质量的 RGB 与深度图渲染。显著的是，引入了一个零样本深度补全模型，将 RGB 与稀疏激光雷达数据融合，生成稠密深度图，从而支持在大规模场景下的高斯初始化。高斯地图的训练过程由我们精选的稀疏激光雷达深度数据高效监督，并通过精心设计的 CUDA 加速策略加快优化速度。同时探索了在连续时间框架中，将从高斯地图中提取的视觉光度约束与激光雷达-惯性数据进行紧耦合融合，有效提升了系统在激光雷达性能退化场景下的鲁棒性。作者还扩展了系统功能，使其支持下游任务，如视频帧插值与快速网格生成。最后构建了一个自采的激光雷达-惯性-相机数据集，用于在大规模场景下评估光度与几何建图性能，数据集包含真实位姿、深度图以及顺序外评估轨迹。大量实验证明，该系统在多个方面优于现有方法，显著增强了移动机器人系统在大规模场景下的实时感知能力。