融合LiDAR与4D雷达的协同感知：V2X-R数据集与去噪扩散方法深度解析

论文链接：https://arxiv.org/pdf/2411.08402

项目链接：https://github.com/ylwhxht/V2X-R

本文提出了首个包含4D雷达的V2X协同感知数据集V2X-R，并创新性地设计了基于去噪扩散模型的多模态融合方法MDD，显著提升了自动驾驶系统在恶劣天气条件下的3D目标检测性能。文章将从研究背景与贡献、数据集构建、方法框架、实验结果以及未来方向五个维度进行系统分析，重点剖析其技术原理与创新价值。

简介

在现代自动驾驶和智能交通系统中，3D目标检测技术扮演着至关重要的角色。它不仅帮助车辆感知周围环境，还能在复杂天气条件下保持高效性和准确性。这篇论文聚焦于LiDAR-4D雷达融合方法的最新进展，旨在解决单一传感器在恶劣天气下的性能限制问题。首先，作者介绍了多种基于LiDAR和4D雷达的协同检测方法，并展示了它们在不同天气条件下的表现。其次，研究团队提出了一种名为MDD（Multi-Domain Denoising）模块的新方法，该模块通过多步扩散过程将噪声分布转换为高斯分布，从而显著提升了模型在不利天气条件下的性能。

具体来说，本文对比了多种流行的3D目标检测方法，如InterFusion、L4DR、V2XViT等，在不同IoU（Intersection over Union）阈值下进行了详细的性能评估。结果表明，融合多模态数据的方法不仅能够在正常天气条件下表现出色，还能有效应对雪天、雾天等复杂天气状况。此外，实验还验证了MDD模块的有效性，特别是在处理实际世界中的密集噪声方面。这些发现为进一步提升自动驾驶系统的可靠性和鲁棒性提供了重要参考。

V2X-R数据集构建

高质量的数据集是推动自动驾驶研究的关键基础，而现有协同感知数据集普遍缺乏4D雷达数据。为此，研究团队基于CARLA和OpenCDA仿真平台构建了V2X-R数据集，其创新性主要体现在传感器配置、天气模拟和协同感知特性三个方面。如表1所示，每个智能体（包括车辆和路侧单元）都配备了4台摄像头、64线LiDAR和4D雷达，形成了多模态感知阵列。特别值得注意的是，4D雷达被设置为150米探测范围、120°水平视场角和30°垂直视场角，这种配置既考虑了实际雷达的性能特点，又确保了与LiDAR的空间覆盖互补性。

数据集包含12，079个场景、37，727帧点云数据和170，859个标注的3D边界框，其规模远超同类数据集。在数据生成过程中，研究者特别关注了多智能体协同带来的信息增益。如图3所示，通过分析不同距离下的点云占有率和点数分布，他们发现协同感知显著提升了中远距离的检测能力——单一智能体的4D雷达在80米外只能检测到约20%的实例，而多智能体协同将这个比例提升至60%以上。这一发现验证了V2X通信在扩展感知范围方面的价值。

为了评估系统在恶劣天气下的鲁棒性，研究团队基于物理反射和几何光学方法，开发了高保真的天气模拟算法。对于雾天效果，他们采用gamma参数控制衰减系数，通过alpha调整散射强度；雪天模拟则考虑降雪率、终端速度等参数，确保粒子运动符合物理规律。如图5所示，模拟生成的雾天LiDAR点云呈现出典型的信号衰减特征：近距离目标保持清晰，但远处物体变得模糊且伴随大量噪声点。这种基于物理的模拟方法已被前期研究证实与真实天气数据具有一致性，为算法验证提供了可靠基础。

V2X-R数据集在标注和校准方面也做了细致工作。所有4D雷达点云都预先转换到LiDAR坐标系，方便跨模态对齐；每个场景还提供GNSS/IMU数据以支持时空同步。如表9所示，数据集采用.pcd格式存储点云，其中4D雷达点包含坐标和速度信息，这种结构化设计便于研究者快速开展实验。值得一提的是，团队还公开了详细的数据采集协议（data_protocol.yaml），包括智能体轨迹配置等元数据，这种开放性将大大降低领域内的研究门槛。

方法论深度解析

3.1 协同融合框架设计

研究团队提出了一套完整的LiDAR-4D雷达协同融合框架，如图4(a)所示，该框架包含四个关键阶段：单智能体编码、智能体间融合、模态间融合和检测框预测。在编码阶段，共享权重的编码网络Gθ将原始点云转换为特征空间表示（公式1）。这种设计既保证了不同智能体间处理的一致性，又避免了参数爆炸问题。特别地，对于4D雷达点云，速度信息被显式地编码到特征中，为后续运动分析提供基础。

智能体融合阶段采用自注意力机制（公式2）实现跨车辆的特征交互。与传统早期融合（传输原始数据）或晚期融合（传输检测结果）相比，这种在特征层面的中间融合策略在带宽和性能间取得了更好平衡。如图5所示，多智能体协作虽然扩展了感知范围，但也带来了噪声传播问题——雾天条件下，来自其他车辆的LiDAR特征可能包含放大后的噪声。这一观察直接启发了后续MDD模块的设计。

模态融合阶段是框架的核心创新点。作者探索了两种实现路径：SA2MA（单智能体多模态扩展为多智能体）和SM2MM（单模态多智能体扩展为多模态）。前者适合已有LiDAR-4D雷达融合算法的升级，后者则便于LiDAR协同感知系统的扩展。如表4所示，这两种策略在不同基线上都展现出显著优势，其中基于CoBEVT的SM2MM实现取得了86.92%的mAP@0.7，比单模态版本提升5.86个百分点，验证了跨模态互补的有效性。

3.2 多模态去噪扩散(MDD)模块

针对恶劣天气下的特征噪声问题，论文提出了创新的MDD模块，其核心思想是通过扩散过程将复杂的天气噪声分布转化为高斯分布，再利用4D雷达特征作为条件引导去噪。如图4(b)所示，该方法首先对噪声LiDAR特征

进行T步扩散（公式5），通过重参数化技巧实现分布转换（公式6）。这一步骤的关键在于αt的设计，作者采用余弦调度器，在保留原始特征结构的同时逐步添加高斯噪声。

在去噪阶段，U-Net结构的网络Uθ以4D雷达特征

为条件，执行逆向扩散过程（公式7）。这种设计的优势在于：4D雷达在雾雪天气下仍能保持稳定的几何感知，为LiDAR特征恢复提供了可靠锚点。如表7所示，相比直接去噪，扩散模型将雾天条件下的mAP@0.7提升了3.15个百分点，验证了分布转换的有效性。此外，作者设计了动态调整的损失权重

（公式9），在训练初期专注于特征去噪，后期逐步转向检测优化，这种课程学习策略进一步提升了模型收敛性。

MDD模块在实现上考虑了计算效率，如表14所示，U-Net采用128维的中间特征，仅包含2个残差块，在保持3层扩散步数的情况下，推理时间仅增加32ms，整体系统仍能维持20FPS的实时性能。这种效率-效果的平衡对自动驾驶应用至关重要。值得注意的是，如表8所示，模块性能对超参数选择相对鲁棒，在T=3和ψ=3时即能达到最佳效果，这降低了实际部署时的调参难度。

实验结果与分析

4.1 基准测试对比

研究团队在V2X-R数据集上进行了全面的基准测试，涵盖了LiDAR单模态、4D雷达单模态以及LiDAR-4D雷达融合三类方法。如表2所示，在LiDAR基准中，AdaFusion以84.81%的mAP@0.7领先，展现了多模态蒸馏的优势；而较新的SICP方法因侧重个体感知能力，性能反而有所下降。这一现象说明在协同感知场景下，单纯追求算法复杂度未必能获得最佳效果。

4D雷达基准的结果（表3）呈现出有趣发现：虽然单智能体条件下雷达性能明显低于LiDAR（RTNH仅有4.65%mAP@0.7），但通过协同感知，CoBEVT-4D版本达到了54.48%的mAP，证明多智能体协作能有效弥补雷达分辨率不足的缺陷。这一发现为雷达在自动驾驶中的应用开辟了新思路——不再仅作为辅助传感器，而是可能形成独立的感知体系。

融合方法的优势在表4中得到充分体现。在IoU=0.7的严格标准下，所有融合模型都显著超越单模态版本，其中Where2comm提升幅度达8.23%。值得注意的是，不同基线的增益差异较大：基于自注意力的AttFuse受益相对有限，而结合了BEV特征的CoBEVT则展现出更好的多模态整合能力。这些结果为算法选型提供了重要参考。

4.2 天气鲁棒性验证

为评估系统在恶劣天气下的表现，作者设计了跨天气域的测试方案。如表5所示，在雾天条件下，基础融合模型（AttFuse-L+4DR）比LiDAR单模态提升5.66%mAP；加入MDD模块后，性能再提升5.73%，充分证明了去噪机制的有效性。更令人惊喜的是，这些改进几乎不影响正常天气下的性能（差异<0.2%），说明MDD具有自适应性。

在真实数据集K-Radar上的测试（表6、12）进一步验证了方法的泛化能力。对于轿车检测，MDD在雨雪条件下带来5-6个百分点的提升；而巴士类别的结果则揭示了目标尺寸的影响——大尺寸物体因包含更多噪声点，去噪后改善更显著（heavy snow下提升6.3%）。这些发现为后续研究指明了方向：不同类别可能需要差异化的去噪策略。

4.3 模块剖析与效率分析

通过消融实验（表7），作者验证了MDD各组件的作用：单独使用U-Net直接去噪效果有限；引入扩散过程带来显著提升；而条件化设计则进一步完善了性能。在效率方面（表10），融合模型虽然增加了通信量，但在5G网络(7Gbps)下延迟仍控制在400ms以内，满足实际应用需求。特别值得注意的是，如表11所示，所有方法在定位误差增大时性能都会下降，但融合模型表现出更好的鲁棒性，这得益于多传感器提供的冗余信息。

结论与未来展望

本研究通过V2X-R数据集和MDD方法，为自动驾驶协同感知开辟了新方向。其核心价值在于证明了4D雷达在恶劣天气下的不可替代性，以及扩散模型在特征去噪中的潜力。从技术发展角度看，这项工作至少带来三点启示：首先，多模态融合应从简单的数据拼接转向更深层的特征交互；其次，天气鲁棒性应作为核心指标而非附加属性；最后，协同感知算法的设计需同时考虑性能和带宽的平衡。

未来研究方向：探索动态模态加权机制，根据天气条件自动调整传感器贡献；开发轻量化MDD变体，进一步降低计算开销；构建更大规模的真实世界数据集，缩小仿真与现实的差距。此外，如表12中巴士类别的结果所示，类别自适应的去噪策略可能成为提升方向。随着5G-V2X技术的普及，这类协同感知方法有望在实际交通系统中发挥更大价值，最终推动全天候自动驾驶的实现。

从更宏观的视角看，这项研究代表了一种范式转变——从追求理想条件下的峰值性能，转向确保复杂环境下的稳定表现。这种鲁棒性优先的设计哲学，正是自动驾驶技术走向成熟的关键。随着传感器成本的下降和算法效率的提升，LiDAR-4D雷达融合方案有望成为下一代自动驾驶系统的标准配置。