法雷奥：高光谱成像在自动驾驶中的应用与挑战

◆ 高光谱成像基础与技术概述

（一）工作原理

高光谱成像的核心是捕捉电磁辐射与物质间的相互作用（如吸收、反射、透射），生成包含“2个空间维度+1个光谱维度”的三维超立方体数据结构，其关键优势在于高光谱分辨率——可捕捉数百个窄连续光谱波段，能够精准识别物质的“光谱签名”（类似化学指纹），从而克服传统RGB相机仅3个宽波段导致的同色异谱问题（即不同物质呈现相同颜色）。

与其他成像技术相比，RGB相机易受环境光与物质颜色表象影响，多光谱成像（MSI）仅含3-15个离散光谱波段且存在光谱间隙，而HSI的连续窄波段特性使其具备区分细微材料差异的能力，例如可精准辨别RGB中视觉相似的干沥青与湿沥青。

（二）光学传感器技术

当前主流光学传感器按适用光谱范围与特性可分为五类：

1. Si传感器：主要覆盖可见光-近红外波段（VNIR，0.4-1.1μm），技术成熟、成本较低且像素密度高，但在波长超过1.0μm后响应会急剧下降，仅适用于白天场景，难以应对恶劣天气下的感知需求；

2. InGaAs传感器：光谱覆盖扩展至短波红外波段（SWIR，0.9-2.6μm），在雾、雨等恶劣天气下仍能保持较好感知能力，但需额外冷却装置，成本较高，不利于汽车领域的集成与降本；

3. 量子点（QD）传感器：属于新兴技术，光谱覆盖范围极广（0.4-18μm，涵盖VIS至长波红外LWIR），支持室温运行且外量子效率（EQE）可达100%，具备成为汽车领域未来核心传感器的潜力，但目前仍处于研发阶段；

4. 碲镉汞（MCT）传感器：可覆盖中波红外-长波红外波段（MWIR-LWIR，3-25μm），光谱覆盖能力强，适用于夜间热成像感知，但需低温冷却，且集成难度大，难以适配汽车领域系统；

5. 氧化钒（VOx）传感器：专注于长波红外波段（LWIR，8-14μm），无需制冷，具备轻量、低功耗特性，可用于夜间行人检测，但无光谱分辨率，无法发挥HSI的材料级识别优势。

（三）采集技术

HSI采集技术按工作方式可分为四类，其汽车领域适配性差异显著：

1. 空间扫描技术：包括whiskbroom（点扫描）与pushbroom（线扫描）两种方式，前者通过逐点采集构建图像，后者通过逐线采集生成数据，两者共同缺点是采集速度慢（帧率通常为0.5-256秒/帧），在动态交通场景中易产生运动失真，汽车领域应用潜力极低；

2. 光谱扫描技术：依赖可调滤波器或线性可变滤波器（LVF）逐波段采集光谱信息，虽比空间扫描略快，但仍存在采集延迟，易导致图像模糊，动态场景适配性较差，汽车领域应用价值低；

3. 快照技术：通过单次曝光即可获取完整的超立方体数据（如采用马赛克滤镜、计算成像等方案），帧率可达20-30 FPS，能够适配动态交通场景，是当前ADAS/AD领域HSI采集技术的核心发展方向；

4. 混合技术：结合多模态成像（如HSI+RGB），试图兼顾不同成像技术的优势，但采集延迟仍较高（约200ms/帧），动态场景适配性一般，仅可作为过渡阶段的技术方案。

三、ADAS/AD中高光谱成像的应用现状与挑战

（一）现有HSI数据集

当前支撑HSI在ADAS/AD领域研究的数据集规模小、标准化程度低，主要包括四类：

1. HyKo数据集：分为可见光（VIS，0.47-0.63μm，15个光谱通道）与近红外（NIR，0.63-0.975μm，25个光谱通道）两部分，但NIR数据仅覆盖路面视角，缺乏全场景感知所需的多视角信息；

2. HSI-Drive数据集：光谱范围为0.6-0.975μm，含25个光谱通道，包含四季场景数据，但像素级标注精度粗糙，且光谱覆盖范围窄（仅涵盖红光至近红外波段）；

3. H-City数据集：光谱范围0.45-0.95μm，含128个光谱通道，空间分辨率达1422×1889，提供19类精细标注信息，是当前规模最大、标注最精细的HSI自动驾驶数据集，但总场景数仅1330个，且无SWIR波段数据；

4. HSI-Road数据集：光谱范围0.68-0.96μm，含25个光谱通道，仅支持道路二分类（可通行/不可通行），功能单一，无法支撑复杂交通场景的研究。

上述数据集存在共性局限：无统一的数据格式、标注规则与评估标准，场景覆盖范围有限（多为城市场景，缺乏乡村、高速场景），且关键类别（如行人）占比不足0.5%，存在严重的类不平衡问题，远不能满足大规模算法训练与验证需求（对比RGB领域的Cityscapes数据集，后者含数千个场景）。

（二）核心研究应用

1. 语义分割评估：早期研究基于HSI-Drive数据集，采用人工神经网络（ANN）、UNet等模型实现像素级语义分割（如2021年Basterretxea等人的研究）；2024年后，研究逐渐转向多数据集基准化评估（如HS3-Bench基准采用DeepLabv3+模型，跨HyKo与H-City数据集验证性能），并引入注意力机制（如CBAM、CA模块）优化UNet模型以提升分割精度，但现有模型多基于RGB场景设计，未充分利用HSI的光谱维度特性，在车辆移动等动态场景中特征提取效果不佳。

2. 材料鉴别与路面分析：HSI可通过光谱签名精准区分沥青、水、玻璃、涂漆表面等不同材料，进而检测路面冰、雪覆盖情况及路面破损状态，评估路面附着性（如湿滑度），为AD的牵引力控制与道路基础设施维护提供数据支撑，解决了传统RGB相机无法精准判断路面状态的问题。

3. 目标分类与恶劣天气感知：在雾、雨、低光等恶劣环境下，RGB相机易因光线散射或亮度不足导致目标误判，而HSI的SWIR波段抗散射能力强、LWIR波段支持热成像，可有效识别行人、骑行者等目标；但目前相关研究缺乏动态交通场景的大规模验证，HSI与RGB的融合方案尚未成熟，难以直接适配现有ADAS架构。

（三）关键研究挑战

1. 数据集与标准化问题：数据集规模远小于RGB领域，场景与环境多样性不足，且无统一的标注规则（如类别定义、标注精度），导致算法跨数据集泛化能力差；

2. 评估与基准缺失：缺乏针对HSI自动驾驶应用的统一评估指标（如未明确光谱分辨率在性能评估中的权重），不同研究采用的数据集与评价标准不同，研究结果难以横向对比；

3. 算法与计算负担：HSI数据量是RGB数据的8-43倍（如H-City数据集128通道HSI vs 3通道RGB），现有车载硬件难以支撑实时数据处理，且算法未充分适配HSI的光谱特性，无法高效利用光谱信息；

4. 应用适配难题：HSI系统需兼容现有ADAS/AD硬件架构，同时满足汽车领域功能安全标准（如ISO 26262），当前技术方案在集成性与安全性上均存在差距。

四、HSI传感器的汽车领域适用性分析（基于216款商用相机）

（一）评估框架：Matching Criteria Subset（MCS）

研究团队基于ADAS/AD的保守型需求，制定了MCS评估标准，核心包括四项：

1. 工作温度：符合AEC-Q100 Grade 3标准，即工作温度范围覆盖-40°C至+85°C（适配车辆在寒冬、酷暑等极端环境下的运行需求）；

2. 帧率：≥20 FPS（满足动态交通场景的实时感知需求）；

3. 空间分辨率：≥100万像素（确保目标识别的清晰度）；

4. 光谱通道：≥30个（符合IEEE 4001标准对HSI的定义，保证光谱识别能力）。

（二）关键发现

1. 性能达标情况：在216款商用HSI与MSI相机中，仅4款满足MCS标准中的帧率、空间分辨率与光谱通道三项要求，分别为Imec Snapshot UAV、LightGene HF820、LivingOptics System、Seetrum SEE8820；但所有216款相机均不满足AEC-Q100 Grade 3温度标准，其中Si传感器与InSb传感器的温度耐受能力相对较优（Si传感器可在-20°C至+70°C运行），但仍未达到-40°C的下限。

2. 光谱覆盖局限：73%的HSI相机集中于VNIR波段（0.4-1.1μm），仅少数相机覆盖SWIR波段，LWIR波段相机多为单通道热成像设备（无光谱分辨率），无法满足ADAS/AD全天候感知需求（如SWIR抗雾、LWIR夜间感知）。

3. 硬件参数瓶颈：

① 从功耗来看，HSI相机平均功耗为18.56 W，MSI相机平均功耗为8.66 W，HSI功耗接近车载系统电源预算上限；

② 从重量来看，HSI相机平均重量1.58 kg，MSI相机平均重量0.20 kg，HSI的重量会增加车辆负载，不利于整车能耗控制；

③ 从帧率与分辨率细节来看，HSI相机平均帧率61.89 FPS，MSI相机平均帧率96.76 FPS，达标HSI相机的帧率集中在20-30 FPS；

④ HSI相机空间分辨率范围为0.0013-7.5万像素，达标HSI相机的分辨率集中在1.56-5万像素；

⑤ HSI相机光谱通道数范围为4-1440个，达标HSI相机的通道数集中在31-125个。

五、未来发展方向

（一）微型化快照相机开发

核心目标是实现HSI传感器的AEC-Q100温度标准合规，同时扩展光谱覆盖范围（从VNIR延伸至MWIR波段），通过采用微光学设计、金属透镜等技术减小传感器体积，引入片上AI加速模块降低数据吞吐量与功耗，使其适配车载系统的空间与电源需求。

（二）大规模标准化数据集建设

需构建覆盖多场景（城市、乡村、高速公路）、多天气（雾、雨、雪、夜间）、多地理区域的HSI数据集，提供材料级精细标注（如目标材质、路面状态）；同时推动行业制定统一的数据集标准，包括数据存储格式、标注规则（如类别定义、标注精度）与评估指标（如光谱-空间联合识别精度），解决当前数据集规模小、标准化不足的问题。

（三）深度学习与光谱-空间模型优化

研发适配HSI特性的混合深度学习模型，如结合卷积神经网络（CNN）的空间特征提取能力与Transformer的全局关联捕捉能力，引入光谱注意力机制强化对关键光谱波段的利用；在部署层面，通过模型剪枝、量化等技术减小模型体积，采用FPGA硬件加速提升处理速度，确保满足车载系统的实时性要求（处理延迟≤33毫秒/帧）。

（四）色彩科学与光谱渲染

重点研究光照不变光谱描述符，降低昼夜光照变化对HSI感知的影响；开发自适应波段选择算法，根据不同场景（如晴天、雾天）动态调整光谱覆盖范围，提升感知效率；优化HSI与RGB的融合方案，使其兼容现有ADAS/AD感知流程，减少系统集成难度。

六、结论

高光谱成像技术在ADAS/AD领域具备不可替代的优势——可提供材料级场景理解能力，解决传统RGB相机在同色异谱与恶劣天气下的感知局限，有望显著提升自动驾驶的安全性；但当前技术存在核心差距：商用HSI传感器与汽车领域需求严重脱节（无温度合规产品、光谱覆盖不足），数据集规模小且无标准化，算法未适配HSI光谱特性；推动HSI在ADAS/AD领域落地，需硬件研发（微型化、温度适配）、数据建设（标准化、大规模）、算法优化（光谱适配、轻量化）三大领域跨行业协作，才能将HSI从实验室研究推向产业化应用。