深度学习再升级，单目视觉也可以测距“GGAI年会”

自动驾驶感知技术中最为常用的三种传感器分别是摄像头、毫米波雷达和激光雷达。三种传感器各有优劣：在感知分辨率和信息丰富度上，摄像头遥遥领先；在测量精度方面，雷达采用主动测距原理，具有先天优势；而成本上，激光雷达则较为昂贵。

就传统意义而言，单目摄像头不具备测距能力，其后处理得到的目标距离精度也相当有限。

在2019高工智能汽车年会上，智驾科技（MAXIEYE）联合创始人、算法总监叶春兰表示，作为一家以单目视觉为主体的ADAS供应商，公司将向单目视觉测量精度不足这一缺点发起挑战。

视觉感知技术的突破

随着自动驾驶技术的发展和产业落地推进，更高精度和更远距离的目标识别，是所有OEM主机厂对环境感知最为迫切的需求之一。

针对这一需求，目前智驾科技的最新技术可实现对机动车的有效检测范围超过200米，对行人和骑行者的有效识别距离可达100米，同时可提供精准的立体姿态跟踪信息。其中在50米范围内，可实现和激光雷达数据对标，达到接近1%的误差精度。

单目视觉的突破，高质量的数据积累是基础。

叶春兰表示，公司的产品覆盖了42款量产车型，包括乘用车、商用客车、载货卡车等，拥有主机厂实际反馈的超过200万公里的里程测试数据，涵盖了如强光照、雨天、夜间、隧道、拥堵等各种场景约七十万公里的综合数据，建立了丰富的场景数据库，并以此为基础实现了算法的迭代开发。

数据为视觉的突破打下了基础，但视觉要再进一步，解决测距精度的问题，光依靠传统计算机视觉算法是不够的。

深度学习的迭代升级

深度学习方面的突破，主要体现在深度估计、坡度估计、全图光流和航迹预测四个方面。

叶春兰表示目前深度学习算法可以实现单张图像上的深度估计，这一技术上的突破，打破了单目不能测距这一传统观点。

智驾科技在现场演示的深度估计视频中，采用不同灰度值代表不同距离深度，其中，行人、骑行者、车辆、树木甚至路边的垃圾筒，都可以很清晰被辨识出。

坡度估计的实际意义是什么？

我们知道，无论摄像头、雷达还是其他环境感知传感器，与车体都是刚体连接，而车辆运动过程中，并不是处在一个静止环境，会有上坡下坡的现象，也会因道路不平引起的车身瞬态俯仰变化，此刻，局部感知传感器坐标系就与车辆控制或自动驾驶等真正使用的坐标系产生了偏差。

即，无论是主动测距还是被动测距，如果没有第三维的目标高度信息，其瞬态测量得到的信息都是有误差的。

针对这一问题，智驾科技提出了一种基于图像的直接端到端的深度学习坡度估计方法，加上图像深度估计，实现了基于单帧图像的目标真3D信息实时检测。

深度估计加上坡度估计，为单帧目标识别的视觉感知带来了技术革新，但在整个车辆运动生命周期里，不论是ADAS预警功能、控制功能或是自动驾驶决策规划所需要的感知信息都不会是一个瞬态值，需要的是一个具有连续性和稳定性的环境感知信息。

那我们又是如何保证这种连续性和稳定性呢？简单来说，就是我们如何保证目标A在什么情况下一直都是A，而不会突然变成B呢？

光流估计，实现了图像帧与帧在时间轴上的帧间连续，给出了每个像素点在前后帧间的关联信息，不仅在运动目标检测，在目标跟踪上也有重大作用。

叶春兰举例说道，在目标跟踪匹配的过程中，纵向运动目标，由于其前后帧间的目标位置重合率较高，容易匹配，目标跟踪难度不是很大；但是在跟踪较大的横向运动目标时，由于目标的前后帧在图像上的位置差距非常大，在短短数十毫秒间，可能没有任何重叠区域，容易导致前后帧目标匹配失败，出现目标跟踪丢失或者跟踪错位等现象。

而光流估计可以很好解决这个问题，因为知道了目标是怎样运动的，那我们就对目标下一时刻将出现在哪里有了很好的预判，大大降低了目标因运动方向或速度不同而导致的跟踪丢失概率。

最后是航迹预测，无论在高速公路还是城市道路上，车道保持或车道居中等车辆横向自动控制都依赖一个前提：车道线。那没有车道线怎么办？很多地方是没有车道线的，在这些非结构化道路上车辆又该如何实现自动驾驶呢？

业内更多考虑的是Free Space的概念，即可行驶区域，哪些地方可以行驶哪些地方不可以行驶，都用像素标识出来。无论是视觉还是激光雷达，都可以给出自己的可行驶区域表达方式，区别就是谁更快、谁更好、谁更稳定。

车辆决策大脑得到这个信息后，需要进行更为高级的特征抽象，如预瞄点、轨迹线等，才可有效引导车辆行进。

对此，智驾科技叶春兰表示，深度学习可以直接给出端到端的航迹预测，基础特征提取和高维特征抽象可以一步到位。

功能上的扩展

除了常规的ADAS功能，智驾科技从功能需求和成本优化上进行了产品的功能扩展：光感监测和雨量监测。

智驾科技的光感监测技术不仅是可以识别环境光的强弱，还可以把整个光线从明到暗进行亮度等级划分，并且不受城市道路复杂环境光干扰，能实现在城市、高速、隧道等不同道路上有效识别白天、夜晚等各种光强等级。

结合目标识别技术，可有效实现机械式ADB、矩阵式ADB、投影式DLP等智能大灯功能。

其次在雨量监测方面，智驾科技的雨量监测技术可实现对小雨、中雨、大雨等不同等级的雨量实时监测，进而控制雨刮以对应的等级速度进行刮动。

总的来说，智驾科技提供的光雨检测功能，是基于现有产品平台，在不变更硬件的前提下，提升客户智能化体验，为OEM有效节省了一些传统配置的硬件成本。

融合感知赋能自动驾驶

针对L2~L3等级的ADAS或自动驾驶功能，单目视觉本身性能的质变提升，足以支撑对应功能项的应用。

但在功能安全等级上，就其全天候适应性来讲，视觉传感器存在着先天性缺陷，如果传感器技术本身没法突破，在应用于更高级自动驾驶系统时，必然会出现一些问题。

针对这个问题，叶春兰表示不是增加一个或多个摄像头就可以解决的，而是需要增加具有互补特性的传感器，通过不同类型的传感器冗余方案来实现全天候的功能安全等级要求。

目前，智驾科技在综合考虑技术整合、功能安全和实际量产的前提下，优选1个前视加1个雷达（1V1R）的传感器冗余方案，使其在有效的前视范围内，功能安全等级可达到五星级的水准。

叶春兰表示，若使用常规性能的视觉模块，需要叠加一个高性能的毫米波雷达，才能做到AEB或者更精准的控制。

而智驾科技新一代单目产品，由于在性能上有突破性进展，只需加上普通的毫米波，就可以实现相应的感知冗余功能，这不仅是给主机厂提供了更大的选择空间，也向国产毫米波雷达供应商抛出了合作的橄榄枝。

推出第三代视觉产品

ADAS在新车上的普及序幕已经拉开，未来5年将会成为国产ADAS供应商争夺前装市场的关键时期。

那么，谁才能占据高端ADAS的C位？

叶春兰表示，从客户反馈的痛点来看，从预警到控制，然后再到自动驾驶，功能的多样性会越来越多，需要综合考虑全天候性能、功能集成、法规、量产、售后服务和成本等一系列问题。

就市场需求来看，消费者从被动安全向主动安全的需求转换越来越强烈，国家政策的大力推动也是毫不迟缓。

2016年以来，针对营运客车、载货、牵引车辆法规的逐步实施带来了众多的利好政策。2020年实际上是重卡ADAS的量产元年，这必然会给行业带来新一轮的挑战。

ADAS产品在乘用车和商用车上的应用，技术本身及落地考量都有不同，主要的挑战有安装高度引起视野差、负载不同导致俯仰变化大、产线改造引起成本增加等。

仅以俯仰角为例，卡车有空载和装载的情况，车身重量会发生巨大变化，由此造成的车身俯仰角的偏差是巨大的，极端情况会超过正负十度，而乘用车上一般只有正负三度。

以大量商用车量产经验积累为基础，智驾科技的产品突破性的解决了行业面临的真实痛点。在不增加OEM产线改造的成本前提下，产品的落地应用能够不局限于车型大小，不受限于摄像头安装位置，大大提升了产品的市场空间。

智驾科技日前推出了第三代的视觉产品，覆盖了常规ADAS功能，包括从地面标识标线（车道线、停车线、斑马线）及路沿到地面上的机动目标（如行人、骑行者和车辆）的识别，甚至到空中限速、限高标志的识别，以及针对红绿灯的识别。

在个性化功能方面，光雨监测、自动标定、自动校准及OTA在线升级系统和选配的DMS功能为其带来了更大的行业竞争优势。

目前，智驾科技的第三代产品是已发售的状态，选用车规级SOC芯片的硬件平台，支持前向77G毫米波雷达融合和DMS的扩展，帧率可达30帧。

同时，智驾科技延续了其所罗门计划开放的理念，继续开放协议架构和控制策略、图像数据，为战略客户提供定制功能。