跨过城区自动驾驶“障碍”：如何解决红绿灯识别难题

随着高级别自动驾驶功能的扩展，车辆必须拥有与现有基础设施协调运作的系统，并能处理复杂的城市路况。

这其中，十字路口的交通灯是最复杂的因素之一，比如不同的形状、大小和位置；还有不同的色彩差异以及不同的箭头方向。

对于感知系统来说，必须在很短的时间内在远处识别这些红绿灯，并正确作出感知，做出相应的反应。

就在上个月，特斯拉释放了红绿灯和停车标志识别控制系统的软件更新。考虑到车路协同的大规模基础设施升级改造需要几年时间，基于车端传感器和其他数据融合的技术，更为迫切。

日本金泽大学(Kanazawa University)的研究人员日前宣布已经开发出一种新的方法，可以帮助车辆处理150米外城市复杂的交通红绿灯和方向箭头。

在车辆、行人和各种物体密集的城市地区，车辆面临着特殊的挑战。通常使用传感器来估计位置，并使用提供静止道路物体精确位置的高清数字地图来处理这一问题。

研究人员表示，“要让车辆安全做出反应，它们必须在至少100米以外的地方看到红绿灯。”我们创建了一种独特的算法，使用数字地图来识别相关的红绿灯，然后计算必要的加速或减速。我们还发现了一种方法，可以帮助车辆比大多数人更好地辨认远处的箭头灯。

用高分辨率镜头或长焦镜头就能在远距离识别出交通灯，似乎是一件相对简单的事情。但当快速决策和较宽的视场角至关重要时，会增加处理时间和缩小视场。

这个基于数字地图的算法解决方案与传感器一起工作，以绘制车辆的位置和“感兴趣的区域”，包括交通灯。

首先，研究人员实现了长距离的交通灯检测和响应，几乎没有假阳性检测，并具有可管理的CPU负载。另一方面，系统能够识别小箭头物体，甚至是那些小于10像素的物体。

不过，交通灯问题的复杂度非常高。这不是一个简单的距离检测问题，如果没有车路协同，则必须完全依靠计算机视觉系统来理解什么时候停下来，什么时候走。

这对于视觉系统和开发算法的团队来说都很困难，因为交通灯的可见性可能会因天气条件（如明亮的阳光、雨、雪或雾）而变化。

此外，交通灯是一个工程系统，按交通模式定时。虽然有规定告诉汽车什么时候停车、什么时候走，但其他司机、行人和骑自行车的人等固有人类行为有时意味着这些规定并不起作用。

同时，交通灯的感知，需要的数据集是巨大的，而且多元化必须覆盖足够的边缘场景。

按照目前的数据测算，解决方案测试部署到一辆车上，大约需要1,000到10,000张照片，要真正释放一个合规功能，大约需要10,000到100,000张照片。

这是一个很大的数据量，而且需要大量数据来解释边缘情况，比如特殊道路条件下的交通灯，是未知的。除此之外，随着道路规则和周围世界的变化，训练模型需要不断更新训练数据。

事实上，特斯拉对于交通信号灯的处理，也是基于深度学习的不断训练。特斯拉强调，在软件更新发布中，交通信号灯控制功能还处于“测试版”，一开始可能比较保守，而且经常会减速。

“随着时间的推移，这一功能将更自然地控制。不过，在有行人、雨水、阳光直射的恶劣环境下，车主应该密切关注，并“随时准备立即采取行动，包括刹车。”

英伟达此前也推出了类似的解决方案，NVIDIA DRIVE AV软件依靠DNNs的组合来检测和分类交通标志和信号灯。

基于WaitNet DNN进行十字路口检测、交通灯检测和交通标志检测。然后，LightNet DNN将交通灯的形状和状态进行分类，而SignNet DNN则识别交通标志的类型。

这三个DNNs 共同构成了等待状态感知软件的核心，检测自动驾驶汽车需要减速停车并在继续行驶前等待的交通状况。

如上所示，交通信号灯和标志检测与交通信号灯状态/形状和交通信号灯类型分类分离。

这种分离的原因是能够优化的精度/召回的交通信号灯和标志检测独立于分类性能，同时能够在红绿灯和标志检测过程中利用WaitNet的上下文理解。

为了对交通灯进行形状和状态分类，LightNet被设计为一个多类卷积DNN。此前，英伟达透露，还计划对其他交通灯和标识类以及其他地理区域进行进一步的覆盖扩展。

按照此前戴姆勒和英伟达的战略合作计划，双方合作的平台计划推出适合于交通信号灯和标识识别、车辆和行人目标识别、路径感知、凝视检测和手势识别等任务的人工智能子系统。

不过，真正的安全冗余，还需要车路协同的支持。此前，包括奥迪、宝马在内的多家汽车制造商都采取了将GPS和V2I技术融合的方案来实现红绿灯识别。

这些远程信息处理设备，每0.4秒传输一次交通灯的状态。在实验车上实时记录事件，以验证交通灯的颜色。

Mobileye公司表示，通过车载摄像头和交通灯信息处理单元接收交通灯信息，将逐步推广到全球其他地区。“目标是建立冗余机制，以验证自动驾驶车辆接收到的信息可靠性。”