YOLO-SLD：一种改进的注意机制YOLO车牌检测

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10571945

计算机视觉研究院专栏

Column of Computer Vision Institute

车辆牌照检测在智能交通系统中起着关键作用。检测汽车、卡车和货车等车牌对于执法、监控和收费站运营非常有用。

PART/1

概述

如何快速准确地检测车牌是车牌识别的关键。然而，在现实世界的复杂捕捉场景中，要检测的车牌的不均匀光照条件或倾斜拍摄角度会发生巨大变化，检测难度也会增加。同时，距离、光照、角度等要求都相当高，严重影响了检测性能。

因此，提出了一种改进的YOLOv7，集成了用于车牌检测的无参数注意力模块SimAM，即YOLO-SLD。在不修改YOLOv7的关键组件原始ELAN架构的情况下，在ELAN的末尾添加了SimAM机制，以更好地提取车牌特征并提高计算效率。更重要的是，SimAM模块不需要向原始YOLOv7网络添加任何参数，从而减少了模型计算，简化了计算过程。首次在CCPD数据集上测试了具有不同注意机制的检测模型的性能，证明了所提出的方法是有效的。实验结果表明，YOLO-SLD模型具有更高的检测精度，并且在mAP为0.5时更轻，整体准确率从原始YOLOv7模型的98.44%提高到98.91%，准确率提高了0.47%。CCPD测试子集在暗图像和亮图像中的准确率从93.5%提高到96.7%，准确率提高了3.2%。与原始YOLOv7模型相比，模型的参数大小减少了120万个参数。其性能优于其他流行的车牌检测算法。

PART/2

背景

世界交通网络迅速扩张，车牌检测技术取得了重大进步，在交通系统中变得至关重要。它具有广泛的潜在应用，广泛应用于车辆出入管理、智能停车、高速公路收费管理、被盗车辆检测、停车场管理、电子收费系统和交通流量监控等领域。在此背景下，智能交通系统（ITS）和自动车牌识别（ALPR）的研究应运而生。近年来，使用深度卷积神经网络（CNN）检测物体取得了重大进展。经典的自动车牌识别系统通常包括三个主要模块，以确保有效的识别性能：车牌检测（LPD）、字符分割（CS）和光学字符识别（OCR）。在早期阶段，LPD的主要挑战包括在不同的车牌布局和语言、不同的尺寸和纵横比下的遮挡，以及在不同的光照和天气条件下嘈杂或不干净的输入图像，如下图所示。

这个阶段的理想结果是一组精确检测到的车牌。这一阶段对系统的最终性能至关重要。非板状物体的错误分类可能会导致后续阶段的错误。

近年来，CNN一直处于物体检测的前沿。与传统的手动注释特征提取方法相比，深度学习具有丰富的训练数据，展现出了高效率和灵活性。基于CNN的各种框架，如SSD、YOLO、R-CNN和全卷积网络（FCN），已被提出用于与车牌检测相关的众多研究。

在[License plate recognition system based on improved YOLOv5 and GRU]中，作者在YOLOv5的下采样过程中添加了一种改进的信道调度机制，即挤压和激励，并在其中添加了位置信息，以最大限度地减少采样信息丢失，从而提高了模型提取特征的能力。下表是对相关工作中的研究进行比较后的分析。

PART/3

新技术分析

• SimAM

基于成熟的神经科学理论，Liang等人于2021年提出了SimAM，这是一种完全三维、加权和无参数的注意力机制。与其他现有的注意力机制相比，SimAM考虑了空间和通道因素之间的相关性，可以有效地为特征映射生成逼真的3D权重，而不需要进一步的参数。它通过在速度和准确性方面实现高性能，提高了网络有效表示特征的能力。在视觉神经科学中，与相邻神经元相比，信息量最大的神经元表现出不同的放电模式的现象被称为信息丰富的神经元。这些神经元通常表现出明显的空间抑制作用。这种效果通常对视觉处理任务的结果产生更大的影响。通过评估目标神经元和其他神经元之间的线性可分离性，可以区分这些神经元。此外，图像的边缘属性与空间抑制神经元的边缘属性相匹配，显示出周围纹理特征的特别高的对比度。因此，利用能量函数为不同的视觉任务分配3D权重，而无需其他参数。如下图所示，SimAM注意机制有效地提高了CNN的特征提取能力。在这种情况下，车牌特征图的每个像素都被视为能量函数中的神经元，所述神经元的最小能量可以表示为[Fast hyperspectral image classification combining transformers and SimAMbased CNNs]。

• 改进的YOLOv7网络架构

基于传统图像识别技术和深度学习对象检测技术的优点，将改进的SimAM嵌入到YOLOv7模型中。这种集成旨在改进其网络架构，提高车牌检测的识别精度。所提出方法的具体流程如下图所示：

1） 骨干网络的改进

在特征提取中，骨干网起着至关重要的作用。原始的YOLOv7架构具有一个由50个模块组成的骨干网络，包括CBS模块、MaxPooling（MP）模块、ELAN和ELAN-H模块。ELAN和ELAN-H模块是YOLOv7的关键组件，旨在提高网络性能和效率。ELAN模块聚合了多层特征，以有效地合并来自不同层次的信息，并利用跳跃连接和多层融合来减少深度网络中梯度消失的常见问题。在ELAN的基础上，E-ELAN进一步增强了特征聚合能力，采用了更有效的层聚合策略来降低计算复杂度，并使用扩展的层聚合技术来提取更丰富的特征。SimAM注意力机制具有3D权重，该权重是在ELAN和E-ELAN的特征提取能力和计算效率之后添加的，可以更好地细化提取的车牌特征，并且可以在光照条件复杂的情况下自适应地强调车牌的目标特征并抑制不相关的背景特征，而不会增加模型的复杂性。与原有骨干网相比，本文提出的改进是在骨干网中的ELAN模块和ELAN-H模块中添加SimAM，并引入SimAM注意机制，形成新的SimAM ELAN和SimAM-ELAN-H模型，如下图所示。

2） 改善颈部和头部皮肤

传统的ELAN模块是一个高效的远程网络，能够通过移位卷积有效地提取局部图像结构。它通过共享注意力机制实现了模型推理时间的减少。此外，还引入了SimAM模块来处理原始图像。通过整合SimAM空间和通道注意力机制，可以有效地解决这个问题，从而同时形成完善的神经科学理论。Liang等人在2021年提出了SimAM，这是一种完全三维、加权和无参数的注意力机制。与其他现有的注意力机制相比，SimAM考虑了空间和通道因素之间的相关性，可以有效地生成逼真的三维权重，以提高模型的收敛性能。SimAM的注意机制通过评估神经元的重要性来提高模型的注意能力，其中具有空间抑制效应的神经元被认为更有价值。我们网络的主要结构如下图所示。对原始网络结构的显著增强包括在头部SPPCSPC模块之后加入SimAM注意力模块。

PART/4

实验及可视化

它是目前最大的公开可用的车牌数据集，包括在不受控制的条件下捕获的250000多张独特的车辆图像，包括光线、夜晚、模糊、旋转和雪地场景。具体来说，该数据集分为7个子数据集：CCPD Base、CCPD Db、CCPD Fn、CCPD Rotate、CCPD Tilt、CCPD Weather和CCPD Challenge，如图7所示。CCPD比其他车牌数据集高两个数量级。每幅图像的大小为720×1160像素。该数据集提供了全面的注释，如车牌字符、边界框、四个顶点、水平和垂直倾斜度，以及亮度和模糊度。CCPD中7个子集的分布和描述如表2所示。