YoloV8改进策略：Swift Parameter-free Attention，无参注意力机制，超分模型的完美迁移
YoloV8改进策略：Swift Parameter-free Attention，无参注意力机制，超分模型的完美迁移
摘要
https://arxiv.org/pdf/2311.12770.pdf https://github.com/hongyuanyu/SPAN
完整链接：
https://jingjing.blog.csdn.net/article/details/134774279?spm=1001.2014.3001.5502
SPAN是一种超分网络模型。SPAN模型通过使用参数自由的注意力机制来提高SISR的性能。这种注意力机制能够增强重要信息并减少冗余，从而在图像超分辨率过程中提高图像质量。
具体来说，SPAN模型具有以下特点：
- 参数自由：与传统的注意力机制相比，SPAN模型不依赖于任何参数，因此可以避免由于参数过多而导致的过拟合问题，以及训练时间过长的问题。
- 局部和全局信息融合：SPAN模型通过将局部和全局信息融合在一起，能够更好地捕捉到图像中的长程依赖关系，从而更准确地确定重要信息。
- 残差连接：SPAN模型使用残差连接来避免梯度消失问题，从而能够更有效地利用深层信息。
- 对称的激活函数：SPAN模型使用对称的激活函数，这使得模型更加简单，同时能够更好地捕捉到图像中的细节信息。
减少参数数量和加快推理速度
SPAN模型通过采用一种参数自由的注意力机制来减少参数数量和加快推理速度。这种注意力机制利用对称的激活函数和残差连接来增强重要的信息并减少冗余信息。
传统的注意力机制，通常在计算过程中需要复杂的网络结构，这不仅会增加模型的参数数量，还会降低推理速度。此外，由于这种复杂性，模型的训练也可能需要更多的时间和计算资源。
与此不同，SPAN模型采用了一种创新的参数自由注意力机制。这意味着它不需要专门的参数来计算注意力权重。此外，由于模型的结构简单，它能够实现更快的推理速度。这主要是因为该模型使用了对称的激活函数和残差连接。
对称的激活函数有助于减少模型的参数数量，因为它们可以共享相同的权重。这意味着一个函数可以用于两个不同的路径，从而减少了需要学习的参数数量。
残差连接则有助于加快推理速度。这些连接允许信息直接从一个阶段跳转到另一个阶段，从而减少了信息传递所需的时间。此外，由于残差连接可以缓解梯度消失的问题，训练模型的过程也会变得更加简单和高效。
总的来说，SPAN模型通过采用参数自由的注意力机制、使用对称的激活函数以及利用残差连接，既减少了模型的参数数量，又加快了推理速度。这种设计使得SPAN模型成为一种高效且实用的图像超分辨率模型。
YoloV8官方测试结果
YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 29/29 [
all 230 1412 0.922 0.957 0.986 0.737
c17 230 131 0.973 0.992 0.995 0.825
c5 230 68 0.945 1 0.995 0.836
helicopter 230 43 0.96 0.907 0.951 0.607
c130 230 85 0.984 1 0.995 0.655
f16 230 57 0.955 0.965 0.985 0.669
b2 230 2 0.704 1 0.995 0.722
other 230 86 0.903 0.942 0.963 0.534
b52 230 70 0.96 0.971 0.978 0.831
kc10 230 62 0.999 0.984 0.99 0.847
command 230 40 0.97 1 0.995 0.811
f15 230 123 0.891 1 0.992 0.701
kc135 230 91 0.971 0.989 0.986 0.712
a10 230 27 1 0.555 0.899 0.456
b1 230 20 0.972 1 0.995 0.793
aew 230 25 0.945 1 0.99 0.784
f22 230 17 0.913 1 0.995 0.725
p3 230 105 0.99 1 0.995 0.801
p8 230 1 0.637 1 0.995 0.597
f35 230 32 0.939 0.938 0.978 0.574
f18 230 125 0.985 0.992 0.987 0.817
v22 230 41 0.983 1 0.995 0.69
su-27 230 31 0.925 1 0.995 0.859
il-38 230 27 0.972 1 0.995 0.811
tu-134 230 1 0.663 1 0.995 0.895
su-33 230 2 1 0.611 0.995 0.796
an-70 230 2 0.766 1 0.995 0.73
tu-22 230 98 0.984 1 0.995 0.831
Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image
测试结果
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 15/15 [00:02<00:00, 5.79it/s]
all 230 1412 0.961 0.972 0.991 0.748
c17 230 131 0.996 0.992 0.995 0.835
c5 230 68 0.941 1 0.994 0.834
helicopter 230 43 0.969 0.93 0.986 0.599
c130 230 85 0.996 0.965 0.994 0.634
f16 230 57 0.964 0.945 0.97 0.665
b2 230 2 0.887 1 0.995 0.623
other 230 86 1 0.933 0.975 0.562
b52 230 70 0.97 0.971 0.982 0.828
kc10 230 62 1 0.98 0.989 0.836
command 230 40 0.989 1 0.995 0.822
f15 230 123 0.988 0.984 0.995 0.693
kc135 230 91 0.986 0.989 0.981 0.703
a10 230 27 1 0.681 0.982 0.513
b1 230 20 0.999 1 0.995 0.792
aew 230 25 0.941 1 0.995 0.803
f22 230 17 0.902 1 0.995 0.736
p3 230 105 1 0.983 0.995 0.817
p8 230 1 0.833 1 0.995 0.796
f35 230 32 1 0.901 0.991 0.55
f18 230 125 0.974 0.992 0.988 0.826
v22 230 41 0.994 1 0.995 0.74
su-27 230 31 0.989 1 0.995 0.845
il-38 230 27 0.983 1 0.995 0.829
tu-134 230 1 0.846 1 0.995 0.895
su-33 230 2 0.926 1 0.995 0.796
an-70 230 2 0.892 1 0.995 0.796
tu-22 230 98 0.985 1 0.995 0.828
Speed: 0.1ms preprocess, 5.0ms inference, 0.0ms loss, 1.1ms postprocess per image
总结
本文尝试使用来自一篇超分模型的注意力机制，提高了模型的成绩。欢迎大家在自己的数据集上做尝试！
腾讯云开发者
