一、YOLOv8的网络结构 YOLOv8是YOLO(You Only Look Once)系列目标检测算法的最新版本,由Ultralytics团队开发。YOLOv8在YOLOv5的基础上进行了多项改进,进一步提升了检测精度和速度。
1. 整体架构 YOLOv8的整体架构延续了YOLO系列的单阶段检测器设计,采用端到端的方式直接预测目标的类别和边界框。其主要组成部分包括:
Backbone :特征提取网络
Neck :特征融合网络
Head :检测头
2. Backbone YOLOv8的Backbone采用了CSPDarknet53结构,这是YOLOv4和YOLOv5中使用的Backbone的改进版本。CSPDarknet53通过Cross Stage Partial (CSP) 结构减少了计算量,同时保持了较高的特征提取能力。具体特点包括:
CSP结构 :通过将特征图分成两部分,一部分经过卷积操作,另一部分直接传递,最后将两部分特征融合,减少了计算量。
Focus模块 :在YOLOv5中引入的Focus模块在YOLOv8中继续使用,通过切片操作减少计算量,同时保持特征信息。
3. Neck YOLOv8的Neck部分采用了PANet(Path Aggregation Network)结构,用于特征融合。PANet通过自底向上和自顶向下的路径聚合,增强了不同尺度特征之间的信息流动。具体特点包括:
FPN(Feature Pyramid Network) :通过自顶向下的路径将高层语义信息传递到低层特征。
PAN(Path Aggregation Network) :通过自底向上的路径将低层细节信息传递到高层特征。
4. Head YOLOv8的Head部分负责最终的检测任务,包括分类和回归。具体特点包括:
Anchor-Free :YOLOv8采用了Anchor-Free的设计,直接预测目标的中心点和宽高,减少了Anchor的复杂性和计算量。
Decoupled Head :YOLOv8使用了分离的检测头,分别处理分类和回归任务,提高了检测精度。
CIoU Loss :YOLOv8使用了CIoU(Complete Intersection over Union)损失函数,考虑了重叠区域、中心点距离和宽高比,进一步提升了边界框的回归精度。
5. 其他改进 Mosaic数据增强 :YOLOv8继续使用Mosaic数据增强技术,通过将四张图像拼接成一张进行训练,增加了数据的多样性。
Self-Adversarial Training (SAT) :YOLOv8引入了自对抗训练,通过生成对抗样本提升模型的鲁棒性。
Label Smoothing :YOLOv8使用了标签平滑技术,减少了过拟合的风险。
6. 性能 YOLOv8在COCO数据集上进行了广泛的实验,结果表明其在精度和速度之间取得了良好的平衡。具体性能指标包括:
mAP(mean Average Precision) :YOLOv8在COCO数据集上的mAP达到了新的高度,超过了YOLOv5和其他主流检测算法。
FPS(Frames Per Second) :YOLOv8在保持高精度的同时,推理速度也非常快,适合实时应用场景。
二、YOLOv8与YOLOv5差别 YOLOv8 在 YOLOv5 的基础上进行了多项改进和优化,尽管整体架构仍然延续了 YOLO 系列的单阶段检测器设计(Backbone + Neck + Head),但在细节上有显著差异。
1. Backbone 的改进 YOLOv5 的 Backbone 使用了 CSPDarknet53(Cross Stage Partial Darknet53),而 YOLOv8 在 Backbone 上进行了进一步优化:
yolov5结构图:
更深的 CSP 结构 :YOLOv8 的 Backbone 使用了更高效的 CSP 模块,减少了计算量并提升了特征提取能力。 Focus 模块的移除 :YOLOv5 中使用了 Focus 模块(通过切片操作减少计算量),而 YOLOv8 移除了 Focus 模块,改用更高效的卷积层来替代,简化了结构并提升了推理速度。
更轻量化的设计 :YOLOv8 的 Backbone 在保持高性能的同时,进一步减少了参数量和计算量。
2. Neck 的改进 YOLOv5 的 Neck 使用了 PANet(Path Aggregation Network)进行特征融合,而 YOLOv8 在 Neck 部分进行了以下改进:
更高效的特征融合 :YOLOv8 的 Neck 部分优化了特征金字塔网络(FPN)和路径聚合网络(PAN)的结构,增强了多尺度特征的融合能力。
更深的特征金字塔 :YOLOv8 增加了 Neck 的深度,使得小目标检测的性能得到提升。
3. Head 的改进 YOLOv5 的 Head 部分采用了 Anchor-Based 的设计,而 YOLOv8 在 Head 部分进行了重大改进:
Anchor-Free 设计 :YOLOv8 摒弃了 YOLOv5 的 Anchor-Based 设计,改为 Anchor-Free 的方式,直接预测目标的中心点和宽高。这减少了 Anchor 的复杂性和超参数调优的难度。
Decoupled Head(解耦头) :YOLOv8 使用了分离的检测头,分别处理分类和回归任务。这种设计提高了检测精度,尤其是在复杂场景下。
动态标签分配 :YOLOv8 引入了动态标签分配策略(如 TOOD 或 Task-Aligned Assigner),根据任务的难度动态分配正负样本,提升了训练效率。
4. 损失函数的改进 YOLOv5 使用了 CIoU(Complete Intersection over Union)损失函数,而 YOLOv8 在损失函数上进行了进一步优化:
更先进的损失函数 :YOLOv8 使用 Focal Loss 或 Varifocal Loss 来处理分类任务。这些损失函数主要用于解决类别不平衡问题,特别是在目标检测中,背景类(负样本)通常远多于目标类(正样本)。
Focal Loss :
Focal Loss 通过引入一个调制因子,减少易分类样本的权重,使模型更加关注难分类的
样本。公式如下:
其中:
是模型预测的概率。
是平衡正负样本的权重。
是调制因子,用于降低易分类样本的损失贡献。
Varifocal Loss :
Varifocal Loss 是 Focal Loss 的改进版本,专门用于目标检测任务。它通过动态调整正 负样本的权重,进一步提升分类性能。
回归损失 :YOLOv8 使用 CIoU Loss (Complete Intersection over Union Loss)或 DIoU Loss (Distance Intersection over Union Loss)来计算边界框的回归损失。这些损失函数不仅考虑了 IoU(交并比),还引入了额外的几何信息(如中心点距离和宽高比),以提升边界框的回归精度。
CIoU Loss :
CIoU Loss 在 IoU 的基础上,增加了中心点距离和宽高比的惩罚项。公式如下:
是预测框和真实框中心点的欧氏距离。
c 是最小外接矩形的对角线长度。
v 是宽高比的惩罚项。
α 是权重系数。
DIoU Loss :
DIoU Loss 在 IoU 的基础上,增加了中心点距离的惩罚项。公式如下:
对象性损失 :对象性损失用于衡量每个预测框是否包含目标。YOLOv8 使用 二元交叉熵损失(Binary Cross-Entropy Loss, BCE Loss) 来计算对象性损失。 其中:y 是真实标签(1 表示有目标,0 表示无目标)。p 是模型预测的概率。
总损失函数:YOLOv8 的总损失函数是分类损失、回归损失和对象性损失的加权和: 其中:
是各损失项的权重系数,用于平衡不同任务的贡献。
5. 训练策略的改进 YOLOv8 在训练策略上进行了多项优化:
自对抗训练(SAT) :YOLOv8 引入了自对抗训练技术,通过生成对抗样本提升模型的鲁棒性。
更强的数据增强 :YOLOv8 在 YOLOv5 的 Mosaic 和 MixUp 数据增强基础上,可能引入了更多样化的增强策略。
标签平滑(Label Smoothing) :YOLOv8 使用了标签平滑技术,减少了过拟合的风险。
6. 性能与效率的优化 更快的推理速度 :YOLOv8 在保持高精度的同时,进一步优化了模型的计算效率,推理速度比 YOLOv5 更快。
更高的精度 :YOLOv8 在 COCO 数据集上的 mAP(mean Average Precision)显著高于 YOLOv5,尤其是在小目标检测方面表现更好。
7. 模型尺寸的灵活性 YOLOv5 提供了多种模型尺寸(如 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x),而 YOLOv8 也延续了这一设计,并进一步优化了不同尺寸模型的性能:
更小的模型 :YOLOv8 的轻量级模型(如 YOLOv8n)在保持较高精度的同时,参数量和计算量更少。
更大的模型 :YOLOv8 的大型模型(如 YOLOv8x)在精度上进一步提升,适合对精度要求更高的场景。
总结 YOLOv8 在 YOLOv5 的基础上进行了多项改进,主要包括:
Backbone :移除 Focus 模块,优化 CSP 结构。
Neck :增强特征融合能力。
Head :改为 Anchor-Free 设计,引入 Decoupled Head。
损失函数 :使用更先进的损失函数。
训练策略 :引入自对抗训练和动态标签分配