端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干

https:arxiv.org/abs/2211.06088

https://github.com/ChengpengChen/RepGhost

作者通过结构重参数机制实现特征复用，赋能GhostNet达成硬件友好方案RepGhostNet。ImageNet与COCO基线任务验证了所提方案的有效性与高效性。可参考下图，比MobileOne、MobileNeXt等轻量型架构都要“秀”！速览版请手下！

出发点

GhostNet通过引入cheap操作进行特征复用，但引入了硬件不友好的Concat，即Concat特征复用虽然是无参、无FLOPs，但其计算耗时却不能忽视，见上图。那么如何更高效的进行特征复用呢？结构重参数！！！

上图给出了Ghost到RepGhost的进化过程，包含以下三点：

1. Concat替换为Add以降低耗时；
2. ReLU迁移以符合重参数折叠机制；
3. shortcut分支引入BN进一步提升非线性。

上图给出了Bottleneck改进过程：主要体现在通道数，这是因为Concat到Add的过渡会导致通道数发生变换。作者主要是针对中间通道数进行调整，而输入与输出通道数相同。

本文实验

下面两个表给出了ImageNet与COCO数据集上的性能对比，在轻量化方面RepGhost还是很不错的，Flops基本在300M以内。