【实例分割】SOLO（Segmenting Objects by Locations）模型简介

论文链接：https://arxiv.org/pdf/1912.04488v3.pdf

源码链接：https://github.com/aim-uofa/AdelaiDet

https://github.com/WXinlong/SOLO

主流的实例分割模型可以分为检测后分割（detect-then-segment）方法（如Mask RCNN）和基于像素Embedding学习的方法。这两种方法的缺点是非常依赖于检测框或Embedding学习的准确性。SOLO设计一种可以直接实例分割的模型。

方法

SOLO通过引入一种“实例类别”(instance categories)思想实现直接实例分割，具体方法是量化目标中心和目标尺寸。

SOLO框架的中心思想是将实例分割重新表述为两个分支同时进行类别感知预测问题，两个分支分别预测语义类别和分割物体实例。另外该方法需要将图像分为S * S个区域。

语义类别分支

预测S * S区域中每个区域所属类别。假设每个区域都只属于一个物体实例，即同时属于同一类别，因此该分支输出大小为S * S * C

实例分割预测分支

预测每个区域内的物体分割结果。该分支输出大小为H * W * S^2

SOLO模型需要使用FPN网络预测每一层的特征图，这些特征图分别通过语义类别分支和实例分割预测分支预测最终分割结果

训练的损失函数包括类别损失和分割结果损失。类别损失由Focal Loss计算。分割结果损失即多Positive样本计算Dice损失

实验