如何使用图片级类别标注对像素级分割任务进行训练之MIL Loss详解

如何使用图片级标注对像素级分割任务进行训练？

图片级别标注，指的是知道图片中有哪些物体，仅此而已，而需要完成的任务是什么呢？利用这简单的图片类别信息分割出对应物体的区域，进行像素级别分割的任务，哇！是不是觉得这个简单对于这个任务而言太弱了？是呀，不然怎么叫作弱监督呢？

让我们一起来看一下，所谓使用图片类别标注进行像素级别分割训练，到底如何进行的吧！

对于这样的任务，之前已经写过很多篇论文笔记了，今天来介绍一篇非常简单的利用MIL Loss的方法。

论文是发表在ICLR2015年上的《Fully Convolutional Multi-Class Multiple Instance Learning》。

这一篇文章仅用了一个loss就来完成这个任务哦，是不是觉得很大胆，很厉害！！！

论文：Fully Convolutional Multi-Class Multiple Instance Learning

会议：ICLR2015

任务：弱监督语义分割（image -level supervised）

一般的基于深度学习的语义分割流程：

将图片（H,W）输入分割网络，通过网络的计算，可以输出一个(N,H,W)的分割预测maps。

为什么输出的尺寸是（N,H,W）呢？这有什么意义？

N表示这个研究的数据集中有多少个类别。

（H,W）表示输出的每一个map的尺寸和输入图片的尺寸相同，拥有相同的像素数目，每一个像素位置上的值代表着一个是否属于某一类别的预测分值。

输入图片中每一个像素对应这输出maps中的一个N长的向量，该向量存储着该像素被预测为每一个类的分值，最大的那个预测值所对应的那个类别，假设为8，该像素则被预测为第8类。

MULTI-CLASS MIL LOSS:

讲到正题啦，所谓神奇的MULTI-CLASS MIL LOSS，只利用一个Loss解决弱监督语义分割问题，让我们看一下这个很简单的loss.

对于一张图片，输进分割网络，得到的是一个(N,H,W)的分割Maps,图片对于每一个class的预测被存储为的一个feature map.

这个Loss取每一个map上的最大的值，计算公式如下：

然后，对这个最大的分值进行约束，限制该类别在图片中的存在与否，若图片的标签中表示存在的类，则这个分值接近于1，若不存在则接近于0。

简单一点讲，就是通过限制feature maps上的最大值趋近1来促使应该存在的类的预测值大，限制最大值趋近0来促使应该存在的类的预测值小。

不过，可惜了，这么难得问题，怎么可能这么简单的就被解决了呢？这是不可能滴，所以，这篇论文的结果，咳咳，不太好，但是！！！，一个这么简单的Loss，可以有这么大的作用，我可不可以在我的方法上加上它优化我的结果呢？嘿嘿，你们觉得呢~

结果：

结果从数值上看，其实不是很好，但是从图片中看，它确实可以起到一定作用。

总结：

这个MIL Loss十分简单，虽然结果上看不是很好，但是在弱监督语义分割中常常与其他的方法一起使用，作为一个约束，应用十分广泛。