Paper Reading Mixed-Scale Dense Convolutional Neural Network

近几年，深度卷积神经网络 (DCNN) 已经成功应用于图像分析的多个领域，并获得了很好的效果。为了进一步解决图像处理中一些更难、更复杂的问题，通常在DCNN中加入更多的层，增大DCNN的深度来获得高度非线性特征。但是随着DCNN深度的加深，会出现梯度消失，训练参数过多，训练难度大，过拟合等问题。除此之外，DCNN需要大量的带有人工标注信息的训练数据，这会耗费很多人力物力，甚至在某些领域根本无法获得数据量很大的数据集。为了解决这些问题，此文[1]结合了扩张卷积 (dilated convolution) 和密集连接 (dense connection)，提出了Mixed-Scale Dense Convolutional Network (MS-D网络)，MS-D网络和传统的DCNN相比，提高了特征提取、特征传递的能力，在样本少的情况下，也获得了很好的效果。

MS-D网络结构示意图（图片来自论文[1]）

理论：

1、扩张卷积

传统的DCNN网络在特征提取的过程中，对图像先做卷积再做pooling，pooling操作的目的是在减小feature map尺寸的同时增大感受野，但是在pooling的过程中，会造成信息的损失。扩张卷积则可以解决这个问题，使其在获得较大感受野的同时，减少信息损失。

扩张卷积 (dilated convolution) 结构示意图（图片来自论文[2]）

(a)图对应的是3*3的1-dilated conv，和普通的3*3卷积一样；(b)图对应的是3*3的2-dilated conv，其图像的感受野扩大至7*7，但是仍只有其中9个红点发生卷积，换言之，对于一个7*7的空间，只有其中的9个红点的权重不为0，其余的点，权重全部为0，卷积的时候也只有9个红点参与了卷积，其余的点略过；(c)图对应的是3*3的4-dilated conv，感受野扩大至15*15。dilated的好处是在没有pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息，可以很好得应用于图像分割，语音合成，机器翻译等领域。

2、密集连接

DCNN的发展趋势是加深网络结构来提升分类的效果，但是网络结构加深后，梯度消失是一个严重的问题。因此，在加深深度神经网络的同时，需要考虑的问题核心是“create short paths from early layers to later layers”。密集连接就是将每层的输入都设置成前面所有层的输出，例如下图：H4的输入是x0, x1, x2, x3。

密集连接网络 (DenseNet) 结构示意图（图片来自论文[3]）

密集连接型网络结构更窄，参数更少，且前层中有效的信息可以更好的传递到后层，提高的特征传递的能力，并且一定程度上避免了梯度消失和过拟合的问题，提高了性能。

因此，MS-D网络结合了扩张卷积和密集连接的有点，提高了特征提取、特征传递的能力。因此，MS-D在数据集较少的情况下，也可以获得不错的效果。

应用：

1、生物细胞切片

该方法可以用于分析生物细胞结构，如下图a是小鼠淋巴细胞切片的原始图像，b是人工切割得到的切片，c是100层的MS-D网络输出的图像。该算法可以应用于理解生物细胞内部结构，采用MS-D方法，仅需要七个细胞的数据，就可以确定该细胞的内部结构。

生物细胞切片实验结果示意图（图片来自论文[1]）

2、从低分辨率数据中获得高精度数据

文献中使用X射线图片做了实验，a图是使用1024个x射线投影重建的图像，b图是使用128个x射线投影重建的图像，c是b图像经过MS-D网络后输出的图像。从实验可以看出，射线数越多，图像精度越高，噪声越小。而噪音大，精度小的图片经过MS-D网络，可以得到精度高，噪声小的重建图像。

获得高精度x射线图实验结果示意图（图片来自论文[1]）

结论：

使用更少的训练数据获得更好的结果是未来深度卷积神经网络的发展方向。如何提高特征提取的能力，如何获得高效得利用提取到的特征是解决这个问题的关键。该方法使用了扩张卷积和多尺度密集连接使得整个网络在少量数据上也可获得很好的效果。除此之外，该方法还在生物细胞图像上获得了很好的效果，有很大的应用前景，获得了广泛关注。

论文信息：

A mixed-scale dense convolutional neural network for image analysis, 2017年12月发表在美国国家科学院院刊。

参考文献：

[1]Pelt D M, Sethian J A. A mixed-scale dense convolutional neural network for image analysis. In proceedings of the National Academy of Sciences, 2017.

[2] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions. arXiv preprint arXiv:1511.07122, 2015.

[3] Huang G, Liu Z, Weinberger K Q, et al. Densely connected convolutional networks. In CVPR, 2017.