论文链接:https://arxiv.org/abs/1902.02771
Code: https://github.com/shabbeersh/Impact-of-FC-layers
发表日期:2019.02.08
卷积神经网络(CNN)在计算机视觉等领域,由于能够从原始输入数据中学习特定问题所需的特征,因此大大减少了手工提取特征的需求。但是,选择特定于数据集的CNN架构(主要依赖经验或专业知识)是一个耗时且容易出错的过程。为了自动化探索CNN架构的过程,本文试图找到全连接(FC)层与数据集的某些特征之间的关系。 CNN网络结构以及数据集最近也被分类为深度,浅度,宽度等。本文试图将这些术语形式化,并回答以下问题。(i)更深/浅层架构对CNN和FC层性能的影响是什么?(ii)更深/更宽的数据集如何影响CNN与FC层的性能?,以及(iii)哪种架构(更深/更浅)更适合哪种(更深/更宽)数据集。为了验证这些发现,本文用三种具有不同深度的CNN架构通过改变FC层的数量来进行实验。使用了包括CIFAR-10,CIFAR-100,Tiny ImageNet和CRCHistoPhenotypes四个数据集以证明在图像分类问题背景下的发现。
本文主要贡献如下:
1)进行了系统的研究,以观察在图像分类的背景下,CNN 和 FC层的深层/浅层架构对性能的影响。
2)观察了更深/更宽的数据集对CNN 和 FC层性能的影响。
3)概括了Bansal等人的一个重要发现。根据数据集的深度选择更深或更浅的架构。Bansal等人在人脸识别的背景下报告了相同的情况,而本文进行了严格的研究,以便在不同类型的数据集上推广这一观察结果。
4)为了对本文的研究结果进行经验证明,本文对CIFAR-10和CIFAR-100,Tiny ImageNet 和CRCHistoPhenotypes等数据集的不同模态(即自然和生物医学图像)进行了实验。
结论:
i)浅层网络结构需要在FC层中呈现大量节点,在更深的网络结构中FC层需要更少数量的节点而与数据集的类型无关。 ii)与较深的数据集相比,浅层模型需要更多的FC层及FC层中需要更多的节点数以用于更宽的数据集,反之亦然。 iii)更深的网络架构比浅层架构在较深的数据集上表现更好。相比之下,浅层架构比更深层次的架构对更广泛的数据集表现更好。
领取专属 10元无门槛券
私享最新 技术干货