计算机视觉与模式识别论文摘要：自助法学习视觉问答、选择性特征

论文一：

标题： Selective Feature Connection Mechanism: ConcatenatingMulti-layer CNN Features with a Feature Selector，选择性特征连接机制:将多层CNN特征与特征选择器连接在一起

论文摘要：

不同层次的深度卷积神经网络(CNN)可以对不同层次的信息进行编码。高层特征（就是网络后面层的特征）包含更多的语义信息，低层特征包含更多的细节信息。然而，低层特征存在着背景混乱和语义模糊的问题。在视觉识别过程中，低层、高层特征的组合在上下文调制中起着重要的作用。由于细节信息的引入，直接结合了高、低两层特征，可能造成背景混乱和语义歧义。在本文中，我们提出了一种通用的网络架构，即选择性特征连接机制(Selective Feature Connection Mechanism, SFCM)，以一种简单有效的方式连接不同层次的卷积神经网络的特征。低层特征被选择性地连接到高层的特征上。该连接机制能有效克服背景混乱和语义歧义的缺陷。我们证明了该方法在图像分类、场景文本检测、图像到图像转换等具有挑战性的计算机视觉任务中的有效性、优越性和通用性。

论文团队来自中国科学院。

论文二：

论文标题： 通过自助抽样法来学习视觉问答，Learning Visual Question Answering by

Bootstrapping Hard Attention

论文摘要：在生物知觉中的注意力机制，它被认为是选择感知信息的子集，针对更复杂的处理过程，这种处理禁止执行所有感官输入。计算机视觉对硬注意力机制（hard attention）的研究相对较少，这里的一些信息被选择性的忽略。虽然软注意力机制可行，但是这里的信息被重新加权和聚合过了（并且从未过滤）。

论文中，我们介绍一种实施硬注意力机制（hard attention）的新方法，它在一个最近发布的视觉问答数据集上取得了非常有竞争力的表现。新方法在一些案例上取得了相等和完全超越了类似软注意的架构，尽管这个软注意的架构完全忽略了一些特征。虽然硬注意机制被认为是不可微分的，但我们发现特征量级与语义相关性（semantic relevance）相关，这为我们注意力机制的选择准则提供了有用的信号。因为硬注意选择输入信息的重要特征，它也可以比类似的软注意机制更有效。这对于最近的方法尤其重要：使用非本地的成对（non-local pairwise）操作，依靠计算和内存成本是特征集大小的二次函数。

论文团队来自谷歌DeepMind。

亲爱的数据

出品：谭婧

美编：陈泓宇