计算机视觉与模式识别论文摘要：非光滑凸函数优化、CNN技巧

论文一：

论文标题： Optimal Algorithms for Non-Smooth Distributed Optimization in Networks，非光滑凸函数的分布式优化算法

论文摘要：

本研究考虑在使用计算单元网络的情况下，进行非光滑凸函数分布式优化。我们设定两种规则假设（regularity assumptions）。

1）全局目标函数的利普希茨连续。2）局部单个函数的利普希茨连续。

在局部假设下，我们得到了最优一阶分散式算法（decentralized algorithm）——多步原始对偶（multi-step primal-dual，MSPD）及其对应的最优收敛速率。这个结果的一个值得注意的方面是，对于非光滑函数，尽管误差的主要项在 O(1/ sqrt(t)) 中，但通讯网络（communication network）的结构仅仅影响 O(1/t) 中的二阶项，这里的t 代表时间。也就是说，即使是在非强凸目标函数中，由于通讯资源限制，而导致的误差会迅速变小。

在全局正则性假设（global regularity assumptions）下，我们提出了一种基于目标函数局部平滑的分布式随机平滑算法(distributed smooth, DRS)。虽然简单，但是有效。我们证明了分布式随机平滑算法在d1/4乘因子范围内，其中d是基本维度（underlying dimension）。

论文团队，由Kevin Scaman（华为诺亚方舟实验室）、Francis Bach（PSL 研究大学）、Sébastien Bubeck（微软研究院）、Yin Tat Lee（微软研究院）、Laurent Massoulié（法国巴黎高等师范学校）组成。

论文二：

论文标题： Bag of Tricks for Image Classification with Convolutional Neural Networks，用卷积神经网络进行图像分类的一些技巧

论文摘要：

近期，图像分类研究的大多数进展都可以归功在训练过程中的优化成果，例如数据增强和调整优化方法。然而，在这些论文文献中，大多数方法要么被简单地用以实现细枝末节的改进，要么在源代码中才能看到。在本篇论文中，通过消融研究，我们将测试一系列的优化与实验性评估方法（empirically evaluate）对最后的模型准确率的影响。这些方法通过控制变量实验评估它们我们将展示通过组合不同的微调方法，我们可以显著地改善多种卷积神经网络模型。比如，我们将数据集 ImageNet上训练的残差网络 ResNet-50 的 top-1 验证准确率从 75.3% 提升到 79.29%。

本论文还证明了图像分类准确率的提高可以在目标检测和语义分割等其他应用领域中提升迁移学习性能。 （完）

亲爱的数据

出品：谭婧

美编：陈泓宇