模型压缩可以有效地减少模型的存储和计算资源需求，提高模型的推理速度和效率，从而实现在移动设备、边缘设备等资源受限的场景中进行高效的机器学习应用。常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。
在 PSPNet 与 DeeplabV3中，有对 BN 层对语分割有效性的使用，故再次对 BN 层提出的论文阅读学习，并理解其 Caffe 实现.
本文来自来自迪菲赫尔曼迪导（强烈推荐此导）：深度解析预训练权重的本质和作用：你真的了解它们吗？_预训练权重是干什么的-CSDN博客
神经网络的训练是深度学习中的核心问题之一。神经网络的训练过程是指通过输入训练数据，不断调整神经网络的参数，使其输出结果更加接近于实际值的过程。本文将介绍神经网络的训练过程、常见的训练算法以及如何避免过拟合等问题。
约翰，不可忽视直觉。因为直觉表示处理过快的数据，这让有意识的人根本无法理解。——Sherlock Holmes
Gan 因为是2个网络，不方便一起训练，所以才交替迭代训练。 先是判别网络： 假设现在有了生成网络（当然可能不是最好的），那么给一堆随机数组，就会得到一堆假的样本集（因为不是最终的生成模型，现在生成网络可能处于劣势，导致生成的样本不太好，很容易就被判别网络判别为假）。 现在有了这个假样本集(真样本集一直都有)，我们再人为地定义真假样本集的标签，很明显，这里我们默认真样本集的类标签为1，而假样本集的类标签为0，因为我们希望真样本集的输出尽可能为1，假样本集为0。 现在有了真样本集以及它们的label(都是
「Rethinking ImageNet Pre-training」这篇惊艳的论文向我们展示了：使用从随机初始化的状态开始训练的标准模型在 COCO 数据集上也可以在目标检测和实例分割任务中取得十分出色的结果，其结果可以与使用 ImageNet 预训练的模型所得到的结果相媲美。研究人员惊奇地发现，使用随机初始化的模型具有很强的鲁棒性。在以下三种情况下，模型的结果仍然能保持在比较高的水平上：（1）即使仅仅使用 10% 的训练数据，（2）使用更深和更宽的模型，（3）处理多任务并使用多种评价指标。
华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在 MNIST 上提升了 6 个百分点，并且使用 resnet18 在 CIFAR-10 和 100 上分别达到了 92% 和 74% 的准确率（无需训练数据），该论文已被 ICCV2019 接收。
在计算机视觉任务中，为了将预训练的深度神经网络模型应用到各种移动设备上，学习一个轻便的网络越来越重要。当我们可以直接访问训练数据集时，现有的深度神经网络压缩和加速方法对于训练紧凑的深度模型是非常有效的，但是现实情况却是，有了隐私保护，法规政策等，数据集的回去越来越困难，为此，本文提出了一种利用生成对抗网络(GANs)训练高效深度神经网络的新框架DAFL（Data-Free Learning）。
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
目前在深度学习领域，一方面需要追求更高的性能，采用强大、复杂的模型网络和实验方法；另一方面又需要关注如何将算法更稳定、高效地在硬件平台上落地。复杂的模型固然展现更好的性能，但过高的存储空间需求和计算资源消耗，是影响在各硬件平台上的落地的重要原因之一。尤其在NLP领域，以BERT、GPT为代表的预训练模型规模越来越大。
---- 新智元报道 作者：刘宁 编辑：好困 【新智元导读】「彩票假说」指出神经网络可能存在准确率和原始网络相近的子网络。然而，这种中奖特性在许多情况中很难被观测到。最近，王言治教团队发现并揭示了中奖特性的潜在条件和基本原理。 在深度模型压缩领域中，「彩票假说」（Lottery Tickets Hypothesis）指出一个原始神经网络可能存在中奖彩票的子网络（Winning ticket），该子网络可以达到和原始网络相近的准确率。 然而，这种中奖特性（Winning property）在许多情况
这个例子说明了一个函数拟合的神经网络如何根据测量结果来估计脂肪百分比(BFP) 。
我们身处的时代，网络攻击正愈演愈烈，特别是网络空间领域上升到网络战的战略高度之后，几乎每天都有网络攻击事件发生，而目前网络安全厂商竭尽全力开发的安全软硬件在保护个人和企业的信息安全方面始终存在差距。详细来说，现今的网络安全技术及产品只解决了安全一半的问题，更关键的另一半需要我们的网络安全技术人员在关键的时候进行干预和解决。这就对我们的网络安全技术人员提出了要求，技术人员必须能够胜任网络安全的岗位的能力并拥有对应解决问题的技能。但是当前的网络安全技能培训方法在很大程度上依赖于安全专家或网络红队，这些安全专家或网络红队为网络人员的安全培训提供了具有挑战性的培训路径和彼此磨炼战术的对手。这样的培训周期长、人力培训成本高且培训的安全专家或网络红队始终不足，无法满足大规模网络人员安全培训的技能要求；而提供的网络安全培训产品在一定程度上又无法满足实战性技能培训人才的要求。
编译 | 林椿眄 从围棋、Atari游戏到图像识别、语言翻译领域，神经网络都已经取得了重大的突破。但是，经常被人忽略的是，神经网络的成功是在特定的应用情景下所取得，这些情景通常是在一系列研究的开始就确定好了的设置，包括所使用的神经网络的类型，所使用的数据以及训练的方法等。如今，这些设置，也被称为超参数，通常可以通过经验，随机搜索或者大规模的研究过程来决定。 在最新发表的文章中，我们介绍了一种新的训练神经网络的方法，这种方法能够帮助研究者快速地选择最适用于此任务的超参数和模型。 这种技术，被称为基于种群的
今天介绍的是一篇个性化搭配推荐的论文，是 2017 年时候的论文，这也是比较早的开始结合搭配和个性化推荐的一个工作，基于度量学习和排序学习的方法。
神经架构搜索 (NAS) 改变了构建新神经网络架构的过程。这种技术可以自动地为特定问题找到最优的神经网络架构。「最优」的定义可以看成是对多个特征之间的权衡过程进行建模，例如网络的大小和准确率 [1]。更令人印象深刻的是，现在 NAS 在单个 GPU 上仅需执行 4 个小时，过去在 800 个 GPU 上需要执行 28 天。而实现这一飞跃只花了两年时间，现在我们不需要成为 Google 员工就可以使用 NAS。
提高模型效果一直是机器学习（包括深度学习）中的关键问题。然而，独立神经网络在层数较多的情况下，往往会受到边缘效应的影响。同时，集成是进一步提高模型效果的有效技术。
在赫尔辛基大学AI基础教程前一节中，我们讨论了大多数神经网络方法的基本思想：多层神经网络，非线性激活函数并学习了反向传播算法。
当前神经网络层之前的神经网络层的参数变化，引起神经网络每一层输入数据的分布产生了变化，这使得训练一个深度神经网络变得复杂。这样就要求使用更小的学习率，参数初始化也需要更为谨慎的设置。并且由于非线性饱和（注：如sigmoid激活函数的非线性饱和问题），训练一个深度神经网络会非常困难。我们称这个现象为：internal covariate shift。同时利用归一化层输入解决这个问题。我们将归一化层输入作为神经网络的结构，并且对每一个小批量训练数据执行这一操作。Batch Normalization（BN） 能使用更高的学习率，并且不需要过多地注重参数初始化问题。BN 的过程与正则化相似，在某些情况下可以去除Dropout
我将借鉴自己的经验，列出微调背后的基本原理，所涉及的技术，及最后也是最重要的，在本文第二部分中将分步详尽阐述如何在 Keras 中对卷积神经网络模型进行微调。
尽管通过扩展导致具有数千亿参数的大型网络在统治和效率方面表现突出，但训练过参数化模型的必要性仍然难以理解，且替代方法不一定能使训练高性能模型的成本降低。在本文中，我们探索了低秩训练技术作为训练大型神经网络的替代方法。我们引入了一种名为 ReLoRA 的新方法，该方法利用低秩更新来训练高秩网络。我们将 ReLoRA 应用于预训练最多达 350M 参数的变换器语言模型，并展示了与常规神经网络训练相当的性能。此外，我们观察到 ReLoRA 的效率随着模型大小的增加而提高，使其成为训练多十亿参数网络的有效方法。我们的研究发现揭示了低秩训练技术的潜力及其对扩展规律的影响。代码已在 GitHub 上提供。
DIGITS 是一款面向数据科学家和研究人员的交互式深度学习开发工具，设计的初衷是为了适应优越的深度神经网络的迅速开发和部署。NVIDIA在2015年3月份推出了DIGITS，今天发布的DIGITS 2，包含了多GPU自动扩展功能。不管是为单个数据集开发优化的神经网络还是在多个数据集上训练多重网络，DIGITS 2都能够很轻松快捷地使用多GPU开发并行优化网络。 深度学习使用深度神经网络（DNNs）和大数据集来教计算机从输入数据中检测可识别的概念，去解释或理解自然语言以及解读信息等。深度学习已经运用在研究界
稀疏网络训练一直是深度学习中训练神经网络的难点。随着网络规模和数据量的不断增加，训练成本也不断提升。如何有效的训练稀疏网络来维持合理的训练开销便十分重要。另一方面，找到有效的稀疏网络训练方法对理解神经网络的工作原理同样很有帮助。
【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。
为了解决任务，深度神经网络（DNN）逐步将输入数据转换为一系列复杂表征（即跨越单个神经元的激活模式）。理解这些表征非常重要，不仅是为了解释，也是为了我们可以更智能地设计机器学习系统。但是，理解这些表征方式非常困难，特别是在比较网络中的表征。在之前的文章中，研究者概述了典型相关分析（CCA）作为理解和比较卷积神经网络（CNN）表征工具的好处，表明了它们在自下而上的模式中会聚，在训练过程中，早期层会逐渐融合到最终层中。
批量归一化（BN：Batch Normalization：解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度）
本在本文中，我们将介绍深度学习背景下的模型修剪机制。模型修剪是一种丢弃那些不代表模型性能的权重的艺术。精心修剪的网络会使其压缩版本更好，并且它们通常变得适合设备上的部署。
实际上，很少的人会训练整个卷积神经网络（使用随机的初始化），因为相对来说，很少有足够大的数据集可以用于训练。作为代替，常见的方式是在一个很大的数据集中预训练一个卷积神经网络（比如ImageNet，120万张1000类别图片），然后或者将这个训练后的网络参数作为初始化参数，或者直接作为一个特质提取器用于所关注的任务。三种常见的迁移学习类型如下所示：
图1：CompCars数据集的示例图像，整个数据集包含163家汽车制造商，1713种车型 王小新 编译自 Deep Learning Sandbox 量子位 出品 | 公众号 QbitAI 量子位曾经编译过Greg Chu的一篇文章，介绍了如何用Keras+TF，来实现ImageNet数据集日常对象的识别。 但是，你要研究的物体，往往不在那个列表中。我们可能想要区分出不同型号的太阳镜、认出不同的鞋子、识别各种面部表情、说出不同汽车的型号、在X光影像下判定肺部疾病的类型，这时候该怎么办？ Greg Chu
持续网络培训环境（PCTE）是一个可扩展的网络空间作战虚拟培训平台，通过建立真实的模拟仿真环境和真实的威胁行为体，对网络任务部队进行全方位的网络作战培训。在上述小节中，描述了持续网络培训环境（PCTE）的背景及项目的大体情况。本小节将描述，作为支撑持续网络培训环境（PCTE）项目功能靶场项之一，美国军方的马斯塔图克城市训练中心（Muscatatuck UrbanTraining Center）的网络空间靶场项目—Cybertropolis。根据PCTE的建设构想，Cybertropolis的设想角色是独特的功能靶场，该功能靶场为分布式网络测试和培训活动提供实时工业控制系统和IoT环境。该Cybertropolis功能靶场在PCTE的组织和角色定位中，属于联合网络培训企业（JCTE）。在PCTE项目规划中，为了联合多家靶场及解决方案资源，美国国防部设计构想的PCTE项目是针对网络任务部队训练的培训平台，是实质性的解决方案。但是培训的网络空间资源，由于其环境的复杂性、多样性、规模性，因此需要联合多家资源体协同提供培训所需的真实环境和培训资源。而提供这些资源体的角色在PCTE项目被定义为联合网络培训企业（JCTE）。联合网络培训企业（JCTE）被视为与实质性解决方案（PCTE）结合发展运营、人员和流程方面的解决方案。基于马斯塔图克城市训练中心（MUTC）的—Cybertropolis就是PCTE其中之一的联合网络培训企业（JCTE），其他的有比较熟知的如美国国家网络空间靶场（NCR）等系列靶场。
从上一期Faster RCNN的算法原理上，我们知道Faster RCNN算法有两部分，一个是用来提取候选框的RPN网络，一个是最后检测目标的分类回归网络。通过学习，我们知道RPN网络在提取候选框的时候有两个任务，一个是判断该anchor产生的候选框是否是目标的二分类任务，另一个是对该候选框进行边框回归的回归任务。 而Faster RCNN最后的目标检测网络同样也有两个任务，跟RPN网络类似，一个是判断RPN网络产生的候选框框住的物体是具体哪一类物体的分类任务，另一个是对该候选框进行回归的回归任务。 既然两个网络都是多任务网络，那么，我们先看看RPN网络的损失函数是怎么样的？先上RPN网络的总体损失函数，接下来分析，如下（公式可左右滑动）：
梯度爆炸是一个在训练过程中大的误差梯度不断累积，导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定，无法从你的训练数据中学习。 在这篇文章中，我将带你了解深度人工神经网络的梯度爆炸问题。
深度神经网络极易受到对抗样本的攻击。防御对抗样本攻击一个直观有效的方式就是对抗训练比如Free adversarial training 和Fast adversarial training，但问题是对抗训练比正常的训练要慢，主要原因在于对抗训练需要模型格外引入对抗样本进行训练，另外对抗训练的理论基础还不够扎实。
论文地址：https://arxiv.org/pdf/1908.01580v1.pdf
深度学习在计算机视觉、自然语言处理等领域取得了很多重大突破。神经网络的表达能力通常随着其网络深度呈指数增长，这一特性赋予了它很强的泛化能力。然而深层的网络也产生了梯度消失或梯度爆炸，以及模型中的信息传递变差等一系列问题。研究人员使用精心设计的权值初始化方法、BatchNorm 或 LayerNorm 这类标准化技术来缓解以上问题，然而这些技术往往会耗费更多计算资源，或者存在其自身的局限。
前几天，我们介绍了「机器学习领域的七大谣传」，其中一个谣传就是「训练超深度残差网络怎么少得了批归一化（BN）！」。文中介绍了论文《Fixup Initialization: Residual Learning Without Normalization》表明在不引入任何归一化方法的情况下，通过使用原版 SGD，可以有效地训练一个 10,000 层的深度网络。也就是说「训练超深残差网络可以不用批归一化」。
迁移学习：遇到一个新问题，不是从头训练一个网络模型，而是在现有的预训练模型上，再次训练或者直接使用。
本文提出了一种大批量训练算法 AGVM (Adaptive Gradient Variance Modulator)，不仅可以适配于目标检测任务，同时也可以适配各类分割任务。AGVM 可以把目标检测的训练批量大小扩大到 1536，帮助研究人员四分钟训练 Faster R-CNN，3.5 小时把 COCO 刷到 62.2 mAP，均打破了目标检测训练速度的世界纪录。
安全性与保障性一直是机器人技术的两个主要问题。学术界处理这两个问题时，通常采用两种方法：1.用大量的数据训练深度模型，提高其环境适应性；2.进行对抗训练，提高其稳健性。
在深度学习领域，通过预训练模型作为检查点开始训练生成神经网络模型实现对新任务的支持，这种方法通常被称为迁移学习，它的好处是不用再重头开始设计与训练一个全新的网络，而是基于已经训练好的网络模型，在其基础上进行参数与知识迁移，只需要很少量的计算资源开销与训练时间就可以实现对新任务的支持。
论文: Training data-efficient image transformers & distillation through attention
深度卷积神经网络（CNN）是深度学习成功的关键。基于 CNN 的架构在计算机视觉、语音识别、自然语言处理以及最近的围棋博弈等多个领域取得了前所未有的准确率。
深度强化学习模型的训练通常需要很高的计算成本，因此对深度强化学习模型进行稀疏化处理具有加快训练速度和拓展模型部署的巨大潜力。然而现有的生成小型模型的方法主要基于知识蒸馏，即通过迭代训练稠密网络，训练过程仍需要大量的计算资源。另外，由于强化学习自举训练的复杂性，训练过程中全程进行稀疏训练在深度强化学习领域尚未得到充分的研究。
卷积神经网络（三） ——inception网络、迁移学习 （原创内容，转载请注明来源，谢谢） 一、Inception网络 1、简介 前面的文章中，有各种的卷积模型可以选择，而具体如何选择各种模型，实际
选自arXiv 作者：叶承曦（Chengxi Ye) 、杨叶舟 （Yezhou Yang) 、Cornelia Fermüller、Yiannis Aloimonos 机器之心编辑部 近日，马里兰大学和亚利桑那州立大学的研究者叶承羲、杨叶舟、Cornelia Fermüller、Yiannis Aloimonos 发表了一篇论文《On the Importance of Consistency in Training Deep Neural Networks》，在此文章中作者们对神经网络多年以来存在的训练一
摘要：DIGITS是一款面向数据科学家和研究人员的交互式深度学习开发工具。新的DIGITS 2包含了多GPU自动扩展功能，不论为单个数据集开发优化的神经网络还是在多个数据集上训练多重网络，都可使用多GPU开发并行优化网络。 DIGITS 是一款面向数据科学家和研究人员的交互式深度学习开发工具，设计的初衷是为了适应优越的深度神经网络的迅速开发和部署。NVIDIA在2015年3月份推出了DIGITS，今天发布的DIGITS 2，包含了多GPU自动扩展功能。不管是为单个数据集开发优化的神经网络还是在多个数据集上训
训练深度神经网络是一个乏味的过程。更实际的方法，如重新使用训练好的网络解决其他任务，或针对许多任务使用相同的网络。这篇文章中，我们会讨论两个重要的方法：迁移学习和多任务学习。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
