PyTorch SGD（随机梯度下降）的默认批量大小是1。
接下来将从零开始实现线性回归整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。虽然现代的深度学习框架几乎可以自动化地进行所有这些工作，但从零开始实现可以确保你真正知道自己在做什么。同时，了解更细致的工作原理将方便我们自定义模型、自定义层或自定义损失函数。 在这一节中，我们将只使用张量和自动求导。
深度学习已经为人工智能领域带来了巨大的发展进步。但是，必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 ImageNet 等基准数据集的训练可能要耗费多达一周的时间，研究者已经观察到在多台机器上的分布式训练能极大减少训练时间。近期的研究已经通过使用 2048 个 GPU 的集群将 ImageNet 训练时间降低至了 4 分钟。这篇论文总结了各种用于分布式训练的算法和技术，并给出了用于现代分布式训练框架的当前最佳方法。更具体而言，我们探索了分布式随机梯度下降的同步和异步变体、各种 All Reduce 梯度聚合策略以及用于在集群上实现更高吞吐量和更低延迟的最佳实践，比如混合精度训练、大批量训练和梯度压缩。
训练深度学习模型，尤其是大型模型，可能是一项昂贵的支出。我们可以使用的管理这些成本的主要方法之一是性能优化。性能优化是一个迭代过程，我们不断寻找提高应用程序性能的机会，然后利用这些机会。在之前的文章中（例如此处），我们强调了拥有适当工具来进行此分析的重要性。工具的选择可能取决于许多因素，包括训练加速器的类型（例如 GPU、HPU 或其他）和训练框架。
启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cuda.is_available() ，若返回TRUE则说明研究环境配置正确，若返回False但可以正确导入torch则说明pytorch配置成功，但研究运行是在CPU进行的，结果如下：
选自arXiv 机器之心编译 参与：蒋思源 由于近来互联网数据越来越大，深度学习模型越来越复杂，执行训练的时间也越来长。因此近日 Facebook 提出了一种将批量大小提高的分布式同步 SGD 训练方法，希望能有助于解决越来越长的训练时间。以下机器之心对该文论进行了部分编译，该论文详细内容请查看论文链接。 论文：Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour 论文链接：https://research.fb.com/wp-content
今天给大家介绍的是何凯明等人在CVPR2020上发表的文章MomentumContrast for Unsupervised Visual Representation Learning。如果从字典查找的角度看对比学习，那么这篇文章提出了动量对比（Moco）的方法，就是利用队列和移动平均编码器构建出动态字典进行查找。这就能够动态地构建一个大而一致的字典，从而增强无监督对比学习。实验结果表明Moco学习到的表征能够很好地用到下游任务中。Moco在7个检测/分割任务中超过了其他通过有监督预训练模型的结果。这表明在许多视觉任务中，无监督和有监督的表征学习之间的差距已经基本上被缩小了。
在第四章中，我们学习了如何创建一个识别图像的神经网络。我们能够在区分 3 和 7 方面达到 98%以上的准确率，但我们也看到 fastai 内置的类能够接近 100%。让我们开始尝试缩小这个差距。
照片由 Torsten Dederichs 拍摄，上传到 Unsplash
众所周知，机器学习代码很难调试。就连简单的前馈神经网络，您也经常需要围绕网络架构、权重值初始化和网络优化做出决策 - 所有这些都可能导致机器学习代码中隐藏BUG。
梯度下降（Gradient Descent）是一种在机器学习和深度学习中广泛应用的优化算法。该算法的核心思想非常直观：找到一个函数的局部最小值（或最大值）通过不断地沿着该函数的梯度（gradient）方向更新参数。
PyTorch 的关键数据结构是张量，即多维数组。其功能与 NumPy 的 ndarray 对象类似，如下我们可以使用 torch.Tensor() 创建张量。如果你需要一个兼容 NumPy 的表征，或者你想从现有的 NumPy 对象中创建一个 PyTorch 张量，那么就很简单了。
峰值内存消耗是训练深度学习模型（如视觉 Transformer 和 LLM）时的常见瓶颈。本文提供了一系列可以在不牺牲建模性能和预测精度的情况下，将 PyTorch 中的内存消耗降低到约 1/20 的技术。
如果将 Adam 优化出现以来产生的关于优化过程的有趣想法按时间顺序排列的话，结果如下：
深度学习中，优化算法的 目标函数 通常是一个基于训练集的损失函数，优化的目标在于降低训练误差。
很多人在使用pytorch的时候都会遇到优化器选择的问题，今天就给大家介绍对比一下pytorch中常用的四种优化器。SGD、Momentum、RMSProp、Adam。
近日，Facebook 开源了一个新型库 Opacus，它支持使用差分隐私来训练 PyTorch 模型，扩展性优于目前的 SOTA 方法。同时，Opacus 库支持以最少代码更改来训练模型，且不会影响训练性能，并允许在线跟踪任意给定时刻的隐私预算。
选自arXiv 机器之心编译 参与：蒋思源、李亚洲、路雪 自 Facebook 发布 1 小时训练 ImageNet 论文以来，很多研究者都在关注如何使用并行训练来提高深度学习的训练速度。Facebook 提出了一种提高批量大小的分布式同步 SGD 训练方法，而 Yang You 等人在 Facebook 的论文上更进一步采用层级对应的适应率缩放（LARS）来对每一层网络使用不同的学习率。他们在 AlexNet 和 ResNet-50 模型上分别实现了 8129 和 32768 的批量大小，而且在加速训练的
选自UC Berkeley 机器之心编译 参与：李泽南、蒋思源 今年 6 月，Facebook 实现 1 小时训练 ImageNet 的成绩之后，通过增加批量大小以加快并行训练速度的方式引发了人们的关注。最近 UC Berkeley 的研究人员们为我们展示了 24 分钟训练 ImageNet 的成绩，他们将批量大小增加到了 32k。研究人员表示，在同样成绩下，新的方法使用的计算设备成本（120 万美元）大大低于 Facebook（410 万美元）。 对于深度学习应用而言，模型、数据集越大，结果就越精确，但同
在本文[1]中，我们将首先了解数据并行（DP）和分布式数据并行（DDP）算法之间的差异，然后我们将解释什么是梯度累积（GA），最后展示 DDP 和 GA 在 PyTorch 中的实现方式以及它们如何导致相同的结果。
作者：Dmytrii S. 翻译：陈之炎 校对：卢苗苗 本文与大家讨论深度学习泛化理论中的一些经验并试图对它做出解释。 我们可以从最新的关于深度学习“炼金术”的悖论研究中了解一二。 动机 深度学习目前正被用于方方面面。但是，人们经常批评它缺乏一个基础理论，能够完全解释其为什么能如此神奇。最近，神经信息处理系统大会(NIPS)的时间测试奖(Test-of-Time)得主将深度学习比作“炼金术”。 尽管解释深度学习泛化理论仍然是一个悬而未决的问题，在这篇文章中，我们将讨论这个领域最新的理论和先进的经验，并试
不同行业采用人工智能的速度取决于最大化数据科学家的生产力。NVIDIA每个月都会发布优化的NGC容器，为深度学习框架和库提供更好的性能，帮助科学家最大限度地发挥他们的潜力。英伟达持续投资于完整的数据科学栈，包括GPU架构、系统和软件栈。这种整体的方法为深度学习模型培训提供了最好的性能，NVIDIA赢得了提交给MLPerf的所有六个基准测试，这是第一个全行业的AI基准测试。NVIDIA在最近几年引入了几代新的GPU架构，最终在Volta和图灵GPU上实现了张量核心架构，其中包括对混合精度计算的本机支持。NVIDIA在MXNet和PyTorch框架上完成了这些记录，展示了NVIDIA 平台的多功能性。
项目链接：https://github.com/ajbrock/BigGAN-PyTorch 该项目一出即引发了人们的广泛关注，有的人表示不敢相信，也有人哭晕在 Colab。
PyTorch 2.0 于 2022 年 12 月上旬在 NeurIPS 2022 上发布，它新增的 torch.compile 组件引起了广泛关注，因为该组件声称比 PyTorch 的先前版本带来更大的计算速度提升。
在深度学习项目中，CUDA内存溢出（OutOfMemoryError）是一个常见的难题，尤其在使用PyTorch框架进行大规模数据处理时。本文详细讨论了CUDA内存溢出的原因、解决方案，并提供了实用的代码示例。我们将围绕OutOfMemoryError: CUDA out of memory错误进行深入分析，探讨内存管理、优化技巧，以及如何有效利用PYTORCH_CUDA_ALLOC_CONF环境变量来避免内存碎片化。本文内容丰富，结构清晰，旨在帮助广大AI开发者，无论是深度学习的初学者还是资深研究者，有效解决CUDA内存溢出问题。关键词包括CUDA内存溢出、PyTorch、内存管理、内存碎片化、深度学习优化等，确保容易被搜索引擎检索到。
【新智元导读】此前，伯克利、TACC和UC戴维斯的研究人员使用新算法，在24分钟内训练完AlexNet，1小时训练完ResNet，创下了纪录。现在，他们继续推进，使用1024个CPU，在11分钟内训练
1）内存利用率提高了，大矩阵乘法的并行化效率提高。 2）跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 3）在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 随着 Batch_Size 增大，处理相同数据量的速度越快。 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。” 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。
这一次，来自富士通的研究人员用上了 2048 块 GPU，以 81,920 的批量大小用 74.7 秒完成了 ResNet-50 训练。
线性回归是通过一个或多个自变量与因变量之间进行建模的回归分析，其特点为一个或多个称为回归系数的模型参数的线性组合。如下图所示，样本点为历史数据，回归曲线要能最贴切的模拟样本点的趋势，将误差降到最小。
为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:
选自inFERENCe 作者：Ferenc Huszár 机器之心编译 参与：程耀彤、思源 深度模型的泛化性能一直是研究的主题。最近，Twitter 的机器学习研究员 Ferenc Huszár 发表了一篇文章专门讨论泛化与 Fisher-Rao 范数之间的关系，它先分析了提出 Fisher-Rao 度量方法的论文，包括带偏置项和不带偏置项的分段线性网络的可视化，然后再讨论了其它如 Fisher-Rao 范数是否会成为有效的正则化器等问题。 在上周发布的关于泛化之谜的文章之后，有研究者向我介绍了最近将 F
该团队的主要训练方法是：fast.ai 用于分类任务的渐进式调整大小和矩形图像验证；英伟达的 NCCL 库，该库整合了 PyTorch 的 all-reduce 分布式模块；腾讯的权重衰减调整方法；谷歌大脑的动态批量大小的一个变体，学习率逐步预热（Goyal 等人 2018、Leslie Smith 2018）。该团队使用经典的 ResNet-50 架构和具备动量的 SGD。
在传统的梯度下降优化算法中，如果碰到平缓区域，梯度值较小，参数优化变慢 ，遇到鞍点（是指在某些方向上梯度为零而在其他方向上梯度非零的点。），梯度为 0，参数无法优化，碰到局部最小值。实践中使用的小批量梯度下降法（mini-batch SGD）因其梯度估计的噪声性质，有时能够使模型脱离这些点。
物体检测技术，通常是指在一张图像中检测出物体出现的位置及对应的类别。我们要求检测器输出5个量：物体类别、
选自medium 作者：Kaiyu Yue 机器之心编译 编辑：陈 训练大模型时，如何优雅地减少 GPU 内存消耗？你不妨试试这个 TorchShard 库，兼具模型并行与数据并行等特点，还具有与 PyTorch 相同的 API 设计。 模型并行性能够促进视觉任务的性能。但是目前，还没有一个标准库可以让我们像采用混合精度等其他 SOTA 技术那样轻松地采用模型并行性。 最近，马里兰大学帕克分校计算机科学系的研究者 Kaiyu Yue 开源了一个工具TorchShard，这是一个轻量级的引擎，用于将 Py
卷积神经网络（Convolutional Neural Networks, CNN）的复杂性和灵活性使其成为深度学习领域的核心研究主题之一。在本引言部分中，我们将深入探讨CNN的历史背景、基本原理、重要性以及其在科学和工业领域的影响。
新智元报道 来源：arXiv 编译：肖琴、克雷格 【新智元导读】深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作。
Pytorch提供了大量预定义的层，使用框架时，主要是需要关注使用哪些层来构造模型。
【新智元导读】深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMind等的研究人员提交的distillation的更进一步工作：通过online distillation进行大规模分布式神经网络训练。该工作提出了Codistillation的概念，通过大规模实验，发现codistillation方法提高了准确性并加快了训练速度，并且易于在实践中使用。 论文地址：h
简单的说，线性回归预测是基于某个变量 X （自变量）来预测变量 Y （因变量）的值，当然前提是 X 和 Y 之间存在线性关系。这两个变量之间的线性关系可以用直线表示（称为回归线）。
随着大规模数据集的出现，在海量数据集上训练大型深度神经网络，甚至使用随机梯度下降（Stochastic Gradient Descent，SGD）等计算效率高的优化方法，都已变得尤为具有挑战性。例如，BERT和ResNet-50等最先进的深度学习模型在16个TPUv3芯片上训练需要3天，在8台Tesla P100 GPU上训练需要29小时。
3.1、线性回归 线性回归是显式解，深度学习中绝大多数遇到的都是隐式解。 3.1.1、PyTorch 从零实现线性回归 %matplotlib inline import random impo
这篇文章非常全面细致地介绍了Batch Size的相关问题。结合一些理论知识，通过大量实验，文章探讨了Batch Size的大小对模型性能的影响、如何影响以及如何缩小影响等有关内容。
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的PyTorch小试牛刀。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。
随机梯度下降是训练深度学习模型的主要方法。
作者：MXNet 作者 / 亚马逊主任科学家 李沐 【新智元导读】PyTorch 是一个纯命令式的深度学习框架。它因为提供简单易懂的编程接口而广受欢迎，而且正在快速的流行开来。MXNet通过ndarray和 gluon模块提供了非常类似 PyTorch 的编程接口。本文将简单对比如何用这两个框架来实现同样的算法。 PyTorch 是一个纯命令式的深度学习框架。它因为提供简单易懂的编程接口而广受欢迎，而且正在快速的流行开来。例如 Caffe2 最近就并入了 PyTorch。 可能大家不是特别知道的是，MXN
（1）使用jupyter notebook新增的pytorch环境新建ipynb文件，完成线性回归从零开始实现的实验代码与练习结果如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
