欢迎来到「澜舟NLP论文领读」专栏！快乐研究，当然从研读 paper 开始——澜舟科技团队注重欢乐的前沿技术探索，希望通过全新专栏和大家共同探索人工智能奥秘、交流 NLP「黑科技」，踩在「巨人」肩上触碰星辰！
Anima Anandkumar，这位研究科学家堪称人工智能界的传奇人物。作为加州理工学院的布伦教授(Bren Professor)，她是ACM、IEEE、Schmidt Science、Guggenheim以及Alfred.P.Sloan基金会的成员，堪称学术界的一颗耀眼明星。她曾获得NeurIPS最佳论文奖和ACM Gordon Bell特别奖，展现出在科学研究领域的卓越才华。
大多数大型语言模型(LLM)都无法在消费者硬件上进行微调。例如，650亿个参数模型需要超过780 Gb的GPU内存。这相当于10个A100 80gb的gpu。就算我们使用云服务器，花费的开销也不是所有人都能够承担的。
在大模型方向上，科技巨头在训更大的模型，学界则在想办法搞优化。最近，优化算力的方法又上升到了新的高度。
本人是一个将要大学毕业的学生，目前就职在中世康恺的AI研发部门，中世康恺是一家服务于医学影像信息化的新型互联网公司，该公司以数字医疗影像为核心, 打造“云+集团+中心”模式。
这个模型有多大？83亿个参数！比谷歌的 BERT 大24倍，比 OpenAI 的 GPT-2 大5.6倍！
近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚至更优。为了使ChatGPT等模型的训练和部署更轻松，AI 开源社区进行了各种尝试（例如 ChatLLaMa、Alpaca、Vicuna、Databricks-Dolly等）。
1 简介 目前正在研究智能问答系统，在学习的过程中读了一些文章，实践了几个开源项目，在这里记录下自己觉得比较的资源 2 博客 深度学习对话系统理论篇--数据集和评价指标介绍 文末介绍了一些数据集，也可以关注下博主，他的专栏也是关于对话系统的。 TensorFlow中Sequence-to-Sequence样例代码详解 sequence to sequence模型 自然语言处理之seq2seq模型 Sequence to Sequence学习简述 推荐论文 Sequence to Sequence
8 月 5 日晚，GraphVite 开发者 @唐建（MILA 实验室助理教授，曾获 ICML 2014最佳论文、WWW16 最佳论文提名） 在社交平台上公布了这个图表示学习系统开源的消息。他表示，在百万节点的图上，使用该系统仅需 1 分钟左右就可以学习节点的表示。该系统的目标是为广泛的嵌入方法系列提供通用和高性能的框架，这将非常有利于图学习算法的研究与部署。雷锋网 AI 开发者将其具体介绍及相关地址编译如下。
深度学习是非常消耗计算资源的，毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要？在构建深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。本文中我将一步一步教你如何使用低价的硬件构建一个高性能的系统。
有一次，我在 twitter 上看到 Jeremy Howard 引用 Yann LeCun 关于 batch 大小的话：
机器之心专栏 微软DeepSpeed组 昨日，微软开源的 DeepSpeed Chat 引起了AI社区的广泛关注。 它让我们能够以更低的成本、更快的速度训练类似于ChatGPT的高质量大模型。 链接：https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat 本文对开源的 DeepSpeed Chat 进行了详细的介绍。该博客由微软DeepSpeed组官方撰写并译制，并授权「开源社」首发于中文社区，机器之心转载。 概述
地址：https://blog.monsterapi.ai/no-code-fine-tuning-llm/
学习理论之外，自己寻找资源动手实践，在实际做项目中巩固了习得的理论知识，并进一步体会到了日常积累的重要性。
【新智元导读】近日，IBM 宣布他们使用一组由 Criteo Labs发布的广告数据集来训练逻辑回归分类器，在POWER9服务器和GPU上运行自身机器学习库Snap ML，结果比此前来自谷歌的最佳成绩快了46倍。 英伟达CEO黄仁勋和IBM 高级副总裁John Kelly在Think大会上 最近，在拉斯维加斯的IBM THINK大会上，IBM宣布，他们利用优化的硬件上的新软件和算法，取得了AI性能的大突破，包括采用 POWER9 和NVIDIA®V100™GPU 的组合。 谷歌云上TensorF
近年来，深度学习已经成功应用到多种问题中。迁移学习在计算机视觉问题上的成功运用使得许多应用成为可能：VGG[6] 和 ResNets [7] 等大型 CNN 在 ImageNet 等大型图像数据集上进行预训练 [8,9] 然后在计算机视觉任务中作为骨干网络架构。这些模型可以为新任务提取有用的特征，而无需在执行每个任务时都从头开始训练 [2], [10]–[12]。
Efficient Data Loader for Fast Sampling-Based GNN Training on Large Graphs | IEEE Journals & Magazine | IEEE Xplore
2018 年的大部分时间我都在试图训练神经网络时克服 GPU 极限。无论是在含有 1.5 亿个参数的语言模型（如 OpenAI 的大型生成预训练 Transformer 或最近类似的 BERT 模型）还是馈入 3000 万个元素输入的元学习神经网络（如我们在一篇 ICLR 论文《Meta-Learning a Dynamical Language Model》中提到的模型），我都只能在 GPU 上处理很少的训练样本。
Keras 2.X版本后可以很方便的支持使用多GPU进行训练了，使用多GPU可以提高我们的训练过程，比如加速和解决内存不足问题。
机器之心报道 机器之心编辑部 这项研究基于现有公开人脸数据集创建了目前全球最大的人脸数据集，并实现了一个高效的分布式采样算法，兼顾模型准确率和训练效率，只用八块英伟达 RTX2080Ti 显卡就可以完成数千万人脸图像的分类任务。 人脸识别是计算机视觉社区长期以来的活跃课题。之前的研究者主要关注人脸特征提取网络所用的损失函数，尤其是基于softmax的损失函数大幅提升了人脸识别的性能。然而，飞速增加的人脸图像数量和GPU内存不足之间的矛盾逐渐变得不可调和。 最近，格灵深瞳、北京邮电大学、湘潭大学和北京理工大学
图 1：在 Kaggle Notebook 中可以免费使用 CPU、GPU 和 TPU。
OpenAI 的 GPT-3 是一个令人印象深刻的深度学习模型，但是它有 1750 亿个参数，相当占用资源。尽管有不同的估计，但是这种规模的模型在一个 GPU 上的训练需要数百年。
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一个并行计算平台和应用编程接口（API）模型。它允许开发者使用NVIDIA的GPU进行高效的并行计算，从而加速计算密集型任务。在这一节中，我们将详细探讨CUDA的定义和其演进过程，重点关注其关键的技术更新和里程碑。
BERT终于来了！今天，谷歌研究团队终于在GitHub上发布了万众期待的BERT。
(2)Default prompt:由于Stable diffusion本质上是用prompt训练的，空字符串可能是模型的一个意外输入，如果没有提供prompt，SD倾向于生成随机纹理。更好的设置是使用无意义的prompt，如“一张图片”、“一张漂亮的图片”、“一张专业的图片”等。在设置中，使用“专业、详细、高质量的图像”作为默认prompt。
提示校准包括调整提示，尽量减少产生的输出中的偏差。微调修改模型本身，而数据增强扩展训练数据。梯度裁剪防止在训练期间爆炸梯度。
在当前的数据驱动时代，大量的数据需要在不同系统和应用程序之间进行交换和共享。这些数据可能来自于不同的源头，如传感器、数据库、文件等，具有不同的格式、大小和结构；不同系统和编程语言的运行环境也可能存在差异，如操作系统、硬件架构等，进一步增加了数据交换的复杂度和难度。为了将这些数据有效地传输和处理，需要一个高性能的数据交换格式，以提高数据交换和处理的速度和效率。传统上，数据交换通常采用文本格式，如CSV、XML、JSON等，但它们存在解析效率低、存储空间占用大、数据类型限制等问题，对于大规模数据的传输和处理往往效果不佳。因此，需要一种高效的数据交换格式，可以快速地将数据从一个系统或应用程序传输到另一个系统或应用程序，并能够支持不同编程语言和操作系统之间的交互。
我叫劳伦斯·拉斯内尔，是Meta公司的工程经理，我负责PyTorch团队的一部分。在过去的两年半里，我一直专注于PyTorch库，例如Torch vision,audio,multimodel。我们在生成式人工智能、大规模内容理解模型和大规模推荐系统等方面做了大量的工作。今天我将讲述PyTorch中dataloading的发展现状。
近期关于无监督语言建模的研究证明，训练大型神经语言模型推动了自然语言处理应用中的 SOTA 结果。但是，对于非常大的模型而言，内存限制了实际训练的模型大小。模型并行化使得我们能够训练更大的模型，因为模型并行化可以将参数分割并分配至多个处理器。
导读：本文主要介绍Google发表在KDD 2019的图嵌入工业界最新论文，提出Cluster-GCN，高效解决工业界训练大规模深度图卷积神经网络问题，性能大幅提升基础上依靠可训练更深层网络达到SOTA效果，并开源了源代码。
众所周知，当今业界性能最强（SOTA）的深度学习模型都会占用巨大的显存空间，很多过去性能算得上强劲的 GPU，现在可能稍显内存不足。在 lambda 最新的一篇显卡横向测评文章中，开发者们探讨了哪些 GPU 可以再不出现内存错误的情况下训练模型。当然，还有这些 GPU 的 AI 性能。
在深度学习项目中，CUDA内存溢出（OutOfMemoryError）是一个常见的难题，尤其在使用PyTorch框架进行大规模数据处理时。本文详细讨论了CUDA内存溢出的原因、解决方案，并提供了实用的代码示例。我们将围绕OutOfMemoryError: CUDA out of memory错误进行深入分析，探讨内存管理、优化技巧，以及如何有效利用PYTORCH_CUDA_ALLOC_CONF环境变量来避免内存碎片化。本文内容丰富，结构清晰，旨在帮助广大AI开发者，无论是深度学习的初学者还是资深研究者，有效解决CUDA内存溢出问题。关键词包括CUDA内存溢出、PyTorch、内存管理、内存碎片化、深度学习优化等，确保容易被搜索引擎检索到。
雷锋网 AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
随着用于深度学习的数据集和深度神经网络模型的规模增大，训练模型所需的时间也在增加具有数据并行性的大规模分布式深度学习可以有效缩短训练时间。
AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
大模型调优（finetuning）不仅仅是参数的优化，同样会受到非功能性约束的挑战，例如：
在训练神经网络时，模型需要对整个训练数据集进行训练，但是数据集通常很大，如果一次把整个数据集提供给模型训练，可能导致内存不足或运算时间太长。因此，我们通常将数据集分成若干个 Batch，每次提供一个 Batch 给模型训练。Batch Size 就是指一个 Batch 中数据的数量。
Jason Brownlee 在研究、应用机器学习算法的经历中，相信大伙儿经常遇到数据集太大、内存不够用的情况。 这引出一系列问题： 怎么加载十几、几十 GB 的数据文件？ 运行数据集的时候算法崩溃了，怎么办怎么处理内存不足导致的错误？ 本文将讨论一些常用的解决办法，供大家参考。 处理大型 ML 数据文件的七种思路 1. 分配更多内存 有的机器学习工具/库有默认内存设置，比如 Weka。这便是一个限制因素。 你需要检查一下：是否能重新设置该工具/库，分配更多内存。 对于 Weka，你可以在打开
Adding Conditional Control to Text-to-Image Diffusion Models
2.3 Challenges in Distributed GNN Training
近日，深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 在 CVPR 2023 上发表了主题演讲「Scaling PyTorch Model Training With Minimal Code Changes」。
Batch一般被翻译为批量，设置batch_size的目的让模型在训练过程中每次选择批量的数据来进行处理。Batch Size的直观理解就是一次训练所选取的样本数。 Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。
在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。
在上一篇中，我们详细地为大家地介绍了 DINO，还没看的小伙伴赶紧跳转过去看下吧！传送门：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
