现在PyTorch官方已经在Github上给出示例代码，教你如何免费使用谷歌云TPU训练模型，然后在Colab中进行推理。
随着深度学习模型在各种应用中的成功实施，现在是时候获得不仅准确而且速度更快的结果。
「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。
accelerate 是huggingface开源的一个方便将pytorch模型迁移到 GPU/multi-GPUs/TPU/fp16 模式下训练的小巧工具。
机器之心报道 作者：力元 多数 PyTorch 高级库都支持分布式训练和混合精度训练，但是它们引入的抽象化往往需要用户学习新的 API 来定制训练循环。许多 PyTorch 用户希望完全控制自己的训练循环，但不想编写和维护训练所需的样板代码。Hugging Face 最近发布的新库 Accelerate 解决了这个问题。 「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类
Google定制的打机器学习专用晶片称之为TPU（Tensor Processing Unit），Google在其自家称，由于TPU专为机器学习所运行，得以较传统CPU、 GPU降低精度，在计算所需的电晶体数量上，自然可以减少，也因此，可从电晶体中挤出更多效能，每秒执行更复杂、强大的机器学习模组，并加速模组的运用，使得使用者更快得到答案，Google最早是计划用FPGA的，但是财大气粗，考虑到自己的特殊应用，就招了很多牛人来做专用芯片TPU。
PyTorch非常易于使用，可以构建复杂的AI模型。但是一旦研究变得复杂，并且将诸如多GPU训练，16位精度和TPU训练之类的东西混在一起，用户很可能会引入错误。
pytorch-lightning 之于 pytorch，就如同keras之于 tensorflow。
一般pytorch需要用户自定义训练循环，可以说有1000个pytorch用户就有1000种训练代码风格。
如果在单个 GPU 上训练模型太慢或者模型的权重无法适应单个 GPU 的内存，则过渡到多 GPU 设置可能是一个可行的选择。在进行此过渡之前，彻底探索在单个 GPU 上进行高效训练的方法和工具中涵盖的所有策略，因为它们普遍适用于任意数量的 GPU 上的模型训练。一旦您采用了这些策略并发现它们在单个 GPU 上不足以满足您的情况时，请考虑转移到多个 GPU。
最近一段时间，文本转图像模型 Stable Diffusion 可谓是爆红 AI 圈，其是由慕尼黑大学和 Runway 的研究者基于 CVPR 2022 的论文《High-Resolution Image Synthesis with Latent Diffusion Models》实现的，它可以在消费级 GPU 上运行。
4月21日，Facebook 正式发布了 PyTorch 1.5，这是自 2020 年 1 月发布 Pytorch 1.4 之后，时隔三月迎来的另一次版本升级。
机器之心报道 机器之心编辑部 研究者对 Stable Diffusion 的探索，永无止境。 最近一段时间，文本转图像模型 Stable Diffusion 可谓是爆红 AI 圈，其是由慕尼黑大学和 Runway 的研究者基于 CVPR 2022 的论文《High-Resolution Image Synthesis with Latent Diffusion Models》实现的，它可以在消费级 GPU 上运行。 自推出以来，研究者纷纷对 Stable Diffusion 进行了更深入的研究。有研究者将其
专门为机器学习研究者开发的PyTorch轻量包装器(wrapper)。缩放您的模型。写更少的模板代码。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
你好，我是云哥。本篇文章为大家介绍一个可以帮助大家优雅地进行深度学习研究的工具：pytorch-lightning。
这几天各大科技媒体都在唱衰TensorFlow，鼓吹JAX。恰好前两个月我都在用JAX，算是从JAX新人进阶为小白，过来吹吹牛。
Github上刚刚开源了一个Google BERT的PyTorch实现版本，同时包含可加载Google BERT预训练模型的脚本，感兴趣的同学可以关注：
2019.10.10日，PyTorch 开发者大会在美国旧金山开幕，会上发布了PyTorch 1.3。这次更新最大的亮点在于对移动设备的支持（Mobile Supported）、命名张量（Named Tensors），量化（Quantization），类型提升（Type Promotion）等。另外，PyTorch 官方还开源了很多新工具和库，涉及可解释性、加密、以及关于图像语音的诸多功能。下面会逐一介绍。
AI科技评论消息，5月18日凌晨，Google CEO Sundar Pichai在I/O大会上正式公布了第二代TPU，又称Cloud TPU或TPU 2.0，这一基于云计算的硬件和软件系统，将继续支撑Google最前沿的人工智能技术。 第一代TPU于去年发布，它被作为一种特定目的芯片而专为机器学习设计，并用在了AlphaGo的人工智能系统上，是其预测和决策等技术的基础。随后，Google还将这一芯片用在了其服务的方方面面，比如每一次搜索都有用到TPU的计算能力，最近还用在了Google翻译、相册等软件
PaLM 在decoder-only架构中使用标准的 Transformer 模型架构（即每个时间步只能关注其自身和过去的时间步），并进行以下修改： （1）采用SwiGLU激活函数：用于 MLP 中间激活，因为与标准 ReLU、GELU 或 Swish 激活相比，《GLU Variants Improve Transformer》论文里提到：SwiGLU 已被证明可以显著提高模型效果。
yolov5 release 6.1版本增加了TensorRT、Edge TPU和OpenVINO的支持，并提供了新的默认单周期线性LR调度器，以128批处理大小的再训练模型。YOLOv5现在正式支持11种不同的权重，不仅可以直接导出，还可以用于推理(detect.py和PyTorch Hub)，以及在导出后对mAP配置文件和速度结果进行验证。
今天，PyTorch 1.5 宣布上线，此版本主要包括几个新的 API 的添加和改进。新版 PyTorch 包括对 C++前端的重大更新，用于计算机视觉模型的「channels last」存储格式，以及用于模型并行训练的分布式 RPC 框架的稳定版本。该版本还提供了针对自动求导机制中黑塞和雅可比的新 API，以及受 pybind 启发，允许用户创建自定义 C++类的一个 API。另外，torch_xla 已可在 PyTorch 1.5 版中使用，并在 1.5 版本中进行了测试，可提供成熟的 Cloud TPU 体验。
BARThez 模型是由 Moussa Kamal Eddine、Antoine J.-P. Tixier 和 Michalis Vazirgiannis 于 2020 年 10 月 23 日提出的BARThez: a Skilled Pretrained French Sequence-to-Sequence Model。
Facebook刚刚发布了PyTorch v1.3，其中包含了一些最期待的功能。最具吸引力的三个是：
来了来了，它来了！它带着全新的tokenizer API、TensorFlow改进以及增强的文档和教程来了！
作者：萧箫 丰色 来源：量子位公众号 QbitAI 收获接近16.6万个Star、见证深度学习崛起的TensorFlow，地位已岌岌可危。并且这次，冲击不是来自老对手PyTorch，而是自家新秀JAX。 最新一波AI圈热议中，连fast.ai创始人Jeremy Howard都下场表示： JAX正逐渐取代TensorFlow这件事，早已广为人知了。现在它就在发生（至少在谷歌内部是这样）。 LeCun更是认为，深度学习框架之间的激烈竞争，已经进入了一个新的阶段。 LeCun表示，当初谷歌的TensorFlo
萧箫 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 收获接近16.6万个Star、见证深度学习崛起的TensorFlow，地位已岌岌可危。 并且这次，冲击不是来自老对手PyTorch，而是自家新秀JAX。 最新一波AI圈热议中，连fast.ai创始人Jeremy Howard都下场表示： JAX正逐渐取代TensorFlow这件事，早已广为人知了。现在它就在发生（至少在谷歌内部是这样）。 LeCun更是认为，深度学习框架之间的激烈竞争，已经进入了一个新的阶段。 LeCun表示，当初谷歌的Tens
关于 pytorch 安装查看官方文档 PyTorch Get Started docs
OpenAI今天在官博上介绍了他们的新NLP模型，刷新了7大数据集的SOTA(当前最佳结果)，并且能够在不进行任何与领域知识相关数据训练的情况下，直接跨任务执行最基础的阅读理解、机器翻译、问答和文本总结等不同NLP任务。
NLP领域今年的竞争真可谓激烈。短短一个多月的时间，BERT又重新杀回GLUE测试排行榜第一名。
在学会 Transformer 和 Bert 之前，我们需要理解Attention和Self-Attention机制。Attention的本质是要找到输入的feature的权重分布，这个feature在某一个维度有一个长度的概念，如果我们输入一个长为 n 的 feature，那么 Attention 就要学习一个长为 n 的分布权重，这个权重是由相似度计算出来的，最后返回的得分就将会是权重与feature的加权和。
在人工智能模型的开发旅程中，选择正确的机器学习开发框架是一项至关重要的决策。历史上，众多库都曾竞相争夺“人工智能开发者首选框架”这一令人垂涎的称号。（你是否还记得 Caffe 和 Theano？）在过去的几年里，TensorFlow 以其对高效率、基于图的计算的重视，似乎已经成为了领头羊（这是根据作者对学术论文提及次数和社区支持力度的观察得出的结论）。而在近十年的转折点上，PyTorch 以其对用户友好的 Python 风格接口的强调，似乎已经稳坐了霸主之位。但是，近年来，一个新兴的竞争者迅速崛起，其受欢迎程度已经到了不容忽视的地步。JAX 以其对提升人工智能模型训练和推理性能的追求，同时不牺牲用户体验，正逐步向顶尖位置发起挑战。
无论在深度学习还是传统的视觉处理方案中，最常用图像处理库就是 OpenCV 和 PIL 了。然而，因为 OpenCV 和 PIL 都是不可微的，所以这些处理都只可以作为图像的预处理而无法通过观察梯度的变化来对这些算子进行优化 （gradient-based optimization）。因此，Kornia 便应运而生。
作者 | Jeff Hale 译者 | Monanfei 责编 | 夕颜 出品 | AI科技大本营（id：rgznai100）
Trainer 类提供了一个用于在 PyTorch 中进行完整特征训练的 API，并支持在多个 GPU/TPU 上进行分布式训练，支持NVIDIA GPUs的混合精度，AMD GPUs，以及 PyTorch 的torch.amp。Trainer 与 TrainingArguments 类相辅相成，后者提供了广泛的选项来自定义模型的训练方式。这两个类一起提供了一个完整的训练 API。
【新智元导读】 中国香港浸会大学褚晓文教授团队在2016年推出深度学习工具评测的研究报告《基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现》，并在2017年年初发布更新，引起广泛关注。在本次专访中，褚晓文教授介绍了各个工具的优势和劣势，并谈到了TPU崛起对GPU的影响。本文后半部分是褚晓文教授在AICC大会上的演讲实录和PPT。 中国香港浸会大学褚晓文教授团队在2016年推出深度学习工具评测的研究报告，并在2017年年初发布更新，引
今天凌晨，2018年TensorFlow开发者峰会（Dev Summit）在美国加州召开。
BertGeneration 模型是一个可以利用 EncoderDecoderModel 进行序列到序列任务的 BERT 模型，如 Sascha Rothe, Shashi Narayan, Aliaksei Severyn 在 利用预训练检查点进行序列生成任务 中提出的那样。
【新智元导读】去年，英特尔以 4 亿美元收购深度学习芯片研发公司 Nervana，将其作为公司深度学习的核心，并围绕Nervana 在今年年初成立统一的人工智能部门。日前，该部门负责人 Amir 接受新智元专访，针对英伟达GPU和谷歌的TPU谈到了他对目前AI芯片市场格局的看法和相关技术发展态势。他认为，深度学习模型在某种程度上可能朝着暴力计算发展。深度学习将向两大方向发展：一是越来越强的计算力，一是整合异构计算。谷歌 TPU 和 TensorFlow 的优势只是暂时的，英特尔正在开发我们认为比 TPU 第
在这篇文章中，我们将深入探讨Gemma和Gemini这两个由Google开发的AI模型。我们会对比它们的参数规模、计算资源需求和集成难度，帮助大家了解这两者之间的主要区别。无论你是AI初学者还是技术大佬，这篇文章都能带给你全面且易懂的知识点。关键词：Gemma、Gemini、AI模型、Google、参数、计算资源、集成难度。
pytorch-lightning 的核心设计哲学是将 深度学习项目中的 研究代码(定义模型) 和 工程代码 (训练模型) 相互分离。
本文主要介绍了分布式深度学习的各框架以及一些分布式深度学习训练中的常见问题，如：docker及ssh环境问题、nccl多机通信问题等。
假设一个团队有一个项目经理和三个程序员，甲方正在疯狂地提各种需求，然后项目经理要做的就是根据每位程序员的专长，将不同的需求分配给不同的程序员来做，但是项目经理自己不会去实现需求，此时我们可以说，项目经理就是一个 Dispatcher。
Hugging Face是一个专注于自然语言处理（NLP）的开源平台，它旨在让NLP变得更加易用和普及。Hugging Face推出了多个库，例如Transformers，Datasets，Tokenizers和Accelerate，它们分别提供了预训练的模型，大规模的数据集，高效的分词器和分布式训练的工具。Hugging Face还拥有一个活跃的社区，其中有数千名研究人员，开发者和爱好者共同交流和贡献NLP的最新进展。
就在今年 8 月份，机器学习框架 PyTorch 刚发布 1.2 版本（详情可参考：新版 PyTorch 1.2 已发布：功能更多、兼容更全、操作更快！），很多开发者甚至还没来得及吃透 1.2，两个月不到，进击的 Pytorch 又带着我们进入 1.3 版本时代。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
