去年的时候，抛砖引玉的写了一篇“硬件定义软件？还是软件定义硬件？”的文章，现在再看，发现很多考虑不全面不深刻的地方。继续抛砖，与大家深入探讨此话题。
本文翻译自：《CUDA vs OpenCL vs Metal : The Battle for GPU Acceleration Supremacy》
GPU 编程可以称为异构编程，最近由于机器学习的火热，很多模型越来越依赖于GPU来进行加速运算，所以异构计算的位置越来越重要；异构编程，主要是指CPU+GPU或者CPU+其他设备（FPGA等）协同计算。当前的计算模型中，CPU主要用来进行通用计算，其更多的是注重控制，我们可以通过GPU和FPGA等做专用的计算。
英伟达不同时代产品的芯片设计不同，每代产品背后有一个微架构代号，微架构均以著名的物理学家为名，以向先贤致敬。当前比较火热的架构有：
【新智元导读】GTC CHINA上，黄仁勋展示了英伟达强大的生态系统建构能力，在围绕GPU为中心的计算生态中：BAT已在云服务中使用GPU，华为、浪潮和联想也都使用GPU服务器，此外还有海康威视、科大讯飞和京东也都在积极使用GPU产品。GPU的计算帝国已然呈现。另外，黄仁勋在北京现场重磅发布了可编程的AI 推理加速器TensorRT 3，从功能上看与TPU有众多相似之处。演讲中，黄仁勋特别提到了自动驾驶和自主机器，这将是英伟达接下来发力的重点。 2017年9月26日，北京，英伟达GPU技术峰会GTC CHI
在过去的一年（2022年），软硬件融合公众号的很多文章，都围绕着“超异构计算”这个重要的主题展开。也和很多朋友交流超异构计算相关的话题，大家提到的最主要的一个问题是：超异构和异构的本质区别在哪里？
作为一款被学术界和工业界广泛使用的开源机器学习框架，PyTorch 近日发布了最新的 1.8 版本，1.8 版本的发布，使得 PyTorch 加入了对 AMD ROCm 的支持，可以方便用户在原生环境下运行，省去了配置 Docker 的繁琐。
在前面文章中，我们交代了计算平台相关的一些基本概念以及为什么以GPU为代表的专门计算平台能够取代CPU成为大规模并行计算的主要力量。在接下来的文章中，我们会近距离从软硬件协同角度讨论GPU计算如何开展。跟先前的文章类似，笔者会采用自上而下，从抽象到具体的方式来论述。希望读者不只是对GPU计算能有所理解，而且能够从中了解可以迁移到其它计算平台的知识，此是笔者之愿景，能否实现一二，还恳请各位看官不断反馈指正，欢迎大家在后台留言交流。在本文中，我们首先介绍下GPU及其分类，并简单回顾下GPU绘制流水线的运作，最后又如何演化为通用计算平台。
1999年，英伟达定义了GPU，GPU的出现被业界视为现代计算机图形技术的开端。然而GPU的微架构天生适合矩阵类并行计算，其能力不仅限于显卡领域，于是从21世纪早期就有专业的计算人员想要使用GPU做一些人工智能领域相关的并行计算。但是，想要调用GPU的计算能力必须编写大量的底层语言代码。
2015年，亚马逊AWS收购Annapurna，开始了芯片自研之路。差不多同一时间，谷歌自研的AI芯片TPU也开始在内部使用。从此，互联网云计算公司纷纷开始了自研芯片之路，这成为了这些年IC行业重要的趋势。
作者 | 鸽子 2017年9月26日，英伟达GPU技术峰会GTC CHINA在北京开幕。英伟达创始人兼CEO黄仁勋发表主旨演讲《AI 的趋势、挑战与机遇》。 在他的演讲中，黄仁勋提到BAT已在各自的云服务中采用NVIDIA Volta GPU，研究人员和初创公司现在也开始租用云端最先进的AI基础设施，免去了建造超级计算机的复杂性和高昂费用。 此外，他还提到华为、浪潮、联想已采用NVIDIA基于HGX的GPU服务器，而对于需要专用AI超级计算机的企业，英伟达正在与中国主要的系统集成商展开合作，提供全面优化
近期，由腾讯联合中国移动、中国联通、中国信通院、中国科学院计算技术研究所共同发起，在中国通信标准化协会（CCSA）互联网与应用委员会（TC1）推动异构硬件两项行业标准成功立项。
近年来，神经网络在各种领域相比于传统算法有了极大的进步。在图像、视频、语音处理领域，各种各样的网络模型被提出，例如卷积神经网络、循环神经网络。训练较好的 CNN 模型把 ImageNet 数据集上 5 类顶尖图像的分类准确率从 73.8% 提升到了 84.7%，也靠其卓越的特征提取能力进一步提高了目标检测准确率。RNN 在语音识别领域取得了最新的词错率记录。总而言之，由于高度适应大量模式识别问题，神经网络已经成为许多人工智能应用的有力备选项。
异构计算（Heterogeneous computing）技术从80年代中期产生，由于它能经济有效地获取高性能计算能力、可扩展性好、计算资源利用率高、发展潜力巨大，目前已成为并行/分布计算领域中的研究热点之一。本文主要介绍了CPU+GPU基础知识及其异构系统体系结构（CUDA）和基于OpenCL的异构系统，并且总结了两种结构的特点，从而对异构计算有了更深的理解。
过去十年深度神经网络已成为最重要的机器学习模型之一，创造了从自然语言处理到计算机视觉、计算神经科学等许多领域的 SOTA 实现。 深度神经网络的特征注定其产生的计算量是巨大的，但也会产生大量高度并行化的工作，特别适合多核和众核处理器。深度学习领域的新研究思路往往是结合原生框架 operator 来实现的，一般编写专门的 GPU 内核可以解决过程中的性能损失问题，但也确实具有更高的挑战性。可以说，深度神经网络的计算潜力与 GPU 编程困难之间存在着一道鸿沟。 2007 年，英伟达发布了 CUDA 的初始版本，
本文将探讨GPU开发实践，重点关注使用GPU的AI技术场景应用与开发实践。首先介绍了GPU云服务器在AIGC和工业元宇宙中的重要作用，然后深入讨论了GPU在AI绘画、语音合成等场景的应用以及如何有效地利用GPU进行加速。最后，总结了GPU并行执行能力的优势，如提高算力利用率和算法效率，卷积方式处理效率更高，现场分层分级匹配算法计算和交互，超配线程掩盖实验差距，以及tensor core增加算力峰值等。
人工智能的兴起触发了市场对 GPU 的大量需求，但 GPU 在 AI 场景中的应用面临使用寿命短、使用成本高等问题。现场可编程门阵列 (FPGA) 这一可以定制化硬件处理器反倒是更好的解决方案。随着可编程性等问题在 FPGA 上的解决，FPGA 将成为市场人工智能应用的选择。
在2016全球超算大会(SC16)上， AMD（纳斯达克股票代码：AMD）宣布推出新版Radeon开放计算平台（ROCm），其中包括对全新Radeon GPU硬件的软件支持，全新数学库和基础雄厚的现代编程语言，旨在加速高性能，高能效异构计算系统开发。AMD还宣布计划在即将发布的ROCm当中支持OpenCL™和各种CPU，包括支持AMD即将推出的“Zen”架构CPU，CaviumThunderX CPU和IBM Power 8 CPU，巩固了ROCm作为GPU计算通用开源平台的地位。 AMD高级副总裁、
FPGA（现场可编辑门阵列）作为赛灵思（Xilinx）的一项重要发明，以其可编程和灵活性著称。起初，FPGA只是用来仿真ASIC，再进行掩码处理和批量制造使用。不过ASIC相比FPGA来说明显在定制化上要求过高，流片量过小情况下成本反而更高，因此两者毫不冲突地“各司其职”。而后，随着加速器的出现和算力提升，目前已成为与GPU齐名的并行计算器件。
颜萌 李林 编译整理 量子位 出品 | 公众号 QbitAI 所到之处，英伟达CEO黄仁勋例行强调：我们是一家AI公司。 谁又能说不是？ 市值两年上涨7倍，芯片供不应求，屡战英特尔，坚持怼谷歌，是当前AI大红大紫中的实力玩家，也是AI大潮中最闪亮耀眼的明星缩影。 创立24年来，从游戏芯片供应商，到AI芯片垄断者，英伟达俨然历史钦定。 不过，回溯英伟达的风云际会，历史进程纵然功不可没，个人奋斗更是不容忽视——没有濒临破产时的豪赌，没有在CUDA上百亿美元的押注，又怎会有如今风光无
软硬件融合逐步深化并体系化后，逐渐形成很多观点。比如超异构计算，比如开放生态，比如“软件定义一切，硬件加速一切”，比如完全可编程等等。当这些观点想去寻求共鸣的时候，发现Intel已经在做了很多相关的布局。
机器之心报道 机器之心编辑部 刚刚，Meta 发布了革命性的推理引擎 AITemplate。测试结果显示，相比 PyTorch Eager，AITemplate 在 NVIDIA GPU 上实现了最高 12 倍的性能提升，在 AMD GPU 上实现了高达 4 倍的性能提升。 众所周知，GPU 在各种视觉、自然语言和多模态模型推理任务中都占据重要位置。然而，对于高性能 GPU 推理引擎，AI 从业者几乎没有选择权，必须使用一些平台专有的黑盒系统。这意味着如果要切换 GPU 供应商，就必须重新实现一遍部署系统
对于深度学习初学者来说，配置深度学习的环境可能是一大难题，因此本文主要讲解CUDA; cuDNN; Pytorch 三者是什么，以及他们之间的依赖关系。
编写软件以便在当今的异构计算体系结构上高效运行是一个持续的挑战，而越来越多的处理器和加速器的选择使这一挑战变得越来越困难。帮助减轻这一挑战的一个努力是由Khronos行业协会开发的高级编程模型SYCL。SYCL构建在OpenCL(开放计算语言)之上，并且“允许使用完全标准的c++以单源代码风格编写异构处理器的代码”。
当2020年10月份，NVIDIA在其GTC 2020大会上大张旗鼓的宣传DPU之后，整个行业热了起来，大家都在问：什么是DPU？DPU到底能干什么？DPU和GPU有什么区别？号称数据中心三大处理器之一的DPU，“何德何能”与CPU、GPU并驾齐驱？
大厂选择英伟达的GPU进行AI训练，而非英特尔或AMD的产品，主要是基于以下几个原因： 1. CUDA生态系统的成熟： 英伟达的CUDA编程平台是最早且最为成熟的GPU并行计算框架之一，提供了丰富的库和工具，如cuDNN、TensorRT等，这些专门为深度学习优化的库极大地简化了开发流程。开发者社区对CUDA的广泛支持意味着更多现成的AI模型、框架和工具可以直接在英伟达GPU上运行，降低了开发成本和时间。 2. 性能优势： 英伟达在GPU架构设计上持续创新，特别是在AI训练所需的浮点运算、张量运算等方面，其GPU（如A100、H100及后续的新GPU）提供了高性能和高吞吐量，适合大规模并行计算任务。英伟达的Tensor Cores专门针对深度学习中的矩阵乘法和张量运算做了优化，大幅提升了训练效率。 3. 市场先发优势： 英伟达较早认识到GPU在AI领域的潜力，并迅速占据了市场主导地位。这种先发优势让英伟达在AI训练硬件领域积累了大量用户案例和成功故事，形成了一定程度的行业标准效应。 4. 软件和硬件的紧密结合： 英伟达不仅提供硬件，还有一整套从底层驱动到高层应用软件的解决方案，确保了硬件性能的充分发挥。此外，英伟达持续更新的软件栈和工具链，使得开发者可以轻松地调优和监控AI训练过程。 5. 行业合作与支持： 英伟达与众多AI领域的研究机构、企业和云服务商建立了紧密的合作关系，为用户提供从硬件到云服务的全方位支持。这种生态系统为用户提供了便利，也加强了英伟达在市场的地位。 尽管英特尔和AMD近年来在AI领域加大了投资，推出了专门针对AI训练的加速器（如英特尔的Gaudi系列和AMD的MI300），并努力构建自己的软件生态系统，但英伟达在AI训练市场的领先地位短期内仍难以撼动，主要是因为其深厚的技术积累、成熟的生态系统以及广泛的认可度。然而，随着竞争者的不断追赶和技术的发展，未来的市场格局仍有可能发生变化。
总体而言，CUDA 已经成为科学计算和各种数据密集型应用的重要工具之一，通过利用 GPU 的并行计算能力，显著提高了计算速度和效率。
1.摘要 Q音探歌是QQ音乐孵化的一款全新APP，主打高效、准确的“听歌识曲”，“扫描识别MV”功能，这些服务的实现离不开深度学习能力。把深度学习推断带到边缘设备( inference on the edge )，可以减少计算时间，改善用户体验，但是也面临着种种挑战。我们希望本文提供的观察、见解和我们针对不同平台的设计原则能够帮助大家更好地设计和评估移动端的深度学习推断。 2.介绍 2.1深度学习的边缘化发展的机遇 越来越多的服务会使用到深度学习的能力，例如给用户聚类、识别动作与跟踪、语音识别等等。尽管所有
AI并不是一门简单的学科，AI算法的开发和调试并没有一个统一的、集成了大量API方便调用的平台和语言，目前的人工智能开发平台仍然处于一种半蛮荒的状态。许多功能需要自己亲自去搭建和实现。 不过幸运的是，这个领域受到了足够多的重视，因此许多巨头都针对它开发了自己的平台，这其中就包括谷歌的Tensorflow。谷歌DeepMind在AI领域的造诣已经人尽皆知，其推出的这款开发语言平台也不禁引人遐想，那么，Tensorflow到底适合如何拿来做开发？能不能为你的研究或者产品带来更好的机会？ 本期公开课我们邀请到了科
编者按： 新华社北京2022年2月17日电，记者了解到，国家发展改革委、中央网信办、工业和信息化部、国家能源局近日联合印发文件，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏启动建设国家算力枢纽节点，并规划了张家口集群等10个国家数据中心集群。至此，全国一体化大数据中心体系完成总体布局设计，“东数西算”工程正式全面启动。 当前，算力已成为全球战略竞争新焦点，是国民经济发展的重要引擎，全球各国的算力水平与经济发展水平呈现显著的正相关。在2020年全球算力中，美国占36%，中国占31%，欧洲
深度学习（Deep Learning）在这两年风靡全球，大数据和高性能计算平台的推动作用功不可没，可谓深度学习的“燃料”和“引擎”，GPU则是引擎的引擎，基本所有的深度学习计算平台都采用GPU加速。同时，深度学习已成为GPU提供商NVIDIA的一个新的战略方向，以及3月份的GTC 2015的绝对主角。 那么，GPU用于深度学习的最新进展如何？这些进展对深度学习框架有哪些影响？深度学习开发者应该如何发挥GPU的潜力？GPU与深度学习结合的前景以及未来技术趋势到底是怎么样的？在日前的NVIDIA深度学习中
作者 | Jeff Hale 译者 | Monanfei 责编 | 夕颜 出品 | AI科技大本营（id：rgznai100）
为了进一步加速云计算的创新发展、建立云计算信任体系、规范云计算行业、促进市场发展、提升产业技术和服务水平，由中国信息通信研究院、中国通信标准化协会主办的“2018可信云大会”于2018年8月14日－8月15日在北京国际会议中心召开。
在机器学习的领域中，张量指的是描述神经网络的数学模型中使用的多维数组。换言之，张量通常是一个矩阵或矢量的更高维泛化。 通过一种使用秩来显示维数的简单表示法，张量可以将复杂的 n 维矢量和超形状表示为 n 维数组。张量有两个属性：数据类型和形状。 关于 TensorFlow TensorFlow 是一个开源的深度学习框架，于 2015 年末依据 Apache 2.0 许可进行发布。自那以后，它成为了在全球得到最广泛采用的深度学习框架之一（根据它的 GitHub 项目数量来判断）。 TensorFlow 的起源
从物理服务器到虚拟化系统，现在数据中心又发展成可组合的基础架构。在这种基础架构中，像存储和持久内存之类的资源已从服务器中分离出来，原先的数据处理和联网任务只在CPU上运行，现在演变为可在GPU、DPU或FPGA上运行计算。另外，软件开发模型从单台计算机上运行的程序，演变为在整个数据中心上运行的分布式代码，实现了云原生、容器化的微服务。
机器之心报道 编辑：泽南 量子计算的编程框架也要统一了吗？ 7 月 13 日，英伟达宣布了全新编程平台 NVIDIA Quantum Optimized Device Architecture（QODA，量子优化设备架构），旨在开发和管理在混合经典量子系统上运行的应用程序。QODA 将成为 cuQuantum，即英伟达 GPU 加速量子模拟系统的补充。与 cuQuantum 不同，QODA 旨在帮助人们在量子处理器和经典系统（GPU、CPU）组成的混合系统上开发和运行应用程序，使量子计算更易使用。 与 C
【IT168 评论】如果用刀来比喻芯片，通用处理器好比一把瑞士军刀，人工智能时代好比要拿刀来切肉，瑞士军刀可以拿来用，但它并非是为切肉设计的，所以效果并非最好。因此，需要专门打造一把切肉的刀，这把刀既要方便切肉，又要方便剁骨头，还需要具有一定的通用性。 从技术上而言，深度学习的人工神经网络算法与传统计算模式不同，它能够从输入的大量数据中自发的总结出规律，从而举一反三，泛化至从未见过的案例中。因此，它不需要人为的提取所需解决问题的特征或者总结规律来进行编程。人工神经网络算法实际上是通过大量样本数据训练建立了输
话说，程序员三大浪漫，操作系统、编译器和图形处理。Rust 语言已经攻陷了其中两大浪漫，操作系统和编译器，那么图形处理呢？Rust 语言还能“浪”起来吗?
news.accelerationrobotics.com/modern-robotics-compute-architectures
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 量子计算的编程框架也要统一了吗？ 7 月 13 日，英伟达宣布了全新编程平台 NVIDIA Quantum Optimized Device Architecture（QODA，量子优化设备架构），旨在开发和管理在混合经典量子系统上运行的应用程序。QODA 将成为 cuQuantum，即英伟达 GPU 加速量子模拟系统的补充。与 cuQuantum 不同，QODA 旨在帮助人们在量子处理器和经典系统（GPU、CPU）组成的混合系统上开发
作者 | 刘文志 责编 | 何永灿 随着深度学习（人工智能）的火热，异构并行计算越来越受到业界的重视。从开始谈深度学习必谈GPU，到谈深度学习必谈计算力。计算力不但和具体的硬件有关，且和能够发挥硬件能力的人所拥有的水平（即异构并行计算能力）高低有关。 一个简单的比喻是：两个芯片计算力分别是10T和 20T，某人的异构并行计算能力为0.8，他拿到了计算力为10T的芯片，而异构并行计算能力为0.4的人拿到了计算力为20T的芯片，而实际上最终结果两人可能相差不大。异构并行计算能力强的人能够更好地发挥硬件的能力，而
说起图形处理，一定是离不开GPU的，因为我们所做的操作，最终都会由GPU负责展示到监视器上。而这个过程中就离不开计算，计算每一个像素点的颜色信息。所以GPU是计算图像数据的单元。 说起计算，在我的理解里CPU就是专门用于做二进制运算的计算单元、控制单元，可以处理复杂的逻辑和依赖，那为什么还需要GPU呢？
7月4日，2022 CUDA on Arm Platform线上训练营开始第一天的课程。 第一天的课程，NVIDIA开发者社区何琨老师重点讲解: 基于Arm的Jetson开发环境介绍，Arm Linux系统简介（1.1理论课+实验课） 介绍实验平台，介绍Linux编译的基本技巧，介绍基本的开发环境。实验课：Makefile 编写规范。 GPU架构及异构计算（1.2） 介绍GPU架构以及异构计算的基本原理 介绍GPU硬件平台 介绍基于Arm的嵌入式平台GPU架构和编程模型之间的关系，介绍
各公司都开始关注和使用跨端方案【包括大厂阿里巴巴以及腾讯】目前主流的跨端方案主要分为两种：一种是将 JavaScriptCore 引擎作为虚拟机的方案，代表框架是 React Native；另一种是使用非 JavaScriptCore 虚拟机的方案，代表框架是 Flutter。【其中还有一种是使用 Webview 的方案-待会也会讲解到】
近几年来，随着算力的不断提升和数据的不断增长，深度学习算法有了长足的发展。深度学习算法也越来越多的应用在各个领域中，比如图像处理在安防领域和自动驾驶领域的应用，再比如语音处理和自然语言处理，以及各种各样的推荐算法。如何让深度学习算法在不同的平台上跑的更快，这是深度学习模型部署所要研究的问题。
前面发了一些关于 Shader 编程的文章，有读者反馈太碎片化了，希望这里能整理出来一个系列，方便系统的学习一下 Shader 编程。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
