Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >何为加速计算?加速计算为什么很重要?

何为加速计算?加速计算为什么很重要?

作者头像
徐师兄
发布于 2022-12-19 09:17:56
发布于 2022-12-19 09:17:56
8490
举报
文章被收录于专栏:硬件工程师硬件工程师

何为加速计算?加速计算为什么很重要?

传统中央处理器 (CPU) 在执行复杂的控制功能时表现出色。但对于许多需要处理大量数据的应用来说,它们不一定就是最理想的了。随着我们生活的地球智能化程度日益提高,所需的数据处理量正在呈指数级增长。必须加速,才能弥补数据处理需求与传统 CPU 功能之间日益拉大的差距。

数据中心边缘计算以及这两者之间的网络,加速计算现已深入各种应用。越来越多的应用提供商和开发商正在考虑将加速计算作为其应用局限性的解决方案。

加速计算,了解它的应用领域,为什么它如此重要,以及哪些解决方案最适合计算密集型数据处理应用。

目录

为什么是加速计算?

为什么需要加速计算

加速计算主要用于哪些领域?

边加速计算有哪些解决方案?

为什么自适应计算是硬件加速的最佳解决方案?

什么是加速计算?

加速计算是一种现代计算方式,它将应用的数据密集型部分分离,在一个单独的加速器件上处理,并将控制功能留给 CPU 处理。这有助于要求极高的应用更快、更高效地运行,因为底层处理器硬件对于所需的处理类型而言更高效。拥有不同类型的硬件处理器(包括加速器)被称为异构计算,因为应用可利用的计算资源类型众多。

硬件加速器通常具有并行处理结构,允许它们同时执行多项任务,无需一项一项地按线性或并行方式执行。因此,在 CPU 不断运行不能并行运行的控制层代码时,它们能够优化应用的密集数据层处理部分。这将带来高效、高性能的计算。

为什么需要加速计算?

因为当前应用要求的速度和效率比传统 CPU 本身能提供的速度和效率更高。这一点完全正确,因为人工智能 (AI) 的作用越来越大。各行各业的企业为了保持竞争力,他们依赖加速计算的程度将越来越高。

加速计算主要用于哪里领域?

如今,加速计算在众多不同应用以及各行各业得到了广泛应用,尤其是在 5G 技术推出之际,我们对物联网 (IoT) 的依赖越来越多。 金融贸易公司将其用于实现更快的交易以及极低的时延。汽车行业将其用于车内监控以及高级驾驶员辅助系统。企事业单位将其用于理解数据。电子游戏开发者依靠它来创建高质量的仿真与图形。

各个行业都依赖于加速计算,因此当前应用必须能够应对处理更多数据的需求,才能保持竞争力。

加速计算有哪些解决方案?

针对加速计算提供了不同类型的解决方案,每一种解决方案都有其自己的优势和不足。选择的解决方案将取决于应用需求。

图形处理单元 (GPU)

GPU 是加速某些 CPU 执行起来效率较低的数据处理任务的专业芯片。GPU 与 CPU 的协同方式是在应用中帮助 CPU 分担大量原始数据处理。得益于其并行处理架构,GPU 可同时处理大量数据。

顾名思义,GPU 旨在加速图形渲染。今天,GPU 的可编程性和灵活性得到了前所未有的提升,不同行业的开发商正在将其用于人工智能 (AI) 和创造性生产。此外,您还可以在超级计算机和工作站中同时使用多个 GPU,以加速视频处理、3D 渲染、仿真以及机器学习模型的训练。

GPU 适合离线数据处理,如 AI 训练和非实时分析等。但它们并没有针对实时视频流媒体以及 AI 推断等低时延应用进行优化。

张量处理单元 (TPU)

TPU 是实现必要控制及算术逻辑来执行机器学习 (ML) 算法的专业电路。它们的算术逻辑单元(执行算术运算和逻辑运算的数字电路)彼此直接相连。因此可直接传输数据,无需使用任何内存。

与没有针对加速 ML 代码进行优化的 GPU 不同,TPU 对其进行了优化。但它们主要用于加速 Tensorflow、谷歌开源 ML 和 AI 软件库。因此,TPU 的灵活性极低。

自适应计算

自适应计算是唯一一种硬件在制造过程中不会永久固定的加速计算类型。相反,自适应计算涉及的硬件可以针对特定应用甚至特定加速功能定制。

自适应计算是一个新类别,建立在现有现场可编程门阵列 (FPGA) 技术基础上。FPGA 包含经过精心设计,在制造后可配置的器件,因此被称为“现场可编程”。通过根据确切需求定制其架构,它们实现应用的效率比 GPU 和 CPU(是通用固定架构的器件)都高。

这种灵活应变性使自适应计算成了加速计算的理想之选。

为什么自适应计算是硬件加速的最佳解决方案?

加速计算有助于提高高性能应用的效率;但并不是所有的加速器都适用于所有的应用。GPU 等固定芯片器件是非时延敏感型应用的最佳选择。TPU 适用于特定 AI 应用。然而,它们都不能为广泛的应用提供低时延加速,也不能为包括非 AI 部分的整个 AI 应用加速。

自适应计算是最理想的,因为其硬件可根据用户需求的变化进行更新。这可提高效率和性能,无需投入时间和金钱来创建新硬件。

本文来自xilinx文章,侵请联系删。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-11-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 硬件工程师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
史上最全DPU厂商大盘点(上)
DPU是以数据处理为中心的芯片,2020年NVIDIA战略中国将其称为CPU、GPU之后“第三颗主力芯片”,认为“它将成为未来计算的三大支柱之一”。头豹研究院预测,数据中心领域DPU即将放量,随智能驾驶、元宇宙等其他领域的需求被不断挖掘,DPU渗透应用领域将持续扩大,中国 DPU市场规模将有望于2026年达到1095.3亿元。 DPU市场的火热引得国内外大厂纷纷入局,也催生出了一批批创业公司。那么目前主要有哪些DPU玩家呢? 国外厂商 Nvidia Nvidia创立于1993年,总部位于美国加利福尼亚
SDNLAB
2022/06/24
2.9K0
史上最全DPU厂商大盘点(上)
CUDA与OpenCL:并行计算革命的冲突与未来
本文翻译自:《CUDA vs OpenCL vs Metal : The Battle for GPU Acceleration Supremacy》
GPUS Lady
2024/05/17
2.4K0
CUDA与OpenCL:并行计算革命的冲突与未来
ACAP:不是FPGA,胜似FPGA
你知道吗,世界第一大FPGA公司赛灵思,它的龙头芯片,却不是FPGA——2018年,赛灵思发布了一种名叫ACAP的芯片,随即受到了全球科技界的密切关注。
FPGA技术江湖
2022/05/23
2.1K0
ACAP:不是FPGA,胜似FPGA
FPGA ——从台前走向幕后
有这样一句话,“人生只有一次,FPGA却可以重写”。 FPGA,一个可以通过编程来改变内部结构的芯片。 据调查报告显示,2021 年全球FPGA市场规模为 77.9 亿美元,预计未来将以 8.5% 的复合年增长率增长,到 2030 年全球FPGA市场规模将达到 162 亿美元。 FPGA的全称是Field Programmable Gate Array——现场可编程门阵列,是指一种通过软件手段更改、配置器件内部连接结构和逻辑单元,完成既定设计功能的数字集成电路。顾名思义,其内部的硬件资源都是一些呈阵列排列
SDNLAB
2022/04/07
3610
FPGA ——从台前走向幕后
FogROS2 使用 ROS 2 的云和雾机器人的自适应和可扩展平台
FogROS 2: An Adaptive and Extensible Platform for Cloud and Fog Robotics Using ROS 2 Abstract— Mobility, power, and price points often dictate that robots do not have sufficient computing power on board to run modern robot algorithms at desired rates. Cloud computing providers such as AWS, GCP, and Azure offer immense computing power on demand, but tapping into that power from a robot is non-trivial. In this paper, we present FogROS2, an easy-to-use, open-source platform to facilitate cloud and fog robotics that is compatible with the emerging Robot Operating System 2 (ROS 2) standard. FogROS 2 provisions a cloud computer, deploys and launches ROS 2 nodes to the cloud computer, sets up secure networking between the robot and cloud, and starts the application running. FogROS 2 is completely redesigned and distinct from its predecessor to support ROS 2 applications, transparent video compression and communication, improved performance and security, support for multiple cloud-computing providers, and remote monitoring and visualization. We demonstrate in example applications that the performance gained by using cloud computers can overcome the network latency to significantly speed up robot performance. In examples, FogROS 2 reduces SLAM latency by 50%, reduces grasp planning time from 14s to 1.2s, and speeds up motion planning 28x. When compared to alternatives, FogROS 2 reduces network utilization by up to 3.8x. FogROS2, source, examples, and documentation is available at github.com/BerkeleyAutomation/FogROS2.
zhangrelay
2022/05/28
9460
FogROS2 使用 ROS 2 的云和雾机器人的自适应和可扩展平台
FPGA异构计算芯片的特点
作者介绍:架构平台部四级专家,先后从事通讯设备的开发和存储设备的研发工作。目前致力于一体化的设计-硬件和软件的结合,以及OS多个层面综合考虑系统设计,找出最优路径的设计思想。 FPGA异构计算芯片的特点 1 异构计算:WHY 明明CPU用的好好的,为什么我们要考虑异构计算芯片呢? 随着互联网用户的快速增长,数据体量的急剧膨胀,数据中心对计算的需求也在迅猛上涨。诸如深度学习在线预测、直播中的视频转码、图片压缩解压缩以及HTTPS加密等各类应用对计算的需求已远远超出了传统CPU处理器的能力所及。历史上
腾讯技术工程官方号
2018/01/29
4.3K1
FPGA异构计算芯片的特点
数据中心中的FPGA硬件加速器
再来看一篇FPGA的综述,我们都知道微软包括国内的云厂商其实都在数据中心的服务器中部署了FPGA,所以这篇论文就以数据中心的视角,来看下FPGA这个硬件加速器。
FPGA技术江湖
2025/01/11
2780
数据中心中的FPGA硬件加速器
超异构计算,Intel的一盘大棋
软硬件融合逐步深化并体系化后,逐渐形成很多观点。比如超异构计算,比如开放生态,比如“软件定义一切,硬件加速一切”,比如完全可编程等等。当这些观点想去寻求共鸣的时候,发现Intel已经在做了很多相关的布局。
chaobowx
2022/12/16
7150
超异构计算,Intel的一盘大棋
代码开源!用Versal FPGA加速矩阵乘法
该论文主要围绕着深度学习应用对密集矩阵乘法(Matrix Multiply, MM)的大量需求展开。随着深度学习模型的复杂度不断增加,对计算资源的需求也日益增长,这促使了异构架构的兴起,这类架构结合了FPGA(现场可编程门阵列)和专用ASIC(专用集成电路)加速器,旨在应对高计算需求。
猫叔Rex
2024/07/20
5030
代码开源!用Versal FPGA加速矩阵乘法
超异构计算:大算力芯片的未来
计算的问题应该能够:分解成可以同时解决的离散工作;随时执行多条程序指令;使用多个计算资源比使用单个计算资源在更短的时间内解决问题。
chaobowx
2022/12/16
1.2K0
超异构计算:大算力芯片的未来
详解AI加速器(三):架构基础离不开ISA、可重构处理器……
在这一章节中,Adi Fuchs 为我们介绍了 AI 加速器的架构基础,包括指令集架构 ISA、特定领域的 ISA、超长指令字 (VLIW) 架构、脉动阵列、可重构处理器、数据流操作、内存处理。
机器之心
2022/02/24
7050
详解AI加速器(三):架构基础离不开ISA、可重构处理器……
Altera(Intel):CXL-Type2 近存计算案例
Altera是一家知名的可编程逻辑设备(PLD)制造商,成立于1983年,专注于开发可编程逻辑器件如FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)和ASIC(专用集成电路)等产品。2015年,Intel以167亿美元收购了Altera,将其整合为Intel Programmable Solutions Group(PSG,英特尔可编程解决方案事业部)的一部分。
数据存储前沿技术
2025/02/11
1920
Altera(Intel):CXL-Type2 近存计算案例
在医疗行业中,FPGA扮演什么角色?
FPGA(现场可编辑门阵列)作为赛灵思(Xilinx)的一项重要发明,以其可编程和灵活性著称。起初,FPGA只是用来仿真ASIC,再进行掩码处理和批量制造使用。不过ASIC相比FPGA来说明显在定制化上要求过高,流片量过小情况下成本反而更高,因此两者毫不冲突地“各司其职”。而后,随着加速器的出现和算力提升,目前已成为与GPU齐名的并行计算器件。
FPGA技术江湖
2021/04/14
8960
在医疗行业中,FPGA扮演什么角色?
软硬件共同定义:超异构开放生态
去年的时候,抛砖引玉的写了一篇“硬件定义软件?还是软件定义硬件?”的文章,现在再看,发现很多考虑不全面不深刻的地方。继续抛砖,与大家深入探讨此话题。
chaobowx
2023/02/28
1.1K0
软硬件共同定义:超异构开放生态
深入理解 CPU 和异构计算芯片 GPU/FPGA/ASIC (下)
本文介绍了FPGA在深度学习中的重要性,以及各大公司如Google、Facebook、百度等是如何利用FPGA来提升其业务效率和性能的。具体包括:Google使用FPGA加速深度学习模型,Facebook在数据中心引入FPGA,以及百度大脑利用FPGA进行深度学习模型加速。
王玉伟
2017/03/23
21.3K3
深入理解 CPU 和异构计算芯片 GPU/FPGA/ASIC (下)
浅谈DPU产业现状
我们生活在一个每天都会产生大量数据的数字信息时代。随着物联网设备、自动驾驶汽车、联网家庭和联网工作场所数量的不断增加,数据中心的数据愈加趋向饱和。因此,需要一种解决方案,使数据中心能够处理不断增加的进出和通过数据中心传输的数据量。 数据处理单元,通常称为DPU,是一种新型可编程的高性能处理器,优化执行和加速由数据中心服务器执行的网络和存储功能。DPU 就像 GPU 一样插在服务器的 PCIe 插槽上,它们允许服务器将网络和存储功能从 CPU 卸载到DPU上 ,从而使 CPU 专注于运行操作系统和系统应用程序
SDNLAB
2022/03/04
8280
给 AI 换个“大动力小心脏”之 OCR 异构加速
本文介绍了OCR异构加速在腾讯云上的应用和优化,通过多FPGA芯片协同的异构加速架构和通用加速器引擎,实现了高性能、低成本的OCR识别。同时,平台支持业务模型的快速部署和迭代,为云端OCR服务提供了一种高效的解决方案。
serena
2017/12/08
2K0
给 AI 换个“大动力小心脏”之 OCR 异构加速
详解AI加速器(二):为什么说现在是AI加速器的黄金时代?
选自 Medium 作者:Adi Fuchs 机器之心编译 机器之心编辑部 在上一篇文章中,前苹果工程师、普林斯顿大学博士 Adi Fuchs 解释了 AI 加速器诞生的动机。在这篇文章中,我们将跟
机器之心
2022/02/24
7660
详解AI加速器(二):为什么说现在是AI加速器的黄金时代?
给 AI 换个“大动力小心脏”之通用 CNN 加速设计
本文介绍了基于FPGA的通用CNN加速设计,可以大大缩短FPGA开发周期,支持业务深度学习算法快速迭代。通用CNN FPGA加速架构能够支持业务快速迭代持续演进中的深度学习模型,包括Googlenet/VGG/Resnet/ShuffleNet/MobileNet等经典模型以及新的模型变种。FPGA预测性能略强于Nvidia的GPU P4,但延时上有一个数量级的优化。在云端,2017年初,我们在腾讯云首发了国内第一台FPGA公有云服务器,我们将会逐步把基础AI加速能力推出到公有云上。AI异构加速的战场很大很精彩,为公司内及云上业务提供最优的解决方案是架平FPGA团队持续努力的方向。
腾讯架构师
2017/10/25
2.9K0
给 AI 换个“大动力小心脏”之通用 CNN 加速设计
“黄金年代”之后,计算机体系结构将何去何从?
软件热点层出不穷,并且快速迭代;CPU性能瓶颈,摩尔定律失效;图灵奖获得者John Hennessy和David Patterson在2017年提出了“计算机体系结构的黄金年代”,给出的解决方案是特定领域架构DSA。
chaobowx
2022/12/16
6100
“黄金年代”之后,计算机体系结构将何去何从?
相关推荐
史上最全DPU厂商大盘点(上)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档