Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >腾讯云:把GPU分开卖是黑科技吗?

腾讯云:把GPU分开卖是黑科技吗?

作者头像
AI研习社
发布于 2019-12-23 10:37:23
发布于 2019-12-23 10:37:23
5.5K0
举报
文章被收录于专栏:AI研习社AI研习社

1999年,NVIDIA 公司发明了GPU(Graphics Processing Unit,图形处理器),优异的图形处理表现让它艳惊四座。

近年来,GPU在大规模并行运算上的巨大优势,让其成为大数据、AI以及图形图像处理等场景下不可或缺的计算引擎。

然而,一直以来,囿于GPU切分难度较高,用户不论是购买GPU硬件,还是购买GPU云服务,都只能整块购买。这样有两个结果:

1. 使用门槛较高。GPU相对CPU价格较贵,一块超级计算类GPU价格更是高达好几万,个人开发者使用门槛较高。

2. 资源浪费。在算力需求较小的时候,一整块GPU卡无法满负荷运行,造成算力浪费。

今天,这种局面看起来被打破了,腾讯云正式对外发布基于 NVIDIA T4 的虚拟GPU(vGPU)计算产品GN7实例,可以为任意AI工作负载提供支持。

因此,用户可以在云上买到规格更小的GPU计算产品,可以降低用户使用GPU的成本并增加灵活度,对一些小规模算力场景的人工智能研发有非常大的帮助。

广泛适用不同AI场景

凭借强大的计算能力和弹性能力,GN7实例在海量数据处理和人工智能领域都具有广阔的应用价值。它既可以满足诸如搜索、大数据分析等需要对海量数据进行处理的业务场景,也可以作为深度学习训练和推理的系统平台。

GN7实例的虚拟化特性,也十分适合互联网业务中人工智能业务的批量部署以及云游戏,AR/VR在云端的应用。

目前,GN7实例已经在腾讯云自有的智能钛弹性模型服务(TI-EMS)上实现了应用。该平台通过使用vGPU做小模型推理,帮助用户解决复杂模型部署和GPU利用成本效益等问题。

基于多精度支持,NVIDIA T4拥有可加速深度学习训练和推理、机器学习以及数据科学工作负载的 Tensor Core,以及丰富的平台堆栈,包括用于深度学习的cuDNN、用于数据分析和机器学习的NVIDIA RAPIDS、用于云工作站图形的NVIDIA Quadro虚拟工作站和用于云游戏的NVIDIA游戏软件。结合用于GPU虚拟化的 vComputeServer软件,腾讯云客户可以灵活选择在虚拟环境中运行GPU加速的工作负载,从而在提高安全性和利用率的同时降低成本。

进一步降低成本

GN7实例降低了GPU加速的初始投资成本,NVIDIA vComputeServer软件通过对NVIDIA T4进行虚拟化,使多台虚拟机(VM)可以同时访问GPU或者使一台虚拟机可以访问多颗 GPU,从而实现性能的最大化。因此,腾讯云用户可以根据工作负载的需求灵活选择对应的GPU加速量。

比如在进行简单模型推理这一类低算力需求的应用时,用户无须再像以往必须使用单颗物理GPU,而是可以根据自身业务具体类型对GPU算力的需求,灵活选择匹配的vGPU资源,提升了计算资源的利用率,从而有效降低用户的使用成本,避免因配置不足或配置过度而产生成本。比如,通过使用1/2 vGPU实例规格,成本相对单卡实例降低了50%。

相比过往进程级别的虚拟化GPU,GN7的升级点在于其提供的设备级虚拟化vGPU是完全模拟出来一个GPU设备,在支持GPU硬件的绝大多数特性的同时,还能够做到操作系统级别的隔离,而且不同的用户使用也不用担心资源争抢的问题。

不过,关于虚拟化GPU的技术,AI开发者也采访了一位业内资深技术人士,该人士表示,这个vGPU技术其实并不难,华为、阿里也都有类似的。当然,腾讯云和NVIDIA的深度合作还是有一定卖点。

AI开发者获悉,下周在苏州举办的GTC大会上,腾讯云将会演示NVIDIA GPU加速的云服务,并介绍如何从云端部署AI工作负载。

/ 资料推荐 /

《函数论与泛函分析初步 (第 7 版)》是世界著名数学家 A.H. 柯尔莫戈洛夫院士在莫斯科大学数学力学系多年讲授泛函分析教程 (曾称《数学分析 Ⅲ》) 的基础上编写的。《函数论与泛函分析初步 (第 7 版)》是关于泛函分析与实变函数论的精细问题的严格的系统阐述,书中反映了作者的教育思想,体现了作者丰富的教学经验与方法。内容包括:集合论初步,度量空间与拓扑空间,赋范线性空间与线性拓扑空间,线性泛函与线性算子,测度、可测函数、积分,勒贝格不定积分、微分论,可和函数空间,三角函数傅里叶变换,线性积分方程,线性空间微分学概要以及附录的巴拿赫代数。

本书适合数学、物理及相关专业的高年级本科生、研究生、高校教师和研究人员参考使用。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-12-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI研习社 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【小家java】Java中对时间戳相加减的问题(向前推100天,答案却让我匪夷所思)
关于时间的计算,会体现在我们程序的方方面面。然后我最近在写一个需求的时候,躺了一个大坑
YourBatman
2019/09/03
1.8K0
java并发编程实战wwj———————-第一阶段————–27-28-29-30
sleep:是Thread的方法,sleep不释放锁,sleep不用synchronized,不需要被唤醒。
全栈程序员站长
2022/11/10
2150
java并发编程实战wwj———————-第一阶段————–27-28-29-30
Java 实现遍历一个文件夹,文件夹有100万数据,获取到修改时间在2天之内的数据
现在有一个文件夹,里面会一直存数据,动态的存数据,之后可能会达到100万,1千万数据。
一写代码就开心
2023/09/30
5240
Java 实现遍历一个文件夹,文件夹有100万数据,获取到修改时间在2天之内的数据
手把手实例对比String、StringBuilder字符串的连接效率及StringBuilder和StringBuffer线程安全的比较
创建一个字符串,为字符串对象分配内存空间,会耗费掉一定的时间(CPU)与空间(内存)代价,作为最基础的数据类型,大量频繁的创建字符串,极大程度地影响程序的性能。
翎野君
2023/05/12
3500
我用Java几分钟处理完30亿个数据...
点击上方蓝色字体,选择“设为星标” 回复”学习资料“获取学习宝典 文章来源:https://c1n.cn/GM8hb 目录 场景说明 模拟数据 场景分析 读取数据 处理数据 遇到的问题 场景说明 现有一个 10G 文件的数据,里面包含了 18-70 之间的整数,分别表示 18-70 岁的人群数量统计,假设年龄范围分布均匀,分别表示系统中所有用户的年龄数,找出重复次数最多的那个数,现有一台内存为 4G、2 核 CPU 的电脑,请写一个算法实现。         23,31,42,19,60,30,36,
猿天地
2022/05/16
5100
我用Java几分钟处理完30亿个数据...
大数据必学Java基础(六十二):ConcurrentMap并发容器对比
​ConcurrentMap并发容器对比JDK5.0之后提供了多种并发类容器可以替代同步类容器,提升性能、吞吐量ConcurrentHashMap替代HashMap、HashTableConcurrentSkipListMap替代TreeMap 简单原理:并发情况下,验证提高性能一、ConcunrrentHashMappublic class Test { //这是main方法,程序的入口 public static void main(String[] args) { //选择
Lansonli
2022/10/01
3170
大数据必学Java基础(六十二):ConcurrentMap并发容器对比
如何用 Java 几分钟处理完 30 亿个数据?
现有一个 10G 文件的数据,里面包含了 18-70 之间的整数,分别表示 18-70 岁的人群数量统计,假设年龄范围分布均匀,分别表示系统中所有用户的年龄数,找出重复次数最多的那个数,现有一台内存为 4G、2 核 CPU 的电脑,请写一个算法实现。
用户1220090
2025/03/24
610
如何用 Java 几分钟处理完 30 亿个数据?
Open JDK官方为什么不建议对虚拟线程采用池化技术?
今天在闲看Open JKD的文档的时候,发现了这样一条来自官方的建议:虚拟线程永远都不应该被池化。
程序员牛肉
2024/09/26
1710
Open JDK官方为什么不建议对虚拟线程采用池化技术?
Java 并发编程·ForkJoin
Java 7 开始引入了一种新的 Fork/Join 线程池,它可以执行一种特殊的任务:把一个大任务拆成多个小任务并行执行。
数媒派
2022/12/01
1710
Java并发包下Atomic相关类的使用
AtomicStampedReference是携带版本号的引用类型原子类,可以解决ABA问题,记录的是修改过几次
程序猿川子
2025/05/12
270
Java并发包下Atomic相关类的使用
如何计算程序运行时间
在Java中,您可以使用System.currentTimeMillis()或System.nanoTime()方法来计算程序运行时间。这些方法可以在程序的不同部分插入时间戳,并计算时间差来得到程序运行的时间。
默 语
2024/11/20
1710
如何计算程序运行时间
【愚公系列】2022年01月 Java教学课程 43-时间日期类
public final String format(Date date):将日期格式化成日期/时间字符串
愚公搬代码
2022/01/15
2820
【愚公系列】2022年01月 Java教学课程 43-时间日期类
自己动手实现Java中的StringBuffer类
在网上复习 Java 的基础知识,看到 String 和 StringBuffer 这里,简单的实现了下 StringBuffer 这个类,并对 String,StringBuffer,MyStringBuffer(自己实现的 StringBuffer 类名)做了拼接字符串的性能测试。
Wizey
2018/08/30
7960
java高并发系列 - 第20天:JUC中的Executor框架详解2
买新房了,然后在网上下单买冰箱、洗衣机,电器商家不同,所以送货耗时不一样,然后等他们送货,快递只愿送到楼下,然后我们自己将其搬到楼上的家中。
路人甲Java
2019/12/10
4970
【JUC基础】16. Fork Join
“分而治之”一直是一个非常有效的处理大量数据的方法。著名的MapReduce也是采取了分而治之的思想。。简单地说,就是如果你要处理 1000 个数据,但是你并不具备处理 1000个数据的能力,那么你可以只处理其中的 10 个,然后分阶段处理 100 次,将 100 次的结进行合成,就是最终想要的对原始 1000 个数据的处理结果。而这就是Fork Join的基本思想。
有一只柴犬
2024/01/25
1720
【JUC基础】16. Fork Join
空字符串用equals比较的时间和==(等等于)比较的时间哪个更快
今天测试了一下空字符串比较的时间和==(等等于)比较的时间哪个更快,最后发现equals会比较快,
小小鱼儿小小林
2020/06/23
1.2K0
原 Java中计算程序运行耗时的方法对比
Java中测试程序代码运行时间的方式有两种: 第一种:以毫秒为单位计算的。 long startTime=System.currentTimeMillis(); //下面是一些测试代码 for(int i=0;i<10000;i++){ System.out.println("当前是:"+i); } long endTime=System.currentTimeMillis(); System.out.println("当前程序耗时:"+(endTime-startTime)+"ms"); 第二种:以纳秒为
Java学习123
2018/06/06
2.4K0
java高并发系列 - 第16天:JUC中等待多线程完成的工具类CountDownLatch,必备技能
假如有这样一个需求,当我们需要解析一个Excel里多个sheet的数据时,可以考虑使用多线程,每个线程解析一个sheet里的数据,等到所有的sheet都解析完之后,程序需要统计解析总耗时。分析一下:解析每个sheet耗时可能不一样,总耗时就是最长耗时的那个操作。
路人甲Java
2019/12/10
7530
Java流并发:并行数据处理的高效实践
咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE相关知识点了,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好习惯,别被干货淹没了哦~
bug菌
2024/09/28
2390
Java流并发:并行数据处理的高效实践
听说可以十分钟掌握Spring Boot 集成定时任务、异步调用?
在项目开发中,经常需要定时任务来帮助我们来做一些内容,比如定时发送短信/站内信息、数据汇总统计、业务监控等,所以就要用到我们的定时任务,在Spring Boot中编写定时任务是非常简单的事,下面通过实例介绍如何在Spring Boot中创建定时任务
上分如喝水
2021/08/16
8440
听说可以十分钟掌握Spring Boot 集成定时任务、异步调用?
推荐阅读
相关推荐
【小家java】Java中对时间戳相加减的问题(向前推100天,答案却让我匪夷所思)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档