首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >最强AI芯片英伟达H200深夜发布,Llama2-70B推理提速90%,2024年二季度发货

最强AI芯片英伟达H200深夜发布,Llama2-70B推理提速90%,2024年二季度发货

作者头像
机器之心
发布于 2023-11-15 08:12:29
发布于 2023-11-15 08:12:29
4390
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

编辑:蛋酱、陈萍

芯片巨头英伟达,又打出一张王牌。

英伟达在 2023 年全球超算大会(SC2023)上发布了目前世界上最强的 AI 芯片 H200。

这款新的 GPU 基于 H100 进行了升级,内存带宽提高了 1.4 倍,内存容量提高了 1.8 倍,提高了处理生成式 AI 任务的能力。该公司高性能计算和超大规模数据中心业务副总裁 Ian Buck 表示:「英伟达在硬件和软件上的创新正在缔造新型 AI 超算。」

英伟达在官方博客中表示:NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能,可增强生成式 AI 和高性能计算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPU,H200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行,同时推进 HPC 工作负载的科学计算。

除此以外,Buck 还展示了一个服务器平台,该平台通过 NVIDIA NVLink 互连连接四个 NVIDIA GH200 Grace Hopper 超级芯片。四核配置在单个计算节点中配备了多达 288 个 Arm Neoverse 内核和 16 petaflops 的 AI 性能,以及高达 2.3 TB 的高速内存。

大模型推理加速 1.9 倍

NVIDIA H200 基于 NVIDIA Hopper 架构,与 H100 相互兼容,这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。

H200 是首款以 4.8 TB/s 速度提供 141 GB HBM3e 内存的 GPU,这几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍。H200 还配备了高达 141GB 超大显存,与 H100 的 80GB 相比,容量几乎翻倍,并且带宽还增加了 2.4 倍。

H200 更大更快的内存可加速生成式 AI 和 LLM 的运行,同时以更高的能源效率和更低的成本推进 HPC 工作负载的科学计算。

例如,在处理 Llama2 等 LLM 时,H200 的推理速度比 H100 GPU 提高了近 2 倍。

运行 GPT-3 等模型时,NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不仅如此,在其他生成式 AI 基准测试中,还能在 Llama2-13B 上每秒可处理 12000 个 tokens。

内存带宽对于 HPC 应用程序至关重要,因为它可以实现更快的数据传输,减少复杂的处理步骤。对于那些内存密集型 HPC 应用如模拟仿真、人工智能研究等,H200 更高的内存带宽可确保高效地访问和操作数据,与 CPU 相比,给出结果的时间最多可加快 110 倍。

随着 H200 的推出,能源效率和 TCO 达到了新的水平。

下图为 H200 一些参数介绍:

英伟达表示,从明年开始,亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。

官网信息显示,H200 将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。但对于 H200 的价格,英伟达还没有透露具体数字。CNBC 报道称,上一代 H100 的售价估计为每台 2.5 万美元至 4 美元,需要数千台才能以最高水平运行。

关于 H200 是否会像 H100 一样供应紧张,英伟达对此并没有给出答案。

在给 The Verge 的邮件中,英伟达发言人 Kristin Uchiyama 表示 H200 的亮相不会影响 H100 的生产:「你会看到我们全年的总体供应量有所增加,并且我们将继续长期购买供应。」

最新一期超算 Top500 出炉

8 成新上榜系统使用英伟达 H100

与此同时,SC23 大会还发布了最新一期超算 TOP500 榜单。Frontier 系统仍保持榜首位置,并且仍然是榜单上唯一的百亿亿次计算机,但前十名的格局已经被五个新的或升级后的系统改变。

榜单地址:https://www.top500.org/lists/top500/2023/11/

在新一期榜单中,使用英伟达技术的超算系统数量达到了有史以来的最高水平 379 台,其中包括 49 台新上榜超算中的 38 台。这一数字在今年 5 月份是 372 台。

英伟达为这些系统提供了超过 2.5 exaflops 的高性能计算性能,高于 5 月份的 1.6 exaflops。其中,在前 10 名中,英伟达就贡献了近 1 exaflops 的高性能计算性能和 72 exaflops 的 AI 性能。

比如,微软 Azure 的 Eagle 系统在 NDv5 实例中使用了 H100 GPU,以 561 petaflops 的成绩位列第 3,在新上榜的超级计算机中遥遥领先,巴塞罗那的 Mare Nostrum5 排名第 8,英伟达 Eos(最近在 MLPerf 基准测试中创造了新的 AI 训练记录)排名第 9。

基于强大的性能,英伟达未来将为世界各地的超算中心提供更好的算力服务。就在 SC23 大会上,多家超算中心宣布了正在为自己的超算集成 GH200 系统。

比如,德国尤利希超算中心将在「木星」(JUPITER)上使用 GH200 超级芯片,这将成为欧洲第一台百亿亿次超级计算机。

参考链接:

https://blogs.nvidia.com/blog/efficient-ai-supercomputers-sc23/

https://www.theverge.com/2023/11/13/23958823/nvidia-h200-ai-gpu-announced-specs-release-date

© THE END

转载请联系本公众号获得授权

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-11-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
致远OA文件上传漏洞(含批量检测POC)
致远OA A6、A8、A8N (V8.0SP2,V8.1,V8.1SP1) 致远OA G6、G6N (V8.1、V8.1SP1)
没事就要多学习
2024/07/18
1.1K0
致远OA文件上传漏洞(含批量检测POC)
红队内网渗透工具(-甲方自查工具)
RequestTemplate是一款两端并用的红队渗透工具以及甲方自查工具,其在内网渗透过程中有着不可替代的作用。
释然IT杂谈
2023/08/18
4700
红队内网渗透工具(-甲方自查工具)
内网渗透-春秋云镜篇(Privilege)
根据题目描述我们获取到了Jekins根目录为C:\ProgramData\Jenkins\.jenkins,然后我们这里搜索过后可以发现初始密码路径
亿人安全
2024/04/12
6360
内网渗透-春秋云镜篇(Privilege)
由外网打点到内网横向
2023年新年的一个渗透测试新年小比赛,来打着练练手,最终只完成了这些,想看官方讲解学习一下来着,结果官方是个买课呢,清高不理人[ps:你清高,你了不起],放博客里面记录一下吧
故里[TRUE]
2023/04/21
1.4K0
由外网打点到内网横向
【攻防演练】从钓鱼上线到内网漫游
一般钓鱼对象选取安全意识比较薄弱的岗位,如客服、招聘HR,在互联网或招聘app上可以搜集到
hyyrent
2022/12/26
9190
【攻防演练】从钓鱼上线到内网漫游
2022年江苏工控选拔赛WP-Web
比赛分两场, 上半场是早上的上午9点开始12点结束(CTF), 下半场是下午2点开始4点结束(场景题 渗透测试)
h0cksr
2023/05/18
5240
fscan:一键自动化、全方位漏洞扫描的开源工具
它支持主机存活探测、端口扫描、常见服务的爆破、ms17010、redis批量写公钥、计划任务反弹shell、读取win网卡信息、web指纹识别、web漏洞扫描、netbios探测、域控识别等功能。
杰哥的IT之旅
2021/05/07
4.9K0
fscan:一键自动化、全方位漏洞扫描的开源工具
【打靶练习】Delegation
Delegation是一套难度为中等的靶场环境,完成该挑战可以帮助玩家了解内网渗透中的代理转发、内网扫描、信息收集、特权提升以及横向移动技术方法,加强对域环境核心认证机制的理解,以及掌握域环境渗透中一些有趣的技术要点。该靶场共有4个flag,分布于不同的靶机。
YanXia
2025/07/13
590
bugku渗透(一)
bugku出了新的模式,渗透测试,来水水文章,一共有十一个场景,也就是相当于十一个题目吧
故里[TRUE]
2023/04/20
1.1K0
bugku渗透(一)
【攻防演练】从钓鱼上线到内网漫游
声明:请勿利用文章内的相关技术从事非法测试,如因此产生的一切不良后果与文章作者和本公众号无关。
亿人安全
2022/12/23
6970
【攻防演练】从钓鱼上线到内网漫游
致远OA SQL&任意文件下载漏洞(含批量检测POC)
致远OA A6 test.jsp 存在sql注入漏洞,并可以通过注入写入webshell文件控制服务器
没事就要多学习
2024/07/18
5600
致远OA SQL&任意文件下载漏洞(含批量检测POC)
【永久开源】vulntarget-a 打靶记录
乌鸦安全的技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失,均由使用者本人负责。
乌鸦安全
2022/03/11
4.1K0
【永久开源】vulntarget-a 打靶记录
攻防|记一次VMware vCenter后渗透过程
针对VMware vCenter的介绍就不多说了,大佬们可以自己搜搜。这里只分享过程和踩到的坑点&技巧。
亿人安全
2024/07/12
8280
攻防|记一次VMware vCenter后渗透过程
Fastjson姿势技巧集合
https://github.com/safe6Sec/ShiroAndFastJson
阿超
2022/11/10
3.2K0
b站1024安全攻防挑战赛
getFormatter 这里就要返回 array(new Action(), 'run') 来让 call_user_fun_array 触发 run 函数,即 Content 里有 $this->formatters = array('close'=>array(new Action(), 'run'))
pankas
2022/11/11
9970
b站1024安全攻防挑战赛
内网渗透—春秋云镜篇之2022网鼎杯
朋友们现在只对常读和星标的公众号才展示大图推送,建议大家把“亿人安全“设为星标”,否则可能就看不到了啦
亿人安全
2024/02/27
6000
【实战】记一次攻防演练之vcenter后渗透利用
乌鸦安全的技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失,均由使用者本人负责。
乌鸦安全
2022/12/19
2.1K0
【实战】记一次攻防演练之vcenter后渗透利用
Bazel remote cache
本篇的源码放在: https://github.com/backendcloud/example/tree/master/bazel-remote
后端云
2022/11/25
1.5K0
实战 | fastjson 漏洞的发现与测试
Fastjson 是阿里巴巴公司开源的一款 json 解析器,其性能优越,被广泛应用于各大厂商的 Java 项目中。fastjson 于 1.2.24 版本后增加了反序列化白名单,而在 1.2.48 以前的版本中,攻击者可以利用特殊构造的 json 字符串绕过白名单检测,成功执行任意命令。
信安之路
2021/12/09
9K0
实战 | fastjson 漏洞的发现与测试
内网 HTTPS 可信证书
  开发团队或者公司内部一般会采用内外网隔离、上网行为过滤等措施,比较可靠地保证了内部设备无法被外部网络所侦测,从而可能认为 HTTP 内网站点是一个相对安全的存在。即使在 HTTPS 证书如此盛行的今天,也还暂时不考虑内部站点的 HTTPS 化。IP + Port 或者 http://本地域名 的访问方式依旧是座上宾。当然,如果考虑到购买 HTTPS 证书的成本或者团队内网站点采用 Letsencrypt 等免费证书过于麻烦(只能采用 DNS 验证的方式每三个月申请一次新证书),那么自签名 SSL 证书则成为首选了。不过,如果为每一个内网站点都生成一个 SSL 证书,然后让大家都手动把 HTTPS 标为可信,那么当面临大量内网站点时,大家可能要被搞崩溃。更为可行的办法是,生成一个内网用的根证书,只标记该根证书可信。
zhonger
2022/10/28
7K0
内网 HTTPS 可信证书
相关推荐
致远OA文件上传漏洞(含批量检测POC)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档