一文读懂AI时代GPU的内存新宠-HBM

一文读懂GPU最强辅助：HBM

HBM，即高带宽内存，是一项领先的3D堆叠DRAM技术，专为高性能计算和图形处理单元（GPU）设计，满足其对内存带宽和容量的极致需求。该技术由AMD与海力士携手研发，并于2013年问世，为行业带来革命性突破。

随着计算需求的不断增长，传统的内存技术已经难以满足高性能计算（HPC）和图形处理单元（GPU）对内存带宽和容量的日益增长的需求。在这样的背景下，高带宽内存（HBM）技术应运而生，为解决这一问题提供了创新性的解决方案。

HBM是一种3D堆叠DRAM技术，它通过将多个DRAM芯片层叠在一起，并使用高密度的硅通孔（TSV）和微凸点（microbumps）技术，实现与处理器或GPU的垂直互连。这种设计大幅提高了内存的带宽和容量，同时减小了内存模块的物理尺寸。与传统的GDDR5内存相比，HBM由于其紧凑的设计和高效的数据传输，通常具有更低的功耗。

HBM产品系列已进化至第五代HBM3E，作为HBM3的扩展版，持续引领技术前沿。GPU现普遍支持2至8颗堆叠，最大堆叠层数达12层，展现了卓越的集成与性能优势。

美光科技于2月26日宣布批量生产HBM3E高带宽内存，其24GB 8H产品将供货给英伟达，并用于H200 Tensor Core GPU。这款内存拥有24GB大容量，引脚速度突破9.2Gb/s，提供高达1.2TB/s的内存带宽，为AI加速器、超级计算机等数据应用带来前所未有的闪电速度。美光HBM3E，引领内存技术新篇章。

英伟达H200 GPU搭载6颗美光HBM3E 24GB高速显存，理论上内存容量应为144GB，带宽达7.2TB/s。然而，量产考量下，英伟达官网显示其显存为141GB，带宽为4.8TB/s。这一调整旨在通过保留冗余空间，提升产品良品率，确保用户获得稳定高效的AI训练体验。

HBM 不断迭代，迭代方向为增加容量和带宽，目前最高层数为12层。海力士 2014 年推出全世界第一颗 HBM，2018 年推出 HBM2，后续每隔两年推出新一代HBM，目前最新量产的是HBM3e，原厂加速研发，HBM4 可能采用16层堆 叠。从 I/O 数量看（总线位宽），HBM1到HBM3e均保持在1024bit， 而数据的传输速率从HBM1的1Gb/s 提升到 HBM3e的9.2Gb/s，最终实现带宽从HBM1的128GB/s 提升至 HBM3e的1.2TB/s。

HBM4的标准目前未确定，目前普遍预期HBM4最高16层堆叠，2048bit总线位宽。

HBM市场主要由三大存储巨头所主导：

SK海力士，HBM技术的领军者，从早期开发到技术迭代如HBM2、HBM2E至HBM3，均保持领先地位。其卓越的创新和量产能力，使其成为伟达AI芯片HBM的首选供应商，市场份额遥遥领先，彰显技术实力与行业地位。

三星电子：三星电子是全球领先的半导体公司之一，在HBM技术方面也具有强大的研发和生产能力。三星电子不仅在HBM的研发上投入巨大，还积极扩大产能以满足市场需求。三星电子在HBM技术上的进展，包括开发更高密度和更大容量的产品，对提升其在高性能计算和AI领域的竞争力起到了关键作用。三星着重满足其他云端服务业者的订单，在客户加单下，预计在 HBM3 与海力士的市占率差距会大幅缩小，

2023~2024 年三星和海力士市占率预估相当，合计拥 HBM 市场约 95%的市占率。

美光科技虽在HBM市场起步晚于SK海力士和三星，但凭借直接从HBM3E切入并快速增强技术实力，正逐步挑战市场格局。尽管市场份额尚低，但英伟达在H200中选用美光产品，展现了对其的高度认可，美光正在迅速追赶中。

-对此，您有什么看法见解？-

-欢迎在评论区留言探讨和分享。-