AMD：内存而非算力，将成为AI数据中心的下一个瓶颈

AMD正将内存重新定位为AI时代数据中心的核心瓶颈，认为其已成为制约系统性能与能耗的关键因素。

AMD在近期发布的一篇官方博客中指出，随着模型规模持续扩大、推理任务日趋密集，现代AI工作负载正在暴露传统服务器内存架构的局限性。这一制约越来越体现在物理层面：数据的搬运效率，而非单纯的计算能力，正在成为影响系统整体效率的主导因素。

"这个问题很难量化，因为内存架构种类繁多，"Moor Insights & Strategy副总裁兼首席分析师Matt Kimball表示，"HBM、DDR、SRAM和LPDDR各有不同。"

常见内存类型简介

SRAM（静态随机存取内存）：速度极快、延迟极低的片上内存（例如缓存）。效率高但容量有限，成本较高。

HBM（高带宽内存）：通过堆叠结构实现超大带宽，效率较强，广泛应用于GPU及AI加速器。

LPDDR（低功耗双倍数据率内存）：专为低功耗场景优化，长期用于移动设备，如今逐步向特定服务器工作负载延伸。

DDR（双倍数据率动态内存）：标准服务器内存，容量大、通用性强，但相较新型方案效率较低。

Kimball进一步梳理了一套大致的效率层级：SRAM性能最强，其次是HBM和LPDDR，DDR通用性最高但效率相对最低。各类内存各司其职，直接比较并不精确，但在方向上具有参考价值。

这一判断与AMD的立场高度吻合——内存已成为驱动AI系统性能与能耗的重要因素。

"内存越来越成为关键组件，对性能和功耗都构成实质性的一阶约束，"Kimball说，"随着模型规模扩大、推理持续化趋势加深，快速高效地搬运和访问数据，与原始算力同等重要。"

AMD为何力推LPDDR5X进入服务器市场

AMD博客的核心主题是LPDDR5X。AMD将其定位为在AI和云计算环境中提升每瓦性能的解决方案。LPDDR此前主要用于移动和客户端设备，在服务器领域的应用受限于容量、可维护性及生态系统成熟度等问题。AMD表示，这些限制正逐步缓解，为其在数据中心的广泛应用打开了空间。

LPDDR5X的工作电压低于DDR5，可有效降低内存子系统的功耗，在供电和散热条件受限的环境中优势明显。在机架规模下，这些节省会不断积累。随着功耗预算持续攀升、散热成为瓶颈，内存效率的边际改善可转化为可观的总拥有成本收益。

向混合内存架构转型

这篇博客折射出业界更广泛的转变趋势——从标准化DIMM（双列直插内存模块）走向针对特定工作负载的内存架构。

"我并不认为这是一个小众方向，"Kimball说，"LPDDR在某种程度上是市场更大范围转型的组成部分，背后是工作负载专属内存架构的兴起，也就是'为正确的工作负载选配正确的内存'。"

运营商正越来越多地将HBM、LPDDR、SRAM和池化内存混合使用，以匹配不同工作负载的需求。"传统的'一刀切'DIMM模式正在让位于我们所看到的这种混合形态——HBM、DDR、LPDDR、SRAM，乃至池化内存，"他说，"每一种都针对不同的工作负载进行了优化。"

AMD将AI推理视为这一趋势的核心驱动力。推理的不同阶段对带宽、延迟和功耗有着截然不同的需求。

"HBM非常适合在预填充阶段以并行方式输送大量数据，而SRAM则主导解码阶段——实现真正快速的、基于Token的逐Token生成，"Kimball说。

由此形成的是一个更加异构但也更加高效的内存栈。

尚未解决的问题：可靠性、可维护性与生态系统

LPDDR在服务器端的普及障碍，不仅是技术层面的，更是运营层面的。与传统DIMM不同，LPDDR通常采用焊接方式安装，这限制了可维护性，也在生产环境中引发了可靠性方面的顾虑。AMD着重介绍了SOCAMM（小型压缩附接内存模块）等新兴封装形式，认为其有望在效率与可替换性之间取得平衡。

"LPDDR在规模化部署中确实能带来显著的效率提升，"Kimball表示，"这里说的不只是单个机架，而是'成规模的机架群'——功耗和散热都是固定约束的场景。"

但权衡取舍依然存在。"可靠性、可维护性以及生态系统成熟度仍然至关重要，"他说，"这也是SOCAMM等封装形式的价值所在——它们试图在效率与生产基础设施的现实需求之间架起桥梁。"

这些差距目前尚未完全弥合。"滞后确实存在，"Kimball坦言。

尚处早期，但方向明确

AMD的这篇博客并未提出全新概念，而是对AI基础设施领域已有趋势的系统性梳理。

"我最大的感触在于，内存架构的异构化是真实存在的，并且正在向企业AI领域加速渗透，"Kimball说，"但我们仍处于早期阶段，我认为未来会逐步走向整合。"

对于运营商而言，内存正从一个固定组件，演变为主动参与系统设计的核心变量。AMD力推LPDDR5X，正是这一转变的具体体现。从更宏观的视角来看，统一化的服务器设计正在让位于针对特定工作负载、功耗限制和性能目标量身定制的系统方案。

在AI时代，系统搬运数据的效率，或许最终将决定其算力的发挥上限。

Q&A

Q1：AI数据中心为什么说内存比算力更重要？

A：随着AI模型规模扩大和推理任务持续化，数据搬运效率成为制约系统性能的核心因素。AMD指出，快速高效地访问和移动数据，与原始算力同等重要，内存已对性能和功耗形成实质性约束，成为AI数据中心的新瓶颈。

Q2：LPDDR5X在服务器中有什么优势和局限性？

A：LPDDR5X工作电压低于DDR5，可降低内存子系统功耗，在供电和散热受限的环境中优势明显，规模化部署后总拥有成本收益显著。但其通常采用焊接安装方式，限制了可维护性，在可靠性、生态系统成熟度方面仍存在不足，SOCAMM等新封装形式正尝试解决这些问题。

Q3：AI推理的不同阶段对内存类型有什么不同需求？

A：AI推理分为预填充和解码两个主要阶段，需求差异明显。预填充阶段需要并行输送大量数据，HBM凭借超大带宽更为适合；解码阶段则需要快速逐Token生成，对延迟要求极高，SRAM因其超低延迟特性占据主导地位。这也是混合内存架构兴起的核心驱动力之一。