Samsung：CXL 内存扩展更新

按：FMS2024 CXL 模块厂商报告，到此就告一段落，Samsung 在本篇主要回顾Type3设备的落地形态。

Samsung：CXL 内存扩展更新-Fig-1

DDR/HBM/CXL 混合内存分级架构

图中橘色部分是新计算架构下的数据存储分级。

• • Near Memory：GPU中的HBM，后续更多专用计算设备中都有对应模块；
• • Memory Expander：内存扩展卡；
• • Tiered Memory：分级内存，基于CXL Switch实现的内存解耦；
• • Peta-Scale SSD：QLC 大容量SSD。

Note：全副武装的存储堆栈，使能计算系统潜力的进一步释放，GPU不是终解，会有越来越多的专用计算创新。

Samsung：CXL 内存扩展更新-Fig-2

重温 CXL 设备的三种形态

• • Type1：通过CXL.io和CXL.cache协议构建本地缓存加速卡，单机内存扩展的使用场景受限；
• • Type2：类似GPU的计算扩展卡，这块的生态已经被NV牢牢抓住，且NVlink的互联带宽比CXL还要高效；
• • Type3：内存解耦扩展卡，很多厂商在推动Type3 设备落地。

参考阅读：

• • 基于CXL™-Type3 实现内存池化
• • Samsung：CXL设备类型和协议

Samsung：CXL 内存扩展更新-Fig-3

三星提供了三种CXL（Compute Express Link）内存模块类型：

1. 1. CMM-D：用于扩展内存，强调高性能和低延迟。
2. 2. CMM-H：支持分层内存解决方案，具有更复杂的数据路径（.mem和.io）。
3. 3. CMM-HC：集成加速器的设计，支持多种数据路径（.cache、.mem和.io），适用于高性能计算应用。

重点关注分层内存解决方案：CMM-H，CMM 代表 CXL Memory Module（CXL内存模块）。

Samsung：CXL 内存扩展更新-Fig-4

CXL 是基于PCIe生态构建的，两者的对比如下：

CXL 是面向现代计算需求优化的互联技术，与 PCIe 的演进路径相比，具有更快的普及速度、更高的灵活性和针对未来计算场景的优化设计。

Samsung：CXL 内存扩展更新-Fig-5

CMM-H（分层内存）有2种模式

• • 分层内存模式（左）：优化性能，利用 DRAM 缓存提升访问速度，SSD 提供高容量。
• • 持久化内存模式（右）：结合外部电池和 CXL GPF（Global Persistent Flush 全局持久刷新），确保数据在断电时的持久性，适用于关键任务和数据安全需求场景。

Samsung：CXL 内存扩展更新-Fig-6

分层内存的架构示意

• • 数据流说明：

1. Computer System（计算机系统）通过 CXL.memory 接口访问数据。

2. 数据进入内置 DRAM 缓存，作为高效的缓存层。

3. Base Controller（基础控制器，Fetch/Flush） 负责管理 DRAM 和 SSD 的数据交互。

4. FPGA 提供灵活的逻辑实现：

• Policy Engine（策略引擎）：优化数据存取策略和缓存管理。

5. 底层存储：数据最终存储到 SSD，用于持久化。

Samsung：CXL 内存扩展更新-Fig-7

CMM-HC （Hybrid with Compute）是增强计算功能的分层内存方案，设备模块上增加专用计算卡。

Samsung：CXL 内存扩展更新-Fig-8

右图中CM（Compute Moudle）即集成的专用计算芯片。

关键要点

• • CXL是一种用于数据中心计算的数据为中心的内存扩展技术。
• • CXL可以支持更大和更复杂的模型，并提高训练效率。
• • CXL通过提供可扩展的内存层次结构来解决现代工作负载中的内存异构性问题。
• • CXL可以降低系统成本并提高性能。
• • CXL具有广泛的应用场景，包括加速器附加存储解决方案和持久内存方案等。