MemVerge：CXL内存扩展案例

问题意识

1. CXL技术用于解决传统服务器内存扩展中的限制，包括有限的DIMM插槽、内存容量和带宽限制以及高成本问题。

2. 与直连内存相比，原生CXL内存扩展面临时延和带宽限制，如何优化CXL时延并提高有效带宽是落地关键。

关于 MemVerge

MemVerge[1] 是一家领先的 AI 基础设施软件公司，专注于在生成式 AI 时代优化以 GPU 为中心的大内存计算。MemVerge 解决方案利用其在内存软件方面的独特专业知识，帮助金融服务、科学计算和云服务提供商等各行各业的组织加速其 AI 和科学计算工作负载。

在透明检查点、GPU 调度、内存分层和内存共享方面的创新使客户能够最大限度地利用他们的计算资源并突破内存壁垒。基于这些创新，MemVerge 提供了一套 Memory Machine 软件产品，以在企业内部建立 GPU 即服务，在本地和云端自动化 AI 工作负载管道，并实现 CXL 内存扩展和多节点内存共享。

各大银行的 AI 从业者部署 Memory Machine AI 使 GPU 利用率翻倍；一流大学的科研人员使用 Memory Machine Cloud 节省了 50% 以上的云成本；各地的 IT 架构师使用 Memory Machine X 重新设计大内存数据中心以加速 AI 工作负载。MemVerge 解决方案可在公共云、私有云和混合云中运行，有利于大多数正在推出 AI 驱动应用程序的企业客户。

服务器对大内存的需求

• • HPC（高性能计算）和数据库用例
• • 支持处理更大数据集
• • 加速结果生成时间
• • 更高的性能成本比

通过两个示例（Metabat基因组工作负载和SQL Server数据库），展示了不同的扩展方案。在基因组任务中，使用单一4TB节点能大幅缩短运行时间。而在SQL Server中，扩展可以通过增加节点或内存扩展模块提高QPS性能。

内存扩展挑战

• • 主板上的DIMM插槽有限
• • 内存容量和带宽
• • 成本

解决方案

• • CXL内存扩展
• • Memory Machine™ X软件

CXL 内存扩展

附加卡 (AIC)

• • 灵活容量，每张卡最多2TB
• • 更高带宽，最高支持16条PCIe5通道（相当于1个DDR5通道）

E3.S模块

• • 简易前置安装，类似于SSD
• • 固定容量：128GB、256GB、512GB
• • 较低带宽，支持8条PCIe5通道

内存扩展方案 TCO比较

表格比较了不同内存配置的成本，包括仅使用Socket DRAM和结合CXL DRAM的混合配置。采用CXL DRAM扩展可以显著降低每GB的成本，尤其是在较大内存配置（如4,096GB和8,192GB）下，成本显著降低。

CXL导致复杂的异构内存层次结构

右侧表格列出了不同NUMA节点的容量、延迟和带宽：

• • NUMA 0：1 TB，延迟90 ns，带宽512 GB/s。
• • NUMA 1：1 TB，延迟190 ns，带宽与NUMA 4、5共享，每个带宽为62.4 GB/s。
• • NUMA 2和NUMA 3：512 GB，延迟190 ns，带宽64 GB/s。
• • NUMA 4和NUMA 5：512 GB，延迟290 ns，带宽与NUMA 1、5共享，每个带宽为62.4 GB/s

由于跨NUMA内存访问导致的应用性能影响：

• • 更高的延迟：约100到200纳秒
• • 带宽瓶颈

Note：CXL 扩展与直连内存（DAS）相比，容量虽有明显提升，但由于数据从PCIe总线传输效率不及DIMM，导致较高的时延，且带宽上限仅与单DIMM通道接近。

有什么优化措施吗？

Memory Machine™ X (MMX) 通过以下方式减轻了 CXL 的延迟和带宽挑战：

• • 持续监控应用程序的内存访问模式
• • 在 NUMA 节点之间优化数据放置

对应用程序和 Linux 操作系统内核透明

图中给出Mysql数据库TPS和时延测试数据，加入 MMX 后的配置（64GB Socket + 64GB CXL + MMX）显著提升了性能（TPS），同时大幅降低了延迟（P95 延迟）。相比于传统配置（64GB Socket DRAM + SSD），MMX 的引入使每秒事务数和延迟得到优化，为高性能应用提供了更高效的解决方案。

带宽策略

带宽优化内存放置和移动的目标是根据应用程序的带宽要求在 DRAM 和 CXL 内存之间策略性地放置和移动数据，从而最大限度地提高整体系统带宽。

带宽策略引擎将利用所有 DRAM 和 CXL 内存设备的可用带宽，并以用户可选择的 DRAM 与 CXL 比率来保持带宽和延迟之间的平衡。

延迟策略

延迟分层可以智能地管理异构内存设备之间的数据放置，以根据内存页的“温度”或访问频率来优化性能。

MemVerge QoS 引擎将热页面移至 DRAM，以便快速访问。冷页面则放置在 CXL 内存中。

通过确保经常访问的数据存储在 DRAM 中，系统可以减少内存访问的平均延迟，从而提高应用程序性能。

关键要点

1. 1. CXL内存扩展技术可以提高服务器处理大数据集和加快结果的速度。
2. 2. CXL内存扩展可以通过增加内存容量和带宽来解决内存扩展挑战。
3. 3. 使用CXL内存扩展和Memory Machine X软件可以降低服务器成本并优化数据放置。
4. 4. CXL内存扩展技术可以创建复杂的异构内存层次结构。

引用链接

[1] MemVerge: https://memverge.com/memory-machine-cxl/