Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >XConn:CXL内存应用的带宽和时延

XConn:CXL内存应用的带宽和时延

作者头像
数据存储前沿技术
发布于 2025-02-11 10:52:25
发布于 2025-02-11 10:52:25
6250
举报

关键要点

• CXL技术可实现内存池共享和扩展,提高内存利用率。

• CXL技术可用于数据库和AI推理等应用,提升性能并降低成本。

• XConn Technologies开发了CXL 2.0和PCIe 5.0交换机芯片,支持混合模式。

• CXL技术可解决“内存墙”问题,降低TCO。

• Samsung的CMM-B系统采用CXL 2.0规范,具有软件管理内存和高效能的特点。

图展示了使用CXL(Compute Express Link)技术实现DRAM的解耦,以优化内存的使用。

  • • 左侧展示的是传统的架构,每个主机(Host)有专属的DRAM配置,存在内存利用率低的问题。
  • • 右侧则展示了通过CXL Fabric技术,将多台主机共享内存资源池(如“JBOM”),从而实现内存资源的共享和优化,提高整体的利用率。
用于可扩展解耦的CXL交换机

XConn Tech已开发CXL2.0(XC50256)和PCIe 5.0(XC51256)交换芯片

具有256条通道,总带宽为2048 GB/s

右侧特性:

  • • 最低的端口到端口延迟
  • • 最低的每端口功耗
  • • 减小的PCB面积
  • • 更低的总拥有成本(TCO)

底部特性:

  • • 兼容CXL 1.1服务器处理器和CXL内存设备
  • • 兼容即将推出的CXL 2.0处理器
  • • 支持混合模式(CXL/PCIe混合)

CXL 应用场景

CXL 2.0交换机实现可扩展的内存池和共享

内存池/共享,适用于CXL 1.1/2.0主机和单一逻辑设备

图示:

多个主机(H1, H2, H3, H4, ... H#)连接到CXL 2.0交换机(XConnTech)

CXL 2.0交换机连接到一个设备池(D1, D2, D3, D4, ... D#)

管理主机(CXL Fabric Manager)

底部说明:

一个CXL交换机可连接32个主机/设备

完全支持CXL Fabric管理器

支持交换机级联,以扩展更大的内存池

内存池的应用

内存数据库

  • • 数据库需要大量内存(高达100TB)以维持性能
  • • 对于运行在多个主机上的数据库,共享内存是理想选择
  • • CXL提供的加载/存储效率高于RDMA
  • • 通过共享CXL内存,SAP-HANA性能显著提升(由三星展示于MemCon 2024)

人工智能推理

  • • 推理过程需要更大的内存容量以维持性能
  • • Xconn正在与合作伙伴合作,利用CXL内存增强推理性能

解决“内存墙”问题并降低总体拥有成本(TCO)

  • • 通过CXL内存扩展/池化来应对“内存墙”问题
  • • 多个主机共享大型内存池,同时保持本地内存的最小化
  • • 重复利用来自被替换服务器的DRAM(如DDR4)
内存池/共享PoC拓扑结构

CXL Host 0和CXL Host 1通过CXL端口连接到CXL交换机

**管理主机(FM)通过PCIe端口和管理网络连接到CXL交换机

CXL交换机(XConn Tech品牌)具有多个端口,连接到不同的CXL内存扩展器

两个CXL内存扩展器通过CXL接口连接到交换机

I2C接口用于管理连接

展示了一个CXL内存池和共享系统的结构。在该系统中,管理主机(FM)和BMC基板管理控制器共同控制和管理CXL交换机。CXL交换机连接到多个端口卡和AIC/EDSFF类型的CXL内存扩展器,通过这些扩展器提供大量共享内存资源。

Note:基于 CXL Switch 不仅可以扩展内存,还可以连接其他端口卡。

解决方案

图示 SuperMicro 和 Samsung 集成的内存池化设备

Samsung 的CMM-B设备特征如下:

  • • 符合CXL 2.0规范的内存池
  • • 可扩展至16TB
  • • 通过Fabric管理器的软件管理内存
  • • 高能效
  • • 成本效益高

CXL 带宽

带宽比较:CXL 交换机内存 vs 直连内存

图比较了CXL交换机连接和直接连接两种方式下的带宽性能。

在多线程环境下,直连内存在5个线程时达到峰值带宽21.9 GB/s,而交换机连接方式虽然稍低于直接连接,但表现出相近的带宽能力并在增加线程后保持稳定。

此结果表明,尽管交换机连接方式的带宽略低于直接连接,但它能够在高线程环境下保持较好的性能,适合对多线程带宽需求高的应用场景。

Note:多线程下CXL内存带宽与直连内存带宽相近。

关于MLC测试工具

MLC(Memory Latency Checker) 是一款由英特尔(Intel)开发的工具,用于测量和评估系统的内存子系统性能。MLC专注于测试内存带宽和延迟,能够提供详细的内存访问延迟、带宽和多线程负载情况下的性能数据。其主要功能包括: 内存延迟测量:MLC可以精确地测量系统的内存访问延迟,包括本地内存和远程内存(NUMA架构中的非本地内存)之间的延迟差异。 内存带宽测量:工具可以测试系统在不同线程数下的内存带宽,适用于单线程和多线程场景,从而帮助用户了解在高并发情况下系统的内存性能。 多种内存访问模式:MLC支持不同的内存访问模式,包括读、写、读写混合等,使用户能够模拟实际应用的内存访问模式,评估系统的内存性能。 多核架构支持:MLC在多核、多插槽和NUMA架构中表现良好,能够测试不同内存节点之间的带宽和延迟情况,为优化多核处理器和内存架构提供数据支持。

图展示了在不同的读取/写入(R/W)比例下,CXL交换机连接模式下的最大带宽表现。

结果表明,随着写入操作比例的增加,带宽逐渐增大,1:1的读取/写入比例(即读写均衡)达到了最高带宽约50,000 MB/秒。

这表明CXL交换机连接在混合读写操作的情况下具有较好的带宽表现,适合需要高读写性能的应用场景。

CXL 时延

前面讨论直连内存和CXL交换内存的带宽比较,两者在多线程场景带宽峰值相近;与100%读IO相比,读写混合业务场景CXL 内存带宽表现更好。

CXL 内存访问时延

与NUMA跨节点访存时延模型相似,

  • • 直连内存的时延最低
  • • 其次是跨CPU的内存访问
  • • 其次的CXL直连内存单元
  • • CXL池化内存时延最高

更多 CXL 内存访问时延数据

左右是在两个平台上的CXL内存访问时延测试数据,平台2(右图)较平台1跨节点CXL访存时延要低,这可能是得益于CPU之间的通信优化。

基本可以得出以下结论:

1. 直连CXL访存时延是直连内存的2倍;

2. 跨节点访问直连CXL内存是直连内存时延的3倍;

3. CXL池化内存的访问时延是直连内存的4倍;

4. 跨节点访问CXL池化内存是直连内存时延的6倍;

总结

  • • CXL交换机支持的内存池提供了解决“内存墙”问题的方案,适用于AI和高性能计算(HPC)。
  • • 软件支持的内存共享在数据库和AI推理应用中有广泛用途。
  • • XConn的CXL 2.0交换机和Fabric管理器(FM)提供了一个可扩展且可组合的内存池/共享解决方案,性能良好。
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-11-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 王知鱼 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
H3:CXL 内存共享架构与解决方案
公司总部位于台湾新北市-新止区,成立于 2014 年,旨在成为领先的组合型基础设施解决方案提供商,工程团队在磁盘阵列相关固件/BIOS、软件应用程序、设备驱动程序和 PCIe 相关技术方面拥有超过 15 年的专业经验。
数据存储前沿技术
2025/02/11
4340
H3:CXL 内存共享架构与解决方案
Xconn:CXL 2.0 交换机实现内存共享
本文介绍了Xconn Technologies公司开发的基于Compute Express Link (CXL) 2.0标准的交换机,旨在实现数据中心内可组合内存系统的高效管理与资源共享。
数据存储前沿技术
2025/02/11
8880
Xconn:CXL 2.0 交换机实现内存共享
CXL 实践指南:关于内存扩展,需要知道的是...
在人工智能(AI)和机器学习(ML)领域,数据处理的需求呈指数级增长,对内存容量和性能提出了前所未有的挑战。传统的DRAM解决方案在成本、容量和扩展性方面面临瓶颈。Compute Express Link(CXL)作为一种新兴的互连技术,通过提供高速、低延迟的连接,为解决这些挑战带来了新的希望。本文深入探讨了CXL技术在AI/ML应用中的潜力,并提供了一份实践指南,旨在帮助读者了解如何利用CXL技术释放AI和ML的性能。
数据存储前沿技术
2025/05/01
7460
CXL 实践指南:关于内存扩展,需要知道的是...
Intel:基于FPGA加密池化内存数据
按:Intel 作为CXL联盟主要成员,对该技术落地过程潜在挑战和困难,可以说比任何硬件厂商都要理解透彻。本文介绍了CXL内存池化带来的安全挑战,并基于FPGA实现内存数据加密。
数据存储前沿技术
2025/02/11
2010
Intel:基于FPGA加密池化内存数据
从CXL路标,看数据中心再解耦
Flit是"Flow Control Unit"的缩写,在CXL等高速互连协议中,它是数据传输的基本单位。
数据存储前沿技术
2025/02/11
3180
从CXL路标,看数据中心再解耦
Samsung:数据为中心的内存架构
随着AI/ML/自动驾驶等数据密集型场景逐渐落地,新一轮应用资源特征,对现有计算架构提出新挑战,产业需要平衡三大资源:
数据存储前沿技术
2025/02/11
1690
Samsung:数据为中心的内存架构
基于CXL™-Type3 实现内存池化
Microchip Technology Inc. 是一家总部位于美国亚利桑那州钱德勒的半导体公司,成立于1989年。该公司专注于设计、开发和制造微控制器、混合信号、模拟和闪存(Flash)IP解决方案。Microchip 的产品广泛应用于汽车、工业、消费电子、计算机和通信等多个行业。
数据存储前沿技术
2025/02/11
4991
基于CXL™-Type3 实现内存池化
FAM与CXL:HPC存储架构的未来机遇
在高性能计算(HPC)领域,存储技术的创新一直是推动计算能力提升的关键。随着数据规模的不断增长和计算需求的日益复杂,传统的存储架构已逐渐无法满足需求。HPE通过其创新的FAM(Fabric-Attached Memory)和CXL(Compute Express Link)技术,为HPC存储架构带来了新的可能性。本文将深入探讨这些技术的核心原理、应用场景以及未来的发展机遇,帮助读者全面理解FAM和CXL在HPC中的重要性。
数据存储前沿技术
2025/02/21
2390
FAM与CXL:HPC存储架构的未来机遇
云原生数据库砸了 K8S云自建数据库的饭碗--- CXL内存技术
随着云数据库时代的来临,一个DBA的知识层次可以拉开水平的另一个阵地,在云。基于我已经在云上打拼了4年,虽然不是先行者,但我是一个开放思维的DBA的先行者,2月26日PolarDB大会其中有一个主题。虽然因为家里有事情,去不了,但学习知识和不落后,要争先的精神驱使着我,还是要把这段知识补上。
AustinDatabases
2025/03/03
1640
云原生数据库砸了 K8S云自建数据库的饭碗--- CXL内存技术
深入理解DRAM-4(结):未来与CXL
考虑到以上因素,目前3DS生产工艺,停留在2层堆叠,即DDP(Dual Die Package ),先进厂商提出4D-NAND概念[1]。
数据存储前沿技术
2025/02/11
1800
深入理解DRAM-4(结):未来与CXL
SMART Modular:CXL Factor 动态
左图是未来5年,CXL服务器出货量占比预测,2025年达到3%,2027年将进入快车道,随后快速增长;
数据存储前沿技术
2025/02/11
1880
SMART Modular:CXL Factor 动态
NVMe接口优化:HDD存储的未来之路
在生成式AI和大数据时代,存储系统的性能和效率变得至关重要。传统的SATA和SAS接口已经无法满足现代数据中心对高吞吐量和低延迟的需求。NVMe(非易失性内存 express)作为一种新兴的存储接口,正在逐步取代这些传统接口,特别是在大容量存储系统中。本文深入探讨了NVMe接口在HDD(硬盘驱动器)中的应用,分析了其如何通过统一存储堆栈、优化拓扑结构以及引入新技术(如eBPF、CMB、HMB等)来提升存储系统的性能、降低功耗和总拥有成本(TCO)。通过多个实际案例和技术细节,本文为读者展示了NVMe接口如何推动存储技术的革新,并为未来的数据中心和AI应用提供了强有力的支持。
数据存储前沿技术
2025/02/26
3432
NVMe接口优化:HDD存储的未来之路
SK Hynix:CXL内存解耦在HPC/AI场景的应用
1. 内存资源利用不足与性能瓶颈:传统数据中心面临内存孤岛和数据溢出问题,导致内存资源浪费和性能降低,难以满足AI和大数据应用需求。
数据存储前沿技术
2025/02/11
2670
SK Hynix:CXL内存解耦在HPC/AI场景的应用
MemVerge:CXL内存扩展案例
1. CXL技术用于解决传统服务器内存扩展中的限制,包括有限的DIMM插槽、内存容量和带宽限制以及高成本问题。
数据存储前沿技术
2025/02/11
3680
MemVerge:CXL内存扩展案例
KIOXIA:低时延FLASH 卸载DRAM
1. 低时延FLASH替代DRAM概念的提出可能不再吸人眼球,究竟怎么落地,有没有市场空间?
数据存储前沿技术
2025/02/11
1690
KIOXIA:低时延FLASH 卸载DRAM
澜起科技:CXL 2.0 内存共享案例
本文由 Montage 技术的Geof Findley介绍,他拥有超过20年内存产品经验,在DDR4和DDR5内存接口产品方面处于行业领先地位,并且在PCIe Gen 4和5 Retimer领域具有广泛的市场设计经验。
数据存储前沿技术
2025/02/11
4580
澜起科技:CXL 2.0 内存共享案例
MemVerge:CXL 与 Fabric 内存
总结来说,服务器内存扩展更适合单一服务器的内存优化,而基于互联结构的内存更适合分布式系统内的共享内存需求。
数据存储前沿技术
2025/02/11
3600
MemVerge:CXL 与 Fabric 内存
CXL令人兴奋,但它将走向何方?
CXL(Compute Express Link)的核心技术特性及其支持的内存架构类型:
数据存储前沿技术
2025/02/11
1600
CXL令人兴奋,但它将走向何方?
AI提速:CXL内存赋能AI&ML应用
在人工智能和机器学习(AI/ML)领域,算力的提升一直是关注的焦点,但内存的重要性往往被忽视。随着模型和数据集规模的爆炸式增长,传统的内存架构正面临容量和带宽的双重挑战。本文深入探讨了AI/ML工作负载对内存的迫切需求,揭示了内存瓶颈如何制约AI性能的发挥。
数据存储前沿技术
2025/05/05
2910
AI提速:CXL内存赋能AI&ML应用
Bill Gervasi:NVMe-Over-CXL 怎么落地?
按:本文是Bill老先生关于CXL场景和落地,在FMS-24上的发言材料,文中绝大部分直译作者观点,鹏弟延申的思考均以Note标出,建议阅读文末Bill 另两篇关于DRAM的介绍,循序渐进再来读,会更有感觉。
数据存储前沿技术
2025/02/11
2570
Bill Gervasi:NVMe-Over-CXL 怎么落地?
相关推荐
H3:CXL 内存共享架构与解决方案
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档