超微：下一代存储系统接口设计与实践
按：海外服务器厂商 Supermicro （超微）在FMS2024 峰会上，介绍了其最新存储服务器架构设计和选型建议，并曝露CXL内存的支持路标。
超微：下一代存储系统接口设计与实践-Fig-1
存储系统架构转换
图片描述了从2000年到2025年存储系统架构的演变过程。
早期的存储架构基于并行连接，如ESCON、SCSI和ATA。
随着技术发展，系统逐渐转向串行连接，如SAS、SATA，以及NVMe/U.2。
进入2020年以后，架构向多模式的方向发展，包括支持SAS/SATA和U.3。
2025年预期将会出现基于PCIe的高性能架构，同时新兴应用，如FPGA和CXL，也会逐渐进入存储系统。
超微：下一代存储系统接口设计与实践-Fig-2
存储系统逐渐兴起的接口标准
新兴存储接口标准的迭代经历了几个阶段：
- • 早期 NVMe SSD 借助 U.2 接口兼容广泛使用的高性能SAS接口；
- • 逐渐过渡到 E1.S/L 接口；
- • 升级到 E3.S & CXL 接口。
Note：后文会介绍 E.1 和 E.3 是两条独立的技术升级路线。
超微：下一代存储系统接口设计与实践-Fig-3
超微产品中的存储接口
图示Supermicro存储产品的外形规格演变，从GEN3到GEN5的逐步发展。GEN3中使用了U.2端口技术，而在GEN4和GEN5中，存储技术正在转向EDSFF规格，包括E1.S和E1.L等新兴标准。GEN5阶段表明U.2到E3的转换正在进行，同时E1规格继续增长，并获得多厂商的支持。
Note：E3 系列是为兼容U.2接口生态；E1 系列不同厂商也在持续繁荣中。
超微：下一代存储系统接口设计与实践-Fig-4
传统存储托架设计（U.2）
- 1. 传统背板设计限制气流 传统背板设计，箭头指示气流受限的方向。
- 2. PCBA板阻碍气流路径 气流从左侧进气，右侧排出，气流路径受限。
- 3. SFF-8639接口 SFF-8639驱动连接器在行业中表现良好，并将在可预见的未来继续使用。右下角显示了PCIe Express和SATA连接的插槽结构。
超微下一代存储系统接口设计与实践-Fig-5
EDSFF存储托架设计（E3.S）
- 1. EDSFF托架设计优化了气流 优化气流管理，气流通过组件之间流动，从而提升散热性能。
- 2. 电源和设备/托架管理是PCBA上的唯一轨迹，减少PCBA上组件数量，避免阻碍。
EDSFF（E3.S）存储托架的灵活性，用户可以通过更换不同的电缆（设备管理单元）来调整连接的PCIe通道数量（x2, x4, x8）。这种设计简化了存储托架的可扩展性和灵活性，同时维持对电源和设备管理的支持。
超微：下一代存储系统接口设计与实践-Fig-6
Gen5 EDSFF Petascale 平台创新
- 1. 优越的信号完整性
- • 主板直接连接到SFF-TA-1002 1C连接器/SSD，减少背板布线信号损失。
- • 减少大约40%的信号损失。
- 2. 更好的气流
- • 没有垂直背板阻挡气流。
- • 前部开口增加约75%。
- • 系统CFM（立方英尺每分钟）改进约20%。
右侧显示了两种存储解决方案的示意图：
- • E3.S SSD + EDSFF 背板
- • U.2 SSD + 背板
Note：结合 Viking Enterprise 存储分析师的观点，Gen5 SSD在实际网络中可用带宽不超过70%（软硬件层通信消耗），领先的接口设计，虽能在能耗方面做的更优，但投入和收益仍需谨慎。
参考阅读：
超微：下一代存储系统接口设计与实践-Fig-7
Gen5 EDSFF Petascale 平台创新
副标题：专为全NVMe和软件定义数据中心设计
- 1. 统一机箱
- • 支持：
- • Intel 双处理器 (DP) 和 AMD 单处理器 (UP)
- • 1U 高度支持多达 24 个 E1 SSD
- • 1U 高度支持多达 16 个 E3 SSD 和 CXL
- • 2U 高度支持多达 32 个 E3 SSD
- • 机箱深度小于31英寸
- • 支持：
- 2. 平衡架构
- • 前置存储IO，后置网络
- • 简化NUMA（非统一内存访问）和IO复杂性
Note：“UP” 是 "Uniprocessor" 的缩写，表示单处理器系统。相比之下，“DP” 是 "Dual Processor" 的缩写，表示双处理器系统。因此，UP 代表单处理器，而 DP 代表双处理器。
超微：下一代存储系统接口设计与实践-Fig-8
X13 & H13 Petascale 全闪存服务器亮点
关键特点：
- • 支持双Intel和单AMD单PCIe Gen5处理器。
- • 支持1U E1.S和E3.S，以及2U E3.3 TLC, QLC 和CXL设备，且在2U中可支持高达1PB的全闪存。
- • 通过EDSFF设计优化的散热设计。
- • 平衡前置SSD和后置IO设计的PCIe通道。
- • 提供高达30M 4KB RR IOPS和230+ GB/s 128KB SR带宽。
目标解决方案：
- • 高性能AI SDS构建模块。
- • 虚拟化和密集VDI。
- • 高性能对象存储。
- • 超融合基础设施。
- • 高性能CDN和视频流媒体。
超微：下一代存储系统接口设计与实践-Fig-9
X14 Petascale 灵活拓扑（DC-MHS） 副标题：在1U和2U机箱设计中提供平衡的存储和网络带宽
- • 左侧：1U/16个E3.S SSD（x4 通道）
- • 配置：x64 PCIe通道（16x4）
- • 两个CPU之间通过UPI连接
- • 四个E3.S SSD驱动器
- • 中间：2U/24个E3.S SSD（x4 通道）
- • 配置：x96 PCIe通道（24x4）
- • 两个CPU之间通过UPI连接
- • 支持24个E3.S SSD驱动器
- • 右侧：2U配置16个E3.S SSD（x4 通道）和8个E3.S 2T CXL设备（x8 通道）
- • 配置：x128 PCIe通道（16x4+8x8）
- • 两个CPU之间通过UPI连接
- • 支持CXL存储器设备
Note：Intel的UPI（Ultra Path Interconnect） 是一种用于多处理器系统中连接处理器的高速互连技术。它主要用于Intel的服务器级处理器（如Xeon系列），用于在多处理器配置中实现高带宽、低延迟的数据传输。
图示3种架构，从左往右连接前端存储通道数不断增加，对网络带宽需求逐渐增加，合理的硬件选型，要能适配业务场景带宽需求，灵活配置。这对服务器设计提出挑战，能随着业务扩展，调整有限设备满足场景，减少重复投资建设。
超微：下一代存储系统接口设计与实践-Fig-10
CXL (Type 3) 内存扩展的应用案例
- 1. 容量扩展
- • 增加内存而不增加服务器。
- • 针对内存容量密集型的工作负载（如IMBD）。
- 2. 带宽扩展
- • 通过聚合内存带宽提升性能。
- • 针对内存带宽密集型的工作负载（如AI）。
- 3. 容量和带宽扩展
- • 结合容量和带宽的扩展需求。
- • 适用于性能密集型工作负载、推理和LLM等任务。
- 4. 分层内存
- • 使用低成本CXL，有限地增加容量和带宽。
- • 针对分层工作负载（冷热数据分层）。
- 5. 内存池化
- • 在机架级别进行动态内存分配。
- • 降低数据中心或机架总拥有成本（TCO），但可能增加延迟。
新的CXL内存扩展有助于数据中心降低总体拥有成本（TCO），图示Samsung/Micron支持CXL的内存单元。
Note：In-Memory Database (IMDB) 是一种内存容量密集型的工作负载，因为它依赖于系统内存来存储和处理数据，而不是传统的硬盘或固态硬盘存储。这种方法适合需要高性能、低延迟数据访问的应用场景，例如实时分析、事务处理和大规模数据处理。
超微：下一代存储系统接口设计与实践-Fig-11
不同业务内存负载表征
图示各种工作负载（如AI推理、内存数据库、图分析等）在内存带宽和延迟上的需求差异。
应用场景如内存数据库和Spark数据分析较为依赖内存延迟，而一些高性能计算和AI推理则更加受限于内存带宽。
通过CXL/CMM技术，可以为这些工作负载提供必要的内存容量和带宽扩展，帮助优化数据中心性能。
Note：大规模业务场景的负载特征是值得深入研究的，以便在硬件设计和系统集成层面，进一步优化，提升效率的同时，降低成本。
超微：下一代存储系统接口设计与实践-Fig-12
CXL 特性随版本的迭代，可参考阅读:
值得一提的是底部，Intel/AMD SOC对CXL版本支持的路标。
- • CXL 1.0/1.1 目前 intel Xeon 5代 和 AMD Genoa & Bergamo 是支持的
- • CXL 2.0 intel Xeon 6代 和 AMD Turin 是支持的
总结
超微：下一代存储系统接口设计与实践-Fig-13
EDSFF - 高效能设计
- • 增加CPU核心和PCIe通道 = 更多能力
- • 通过CXL提升内存容量和带宽 = 更多性能层级
- • 直接连接EDSFF托架 = 更低的延迟
- • 更好的气流 = 更高的电源效率
- • 更好的信号完整性 = 更多IOPS（每秒输入输出操作）
腾讯云开发者
