前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >DPU(IPU)使用 CXL 提升存储堆栈或服务工作流的软硬件处理流水线-INTEL

DPU(IPU)使用 CXL 提升存储堆栈或服务工作流的软硬件处理流水线-INTEL

原创
作者头像
晓兵
发布2024-09-21 14:43:48
970
发布2024-09-21 14:43:48
举报
文章被收录于专栏:DPU

构建高性能存储解决方案

  • 构建可扩展、分布式, 解耦、安全、可靠的横向扩展数据中心存储基础设施极具挑战性
  • 当前的加速器卸载技术可能不足以满足对高性能安全存储解决方案日益增长的需求

DPU (又称 IPU) 的崛起

  • DPU 成为所有基础设施处理的焦点,包括网络和存储
  • 存储目标节点需要更多的存储特定计算(今天演讲的重点)

挑战:CPU+DPU 协同处理(PCIe)

  • 存储流水线控制 + 数据平面处理需要多步计算密集型操作,需要 CPU+DPU 协同处理
  • 使用 PCIe 的 CPU+DPU 协同处理需要在 CPU 和 DPU 内存域之间进行多次数据移动(DMA),从而导致性能大幅下降

存储节点:使用 SPDK 软件堆栈/服务的 CPU+DPU 协同处理(PCIe)

  • 应用操作
  • 初始化加速器
  • 获取IO通道(PCIE)
  • 分配内存域(PCIE私有内存)
  • 分配BUF和对齐
  • 加速器操作IO
  • 释放BUF
  • 完成IO

CPU+DPU 协同处理 (CXL)

关键范式转变

• 在 CPU 和 DPU 之间创建单个共享内存域

• 使用 CXL 连接的设备内存(即 CXL.mem)作为 CPU+DPU 共享内存

• 避免 CPU 和 DPU 之间的显式数据移动

• 保留、利用现有的软件堆栈工作流程和数据结构

存储节点:使用 SPDK 软件堆栈/服务的 CPU+DPU 协同处理 (CXL)

  • 去掉获取IO通道的流程

存储节点:使用 SPDK 软件堆栈的 CPU+DPU 协同处理 (CXL)优点

由于简化了存储数据访问和操作,因此 IOPS 更高,例如

• bdev_write:sequence_encrypt + serial_compress + Storage_write

• bdev_read:Storage_read + serial_decompress + serial_decrypt

保留软件堆栈/工作流程投资 (原有架构)

• 现有的 CPU 加速器、较新的 DPU 加速器都可以利用

• 加速器操作与 [数据分割与重组和存储传输]

晓兵(ssbandjl)

博客: https://cloud.tencent.com/developer/user/5060293/articles | https://logread.cn | https://blog.csdn.net/ssbandjl | https://www.zhihu.com/people/ssbandjl/posts

https://chattoyou.cn(吐槽/留言)

DPU专栏

https://cloud.tencent.com/developer/column/101987

技术会友: 欢迎对DPU/智能网卡/卸载/网络,存储加速/安全隔离等技术感兴趣的朋友加入DPU技术交流群

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 构建高性能存储解决方案
  • DPU (又称 IPU) 的崛起
  • 挑战:CPU+DPU 协同处理(PCIe)
  • 存储节点:使用 SPDK 软件堆栈/服务的 CPU+DPU 协同处理(PCIe)
  • CPU+DPU 协同处理 (CXL)
  • 存储节点:使用 SPDK 软件堆栈/服务的 CPU+DPU 协同处理 (CXL)
  • 存储节点:使用 SPDK 软件堆栈的 CPU+DPU 协同处理 (CXL)优点
    • 晓兵(ssbandjl)
      • DPU专栏
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档