DPU-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

DPU

AI算力,网络,存储等加速, 卸载, 隔离, 欢迎对DPU/智能网卡/卸载/网络,存储加速/安全隔离等技术感兴趣的朋友加入DPU技术交流群

专栏成员

40

文章

27861

阅读量

23

订阅数

Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制_动态连接等详解-一文入门RDMA和RoCE有损无损

linux 存储 network 高性能网络

随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术

2023-07-23

6.1K3

置顶

Intel E810-iRDMA网卡-Linux内核驱动和用户态源码分析

linux 高性能内核

用户空间直接访问 (UDA) 旨在以通用方式提供用户空间访问队列，但 E810 不支持此功能。 UDA 仅在内核中可用，并且仅限于 iWARP 连接设置和错误处理。 UDA 在用户空间中不可用

2024-04-25

4180

置顶

Linux源码分析-RDMA的通信连接管理CM模块

云计算高性能网络通信

RDMA CM 是一种通信管理器，用于设置可靠、连接和不可靠的数据报数据传输。它提供用于建立连接的 RDMA 传输中立接口。 API 概念基于套接字，但适用于基于队列对 (QP) 的语义：通信必须通过特定的 RDMA 设备进行，并且数据传输基于消息。 RDMA CM 可以控制 RDMA API 的 QP 和通信管理（连接建立/拆除）部分，或者仅控制通信管理部分。它与 libibverbs 库定义的 verbs API 结合使用。 libibverbs 库提供了发送和接收数据所需的底层接口。 RDMA CM 可以异步或同步操作。用户通过在特定调用中使用 rdma_cm 事件通道参数来控制操作模式。如果提供了事件通道，rdma_cm 标识符将报告该通道上的事件数据（例如连接结果）。如果未提供通道，则所选 rdma_cm 标识符的所有 rdma_cm 操作将被阻止，直到完成。 RDMA CM 为不同的 libibverbs 提供商提供了一个选项来宣传和使用特定于该提供商的各种 QP 配置选项。此功能称为 ECE（增强连接建立）

2024-04-27

2350

置顶

RDMA - inline 内联提高小包性能-降低时延(减少两个 PCIe 往返延迟)

网络通信网络协议高性能通信网络

这篇文章描述了通过 PCI Express 结构在 CPU 和 NIC 之间发生的一系列协调事件，以通过 InfiniBand 互连传输消息并发出其完成信号。

2024-06-16

2330

RDMA - ODP按需分页设计原理-优点-源码浅析

高性能网络协议云计算

HMM: 异构内存管理(Heterogeneous Memory Management)

2024-06-14

1490

MPI消息传递接口协议和硬件卸载

通信网络人工智能云计算高性能

MPI 提供了三种不同的通信方法，MPI 进程可以使用这些方法相互通信。下面讨论了这些通信方法：

2024-05-29

1950

RDMA Infiniband - IB通信管理-子网管理(SM)和子网代理(SMA)

hpc 高性能通信网络网络通信

通信管理包含用于建立、维护和释放 IB 可靠连接、不可靠连接和可靠数据报传输服务类型的通道的协议和机制。服务 ID 解析协议（参见第 12.11 节）使不可靠数据报服务的用户能够找到支持其所需服务的队列对。通过本文描述的协议，在每个系统上的通信管理器(CM)之间通过除了用于连接的队列对之外的队列对来管理连接。（参见图 131）CM 使用管理数据报 (MAD) 进行通信，通常通过每个系统上的通用服务接口 (GSI)

2024-05-25

3090

Nvidia-IB 路由器架构和功能-RDMA子网-GID-LID

通信网络网络通信网络协议高性能

InfiniBand (IB) 路由器旨在用于将非常大的网络分段(segment), 分为由 IB 路由器连接的较小子网(subnets)。分段对于将某些子网彼此隔离或构建非常大的网络可能很有用。这篇文章讨论 IB 路由器架构和功能

2024-05-17

4000

VFIO简介-Linux内核源码分析-模块加载-IOCTL接口-DPDK使用VFIO

虚拟化 kernel 云计算

VFIO(Versatile Framework for userspace I/O) : 用户空间 I/O 的多功能框架

2024-05-12

3080

RecoNIC 入门：SmartNIC 上支持 RDMA 的计算卸载-FPGA-智能网卡-AMD-Xilinx

人工智能云计算高性能通信网络

当今的数据中心由数千台网络连接的主机组成，每台主机都配有 CPU 和 GPU 和 FPGA 等加速器。这些主机还包含以 100Gb/s 或更高速度运行的网络接口卡 (NIC)，用于相互通信。我们提出了 RecoNIC，这是一种基于 FPGA、支持 RDMA 的 SmartNIC 平台，旨在通过使网络数据尽可能接近计算来加速计算，同时最大限度地减少与数据副本（在以 CPU 为中心的加速器系统中）相关的开销。由于 RDMA 是用于改善数据中心工作负载通信的事实上的传输层协议，因此 RecoNIC 包含一个用于高吞吐量和低延迟数据传输的 RDMA 卸载引擎。开发人员可以在 RecoNIC 的可编程计算模块中灵活地使用 RTL、HLS 或 Vitis Networking P4 来设计加速器。这些计算块可以通过 RDMA 卸载引擎访问主机内存以及远程对等点中的内存。此外，RDMA 卸载引擎由主机和计算块共享，这使得 RecoNIC 成为一个非常灵活的平台。最后，我们为研究社区开源了 RecoNIC，以便能够对基于 RDMA 的应用程序和用例进行实验

2024-05-04

5280

使用 DPDK 和 GPUdev 在 GPUs上增强内联数据包处理

人工智能云计算 gpu 高性能网络

使用 GPU 进行网络数据包内联处理是一种数据包分析技术，可用于许多不同的应用领域：信号处理、网络安全、信息收集、输入重建等。

2024-05-03

1790

RDMA-Linux-infiniband-RDMA子系统-源码分析-IB架构-IB设备初始化和注册-内核uverbs接口注册-GID缓存机制

云计算通信网络

该驱动程序通过 Linux 网络堆栈实现 InfiniBand RDMA 传输。它使具有标准以太网适配器的系统能够与 RoCE 适配器或运行 RXE 驱动程序的另一个系统进行互操作。有关 InfiniBand 和 RoCE 的文档可以从 www.infinibandta.org 和 www.openfabrics.org 下载。（另请参见 siw，它是 iWARP 的类似软件驱动程序。）该驱动程序分为两层，一层与 Linux RDMA 堆栈接口，并实现内核或用户空间动词 API。用户空间动词 API 需要一个名为 librxe 的支持库，该支持库由通用用户空间动词 API libibverbs 加载。另一层与第 3 层的 Linux 网络堆栈接口。要配置和使用 soft-RoCE 驱动程序，请使用“配置 Soft-RoCE (RXE)”部分下的以下 wiki 页面：https://github.com/linux-rdma/rdma-core/blob/master/Documentation/rxe.md

2024-04-19

4890

Linux RDMA RXE/SoftRoCE 软件RoCE-内核驱动源码

通信网络网络通信 linux 高性能

rdma_rxe 内核模块提供 RoCEv2 协议的软件实现。 RoCEv2 协议是存在于 UDP/IPv4 或 UDP/IPv6 之上的 RDMA 传输协议。 InfiniBand (IB) 基本传输标头 (BTH) 封装在 UDP 数据包中。创建 RXE 实例后，通过 RXE 进行通信与通过任何 OFED 兼容的 Infiniband HCA 进行通信相同，尽管在某些情况下会涉及寻址问题。特别是，虽然 GRH 标头的使用在 IB 子网中是可选的，但对于 RoCE 来说是强制性的。基于 IB 动词编写的动词应用程序应该可以无缝工作，但它们需要在创建地址向量时提供 GRH 信息。修改库和驱动程序以提供硬件所需的从 GID 到 MAC 地址的映射

2024-04-10

6140

NvidiaMellanoxOFED驱动解决方案

云计算高性能网络通信设备驱动程序人工智能

HowTo Install MLNX_OFED Driver 如何安装MLNX_OFED驱动

2024-04-04

3420

Nvidia DOCA - 芯片上的数据中心软硬件架构简介

云计算高性能通信网络人工智能

DOCA: Data Center-on-a-Chip Architecture, 芯片上的数据中心架构

2024-03-31

3060

RDMA_verbs详解-ibv_reg_mr(注册内存)源码分析

网络通信人工智能高性能计算 hpc 高性能

博客: https://cloud.tencent.com/developer/user/5060293/articles | https://logread.cn | https://blog.csdn.net/ssbandjl | https://www.zhihu.com/people/ssbandjl/posts

2024-03-23

5000

DPDK巨页地址管理/Linux内核内存管理/内存映射/pagemap/rdma内存/注册

通信网络操作系统内存内核

PBLE: Physical Buffer List Entry 物理缓冲区列表条目

2024-03-12

3850

RDMA_verbs编程详解-cm建连-rdma_connect

通信网络云计算高性能

【infiniband】 MAD、 uMAD、Verbs、RDMACM: https://blog.csdn.net/eidolon_foot/article/details/132840943

2024-03-12

5180

RDMA_verbs详解-修改队列对属性(ibv_modify_qp)-ceph-ucx-nccl-intel rdma驱动源码解析

网络人工智能云计算高性能通信

QP上可变化的属性描述了QP的发送和接收属性。在 UC 和 RC QP 中，这意味着将 QP 与远程 QP 连接。在 Infiniband 中，应向子网管理员 (SA) 执行路径查询，以确定 QP 应配置哪些属性或作为最佳解决方案，使用通信管理器 (CM) 或通用 RDMA CM 代理 (CMA) 连接 QP。然而，有些应用程序(如ceph)更喜欢自行连接 QP，并通过套接字交换数据来决定使用哪些 QP 属性。在 RoCE 中，应在连接的 QP 的 QP 属性中配置 GRH，或在 UD QP 的地址句柄(Address Handle)中配置 GRH。在 iWARP 中，应仅使用通用 RDMA CM 代理 (CMA) 连接 QP。结构体: struct ibv_qp_attr 描述了队列对QP的属性:

2024-02-24

4322

NVIDIA Eos 揭晓：全球十大超级计算机排名第9

人工智能高性能计算云计算 aigc nvidia

NVIDIA 的突破性 DGX AI 超级计算机是全球企业的蓝图，旨在为 AI 创新的下一个前沿提供动力

2024-02-16

3870

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态